Verteiltes Speichern und schnelles maschinelles Lernen

Quobyte bietet ein verteiltes Dateisystem mit Tensorflow-Plugin

| Redakteur: Ulrike Ostler

Das Versprechen: Quobyte mit Tensorflow-Plugin sorgt für 30 Prozent mehr Durchsatz, schnellere Trainingsdurchläufe und Ergebnisse beim maschinellen Lernen.
Das Versprechen: Quobyte mit Tensorflow-Plugin sorgt für 30 Prozent mehr Durchsatz, schnellere Trainingsdurchläufe und Ergebnisse beim maschinellen Lernen. (Bild: Quobyte)

Das „Quobyte Data Center File System“ ist laut Hersteller Quobyte das erste verteilte Dateisystem, das ein „Tensorflow“-Plugin bereitstellt. Mit diesem lasse sich ein deutlich höherer Durchsatzes erzielen, so dass Anwendungen im Bereich des Machine Learning schneller auf den üblichen riesigen Datensätzen trainiert werden können und Resultate mit größerer Präzision erzielt werden.

Tensorflow ist eine Open-Source-Bibliothek für numerische Berechnungen und Machine Learning und wird über Industriezweige hinweg angewandt, etwa in der Entwicklung autonomen Fahrens, der Robotik, bei Finanzdienstleistungen, im Gesundheitswesen, der Luft- und Raumfahrt- und der Verteidigungsindustrie. Quobyte und Tensorflow zusammen sollen die Prozesse des maschinellen Lernens vereinfachen und optimieren können.

Nach Herstellerangaben erlaubt das Quobyte Tensoflow-Plugin, dass Tensorflow-Anwendungen direkt mit dem Quobyte-Speicher sprechen und den Kernel des Betriebssystems umgehen. Das eliminiere unnötige Modi-Wechsel des Kernels und spare der CPU dadurch das Verschwenden von Rechenleistung.

Quobyte will Flexibilität bieten. Die Modelle sollen etwa im eigenen Rechenzentrum trainiert und dann in einer Cloud migriert werden können.
Quobyte will Flexibilität bieten. Die Modelle sollen etwa im eigenen Rechenzentrum trainiert und dann in einer Cloud migriert werden können. (Bild: Quobyte)

Die Quobyte-Speichersoftware könne in allen Phasen des maschinellen Lernens zum Einsatz kommen; den Leistungsschub aber liefere das Tensorflow-Plugin in der Trainingsphase dank den nun besseren CPU-Auslastung. Laut Quobyte lässt sich der Durchsatz um 30 Prozent erhöhen. Dementsprechend verkürzt sich die Zeit für die Trainingsdurchläufe. Ergebnisse sind schneller zu erzielen.

Entlastung für die CPU

Quobyte will seinen Nutzern außerdem Flexibilität bieten, um Modelle überall trainieren und nahtlos zwischen dem eigenen Rechenzentrum und der Cloud migrieren zu können. Das erlaube, dem CPU-Hunger von ML-Workloads nachzukommen und im Bedarfsfall Rechenleistung aus der Cloud hinzu zu fügen. Auf diese Weise könne das Tensorflow-Plugin genutzt dafür werden, die Modelle zuerst lokal auf Beispieldaten zu trainieren, um dann die „Google Cloud Platform“ zu nutzen und die Modelle im großen Rahmen zu trainieren.

Ergänzendes zum Thema
 
Über Quobyte

Nach Herstellerangaben wird er Kernel vollständig umgangen. Das Tensorflow-Plugin funktioniert somit nicht nur auf aktuellen, sondern auch mit älteren Linux-Versionen und eröffnet eine größere Bandbreite an Einsatzmöglichkeiten beim maschinellen Lernen. Es sind dafür keine Änderungen an bestehenden Anwendungen erforderlich.

Frederic Van Haren, Lead Analyst für die Bereiche HPC- und KI-Systeme des Analystenunternehmens Evaluator Group, sagt: „Mehr und mehr Unternehmen planen die Einführung des Machine Learning, um Innovation voranzutreiben, Produkte schneller an den Markt zu bringen und eine höhere Kundenzufriedenheit zu garantieren. Das bedeutet einen erhöhten Bedarf an Speicherinfrastrukturen, die die stärkere Leistung und größere Flexibilität bieten können, nach denen diese Workloads verlangen.“ Anbieter wie Quobyte, die eine hohe Speicherleistung, die Unterstützung zahlreicher Technologien und Flexibilität bei den Einsatzmöglichkeiten bieten, seien genau richtig positioniert, um Unternehmen dabei zu helfen, richtig mit riesigen Datensätzen umzugehen und genaue Resultate zu liefern – und das mit der technischen Umgebung ihrer Wahl.

Laut Hersteller braucht es nur ein einziges System um die besten Speichervoraussetzungen für das maschinelle Lernen anzubieten.
Laut Hersteller braucht es nur ein einziges System um die besten Speichervoraussetzungen für das maschinelle Lernen anzubieten. (Bild: Quobyte)

ML plus Blockspeicher

Quobyte ist ein vereinheitlichtes Speichersystem, das etwa einen hohen Durchsatz und niedrigen Latenzen bietet, die in der Trainingsphase des Machine Learning gefordert sind. Die Software eignet sich aber auch für Blockspeicher- (sequentiell mit großen und random mit kleinen Blöcken) und gemischte Workloads.

Quobyte unterstützt außerdem die ganze Bandbreite an Zugangsprotokollen und Clients – unter anderem „S3“, „Hadoop“ und „NFS“; Clients für Linux, Windows und MacOS– für eine möglichst breit aufgestellte Datenübernahme („Ingest“) und -aufbereitung. Die Daten bleiben in jeder Phase des ML-Prozesses in einem globalen Namespace zugänglich und lassen sich mit der Quobytes-Management-Konsole verwalten.

Weitere Vorteile des Tensorflow-Plugin sind nach Herstellerangaben:

  • Die Möglichkeit sowohl HDDs, als auch SSDs zu nutzen und so das beste Preis-Leistungs-Verhältnis zu erzielen – ohne mühsames Tiering.
  • Das Pre-Fetching von Trainingsdaten liefert eine deutliche Leistungsverbesserung. Maschinen-erzeugte Daten nutzen meist sequentielle Benennungskonventionen und sind damit geeignet für ein Pre-Fetching.
  • Die Skalierbarkeit erlaubt es den Nutzern, den Speicher je nach Bedarf zu erweitern, um größere Kapazität und einen besseren Durchsatz zu erzielen. Projektanforderungen ändern sich meist früher als geplant; die Quobyte-Installation lässt sich anpassen. Server und Festplatten können addiert werden, sobald es erforderlich ist, ohne den laufenden Betrieb zu unterbrechen.
  • Die Multi-Mandantenfähigkeit bietet Schutz, indem sie es Nutzern erlaubt, isolierte Namespaces und die physische Trennung von Daten oder Workloads innerhalb eines Clusters festzulegen. Administratoren können Mandanten isolieren und bestimmen, auf welche physische Hardware sie Zugriff haben, so dass die Leistung nicht beeinträchtigt wird und die Daten Unbefugten unzugänglich bleiben.
Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 45872525 / Software)