Storage ist eine ernstzunehmende Sache Die stille Basis der KI

Anbieter zum Thema

Wasabi Technologies

VON ZUR MÜHLEN'SCHE GmbH

Kentix GmbH

PQ Plus GmbH

Beim Einsatz von KI zählen vor allem die Ergebnisse, seien es neue Inhalte, automatisierte Prozesse oder völlig neue Erkenntnisse. Damit KI-Technologien erfolgreich arbeiten, müssen Daten richtig gespeichert, abgerufen und verwaltet werden.

Das sind ebenjene Aspekte, die im Hintergrund laufen, aber von zentraler Bedeutung sind. Die zugrunde liegende Speicherinfrastruktur wird so zum entscheidenden Erfolgsfaktor und bildet in ihrer Gesamtheit die sogenannte KI-Data-Pipeline.

Storage ist keine technische Nebensache

KI-Anwendungen greifen oft auf Terabytes oder sogar Petabytes an Daten zurück. Diese Informationen sind häufig unstrukturiert und unvollständig. Um sie verarbeiten zu können, benötigen IT-Teams Speichersysteme, die hohe Geschwindigkeiten bei der Datenaufnahme (Ingestion) unterstützen, für Datensicherheit sorgen und zuverlässigen Zugriff bieten.

Das gilt für den gesamten KI-Lebenszyklus, so müssen sowohl aktuelle als auch historische Datensätze jederzeit abrufbar sein. Sollte sich der Zugriff jedoch als zu langsam, teuer oder komplex erweisen, kann bereits die Experimentierphase ins Stocken geraten. Das Gesamtsystem verliert so an Flexibilität, auch wenn die KI-Modelle selbst hochentwickelt sind.

Die KI-Data-Pipeline verläuft dabei selten linear. Die Anforderungen variieren je nach Phase: Während der Ingestion zählen Durchsatz und Skalierbarkeit, beim Training und bei der Validierung stehen Geschwindigkeit und geringe Latenz im Vordergrund. Für die Langzeitspeicherung sind dagegen Haltbarkeit und Kostenoptimierung entscheidend. Außerdem greifen IT-Teams beim Retraining oder zum Vergleich von Ergebnissen oft auf Datensätze zurück, die sie bereits vor Monaten archiviert haben.

Phasenweise wichtig

Es ist daher wichtig, die passenden Speicher für die jeweilige Anforderung zu wählen. Wenn jeder Schritt in der KI-Data-Pipeline ausschließlich mittels High-Performance-Storage abgedeckt würde, explodierten die Kosten schnell.

Nicht alle Workloads benötigen die gleiche Performance und nicht jeder Datensatz muss in teuren, schnellen Umgebungen gespeichert werden. Kosteneffizientes Daten-Management bedeutet, den richtigen Speicher zum richtigen Zeitpunkt zu verwenden.

So lassen sich Ressourcen flexibel an die jeweiligen Anforderungen anpassen. Entsprechend konzipierte Storage-Lösungen führen sowohl zu mehr Effizienz im operativen Bereich als auch zu höheren Investitionsrenditen.

Skalierung nimmt an Bedeutung noch zu

Angesichts der zunehmenden Abhängigkeit von KI und Maschinellem Lernen wird etwa die Nachfrage nach Cloud-Storage deutlich steigen. Laut aktuellen Studien erwarten fast zwei Drittel der Unternehmen, die die Cloud als primäres Speichermedium nutzen, dass sich ihr Speicherbedarf in den nächsten drei Jahren mehr als verdoppeln wird. Das Datenvolumen, das durch KI-Modelle generiert, gespeichert und wiederverwendet wird, wächst dabei exponentiell.

Schätzungen des international tätigen Marktforschungsunternehmens IDC zufolge liegen 89 Prozent der Daten, die bei großen Cloud-Anbietern gespeichert werden, auf Festplatten. Diese Zahl spiegelt den Umfang und die Haltbarkeit wider, die für die Verwaltung solcher Daten notwendig sind. Sie zeigt aber auch, dass ein Großteil der KI-Infrastruktur auf traditionellen Speichertechnologien basiert. Den Zugriff und die Performance auf allen Ebenen der Data-Pipeline zu optimieren, bleibt daher eine zentrale Herausforderung.

Mittlerweile hat sich die Objektspeicherung in der Cloud (Cloud-Object-Storage) als praktikable Lösung für viele Phasen der KI-Data-Pipeline etabliert. Diese Art der Speicherung wird spezialisierte Hochleistungsspeicher zwar nicht ersetzen, sie unterstützt jedoch den Datenfluss in Organisationen.

Preisfalle hemmt Potenzial

Mittels Object-Storage können IT-Teams umfangreiche Daten leicht zugänglich, sicher und preiswert speichern, selbst wenn Monate zwischen der letzten Nutzung liegen. Diese Kontinuität wird immer wichtiger, weil sich die KI-Entwicklung in Organisationen zunehmend von einem einmaligen Projekt zu einem fortlaufenden Prozess wandelt.

Ein häufiges Problem sind dabei nicht die Kosten für die Speichertechnik selbst, sondern die Zusatzzahlungen. So erheben einige Anbieter Gebühren für das Abrufen oder Interagieren mit den gespeicherten Daten.

Diese mögen für sich genommen gering erscheinen, doch bei datenintensiven Arbeitsabläufen summieren sie sich im Handumdrehen. Dieser zusätzliche Aufwand kann wiederum Teams daran hindern, iterative Prozesse durchzuführen oder neue Hypothesen zu testen.

Bei KI zählt, was langfristig zielführend ist

Wenn Organisationen ihre Speicherarchitektur festlegen, beeinflussen sie damit direkt, wie flexibel sie mit KI umgehen, wie experimentierfreudig sie bleiben und welche Kosten entstehen. Systeme, die eine transparente Preisgestaltung bieten und einen einfachen Zugriff ermöglichen, fördern eine nachhaltigere und agilere Entwicklung von KI.

Die erfolgreichsten KI-Projekte sind meist diejenigen, die sich kontinuierlich weiterentwickeln. Dafür reicht ein leistungsstarkes Modell allein nicht aus. Entscheidend ist eine Dateninfrastruktur, die zuverlässig, zugänglich und flexibel genug ist, sich den Arbeitsprozessen der Teams anzupassen.

Mit der wachsenden Bedeutung von KI in allen Branchen wird Cloud Storage auch künftig ein grundlegender Erfolgsfaktor bleiben – und als stille Basis der KI die weitere Entwicklung maßgeblich prägen.

(ID:50579198)