Aufbau einer lokalen KI-Infrastruktur? Nicht immer. Alternativen zu großen KI-Modellen und zudem für kleines Geld

Anbieter zum Thema

Rittal GmbH & Co. KG

Data Center Group – Büro Köln

EPS Rechenzentrum Infrastruktur GmbH

Künstliche Intelligenz kann Prozesse in Unternehmen beschleunigen und optimieren. Dabei spielen unternehmensspezifische Use Cases, KI-Agenten und Daten eine entscheidende Rolle. Ein vollständiger Schutz dieser Daten ist ein unerreichbares Ideal, Daten-Souveränität jedoch keine Utopie mehr, sondern ein realistisches Ziel.

Wer eine KI-Umgebung nutzen will, greift meist zu den Angeboten großer internationaler Anbieter wie Google, Microsoft oder OpenAI, wohl wissend, dass die Sicherheit der Unternehmensdaten dadurch nicht mehr garantiert werden kann. Eine mögliche Alternative besteht darin, mit Open-Source-Software einen eigenen KI-Cluster aufzubauen.

Doch der Weg dahin ist in der Regel aufwändig und teuer. Warum also nicht einen Mittelweg finden, der mit vertretbarem Aufwand maximale Produktivität und Datensicherheit miteinander vereint?

Amerikanische KI-Modelle, wie „Google Gemini“, „Azure AI“ und „ChatGPT“, haben unbestrittene Vorteile. Sie bieten eine breit angelegte Infrastruktur mit Zugriff auf weltweite Wissensreserven und können sich mit Hilfe von Nutzerdaten immer wieder neu trainieren. Das bedeutet im Umkehrschluss aber auch: Wer diese Modelle nutzt, stellt betriebsinterne Daten indirekt ins Schaufenster.

Daten-Souveränität steht im Mittelpunkt

Den meisten Organisationen wäre es deshalb wohler, wenn ihre sensiblen Daten im EU-Raum und unter dem Schutz der DSGVO gespeichert und verarbeitet würden. Doch die Hoffnung auf europäische Eigenentwicklungen umfassender KI-Modelle wurde bislang enttäuscht.

Viele europäische Unternehmen streben vor allem nach Daten-Souveränität. Das bedeutet: Sie wollen wissen, welche Daten ihre Mitarbeiter herausgeben (dürfen), wie diese von Dritten verarbeitet werden und welche Risiken damit einhergehen.

Damit wird schnell klar: Eine Datenverarbeitung innerhalb der EU oder besser noch in Deutschland verringert das Risiko unberechtigter Nutzung erheblich. Dies gilt insbesondere dann, wenn Betriebsgeheimnisse und unternehmenskritische Informationen im Spiel sind, die weder den europäischen Rechtsraum verlassen noch zum Training amerikanischer KI-Modelle genutzt werden sollten – und auch dürfen.

MIT baut Reseller-Cloud aus und launcht deutsches Cloud-Office

So kommen auch KMU an eine digital souveräne Cloud

Deshalb erwägen viele Unternehmen, eine eigene KI-Infrastruktur aufzubauen. Das gilt vor allem für Organisation, die sehr spezielle Use Cases haben und ihre Mitarbeiter bei der Erfüllung von Routine-Aufgaben im Alltagsgeschäft unterstützen wollen.

Bei näherem Hinsehen wird häufig klar, dass in den meisten Fällen kein Weltwissen notwendig ist, sondern auf bestimmte Aufgaben spezialisierte KI-Modelle sowie an Use Cases ausgerichtete KI-Agenten deutlich sinnvoller sind. Beide lassen sich sehr wohl innerhalb des europäischen Rechtsraumes betreiben, entweder

• 1. auf eigenen Systemen,

• 2. in zertifizierten Rechenzentren oder

• 3. als gemietetes Cloud-Angebot.

1. Der Aufbau eines eigenen KI-Cluster

Wenn ein Unternehmen komplett auf Nummer Sicher gehen will, wird sich seinen eigenen KI-Cluster einrichten. Doch der Weg dahin ist kein leichter: Es muss leistungsfähige und redundant ausgelegte Server- sowie Speicherhardware anschaffen und vor Ort installieren. Um die notwendige Performance und Skalierbarkeit zu gewährleisten, sind mindestens drei, besser fünf Nodes einzurichten und mit der entsprechenden Anzahl schneller Spezial-Grafikprozessoren zu bestücken, die für die KI-Rechenaufgaben geeignet sind.

Anschließend muss die entsprechende Software-Infrastruktur on premises installiert werden – beispielsweise Kubernetes. Außerdem müssen entsprechende unternehmensspezifische Use Cases herausgearbeitet und die dazu passenden KI-Agenten entwickelt werden.

Diese enthalten verschiedene KI-Modelle, die dann auf Grundlage der individuellen Use Cases trainiert werden. Damit die Agenten unternehmensspezifische Aufgaben übernehmen können, ist ein MCP-Server notwendig, der über das Modell-Kontext-Protokoll die Anbindung an Unternehmungsanwendungen sicherstellt.

Hindernisse bei der Umsetzung

Um eine solche KI-Umgebung zu planen, aufzubauen und zu betreuen, ist umfangreiches Fachpersonal und -wissen notwendig, das sich nicht über Nacht aufbauen lässt. Das Unternehmen benötigt dafür DevOps, Systemadministratoren und KI-Experten.

Zudem kostet das sehr viel Geld: 200.000 bis 300.000 Euro allein für die technische Einrichtung sowie ein fünfstelliger Euro-Betrag pro Monat für Betreuung und Pflege des Systems. Soll das Systems skaliert werden, sind weitere Investitionen in derzeit schwer verfügbare Hardware unumgänglich.

Großunternehmen können sich das leisten und sollten es sogar – schon allein, um ihre geschäftskritischen Daten zu schützen. Auch für Organisationen, deren gesamtes Geschäft auf KI basiert, kann sich eine solche Individuallösung langfristig auszahlen. Für ein mittelständisches Unternehmen, das zur Optimierung bestimmter Routineprozesse KI-Tools nutzen möchte, sind Investitionen in dieser Größenordnung jedoch weder sinnvoll noch in einem vertretbaren Rahmen realisierbar.

2. Externes Cloud-Hosting BSI C5 geprüft

Innovative und stark regulierte Mittelständler wollen KI jedoch ebenfalls im Geschäftsalltag nutzen. Für sie gibt wirtschaftlich sinnvolle und dennoch sichere Alternativen zum Aufbau einer eigenen Infrastruktur.

Dazu gehört die Nutzung eines BSI-zertifizierten deutschen Cloud-Providers, um einen virtuellen KI-Cluster aufzubauen. Der Vorteil: Unternehmen können auf Knopfdruck eine vorkonfigurierte Cloud-Infrastruktur für ihre Arbeit nutzen. Die notwendigen KI‑Modelle werden in containerisierten Workloads auf Basis von Kubernetes betrieben und orchestriert.

Damit sie KI praktisch nutzen können, müssen die Unternehmen auf Basis der Use Cases spezialisierte KI-Agenten entwickeln, die dafür passenden KI-Modelle auswählen und sie über einen MCP-Server mit ihren Applikationen verbinden. Als Daten werden Informationen aus unternehmenseigenen CRM- oder ERP-Systemen sowie ITSM- oder Projekt-Management-Tools verwendet.

Umgang mit dem MCP-Server

Auch hier haben die Organisationen die Wahl: Sie können den MCP-Server entweder selbst betreiben oder den Cloud-Anbieter beziehungsweise einen weiteren IT-Dienstleister damit beauftragen. Das eigentliche Training der KI-Modelle erfolgt über entsprechende ML‑Frameworks und Pipelines, zum Beispiel „Kubeflow“, direkt im Kubernetes‑Cluster.

Eigene Hardware ist nicht mehr erforderlich. Auf dieser Basis können fertige KI-Agenten im Produktiveinsatz beispielsweise automatisch Workflows anstoßen, Vertragsinhalte prüfen oder Lösungsvorschläge für Support-Anfragen unterbreiten oder sogar als Call-Center-Agenten mit individuellen Sprachdialekten agieren.

Die Kosten für ein solches Hybrid-System liegen etwa zwischen 3.000 und 5.000 Euro im Monat. Doch auch hier ist der Aufwand nicht zu unterschätzen; denn neben dem dafür notwendigen Cloud- und KI-Know-how müssen auch die passenden Use Cases definiert und modelliert werden.

Die Zahl der notwendigen Mitarbeiter ist jedoch deutlich geringer als beim komplettem Eigenbetrieb: Um eine solche KI-Infrastruktur mit eigenem MCP-Server zu betreiben, ist mindestens ein KI-Entwickler notwendig, der sich in Vollzeit um die Entwicklung der Use Cases und der zugehörigen KI-Agenten kümmert.

3. Fertige Deployments für Routineprozesse

Der günstigste und effizienteste Weg, KI im Alltagsgeschäft einzusetzen, sind vorgefertigte KI-Agenten/Deployment-Angebote. Der Vorteil: Unternehmen erhalten eine sofort einsatzfähige, vollständig integrierte KI-Umgebung.

Sie enthält bereits alle zentralen Bausteine:

• Open-Source-basierter Modelle zur Auswahl, etwa „Mistral“ oder „Qwen“,

• einen MCP-Server zur sicheren Anbindung interner Anwendungen, zum Beispiel ERP oder CRM

• sowie eine Open WebUI für die direkte Interaktion über ein User Interface à la „ChatGPT“.

Diese Anwendungen laufen als Service auf einer hochverfügbaren Plattform beim Cloud-Provider.

Überprovisionierung im Cloud-Compute

GPUs, Serverless und die neue (falsche) Kostenlogik per Cloud - ein Realitäts-Check

Forrester sieht kräftigen Anstieg bei den IT-Ausgaben

IT-Investitionen in der EU übersteigen 2026 eine 1,5 Billionen-Euro Marke

Die weiteren Vorteile liegen auf der Hand: Es besteht keine Notwendigkeit, eigenes Kubernetes-/DevOps-Know-how aufzubauen oder Investitionen in technische Infrastruktur zu tätigen. Dies spart nicht nur Kosten, sondern auch Zeit und Personal, da keine Hardware mehr nötig ist und Aufwände für Wartung oder Skalierung entfallen.

Potenziale und Grenzen von Agenten Marke Eigenbau

Die Illusion des selbstgebauten KI-Assistenten

Das Unternehmen kann also sofort mit der die Entwicklung möglicher Use Cases starten oder fertige Service-Deployments für bestimmte Aufgabenbereiche nutzen. Auch diese sind in Deutschland bereits verfügbar und kommen vollständig ohne Google, Microsoft oder OpenAI aus.

Das bedeutet aber auch: Ob ein KI-Deployment den erwarteten Nutzen bringt, hängt stark von klar definierten Use Cases und deren technischer Umsetzung ab. Viele KI-Verantwortliche konzentrieren sich derzeit vorrangig auf die „low hanging fruits“, die Automatisierung einfacher und häufig wiederkehrender Aufgaben.

Einige deutsche Cloud-Provider bieten deshalb bereits fertige Lösungen für klassische Standardanwendungen an. Ein Beispiel dafür ist die Zeit und (auch personellen) Aufwand sparende KI-gestützte Annahme und Bearbeitung von Service-Tickets. Entsprechende Services sind bereits ab 1.000 Euro im Monat erhältlich.

(ID:50762208)