Ein interner KI-Chatbot mit vollständiger Datenkontrolle Installation eines eigenen KI-Servers mithilfe von Open Source

Anbieter zum Thema

Rittal GmbH & Co. KG

Unternehmen können mit Open Source einen eigenen, leistungsstarken KI-Server aufbauen, mit eigenen Daten trainieren und sicherstellen, dass keinerlei Daten ins Internet oder zu anderen Netzwerken geschickt werden. Das alles geht komplett, ohne Lizenzgebühren zu zahlen.

Unternehmen, die von KI und KI-Chatbots wie „ChatGPT“ profitieren wollen, müssen nicht unbedingt auf einen Cloud-Dienst setzen und teure Lizenzierungen wie „Microsoft Copilot“ für „Microsoft 365“ oder „ChatGPT Enterprise“ buchen. Es gibt auf Basis von Open Source und Linux die Möglichkeit einen eigenen KI-Server zu installieren.

Dadurch können Unternehmen sensible Daten verarbeiten und mit KI effektiv analysieren und bearbeiten lassen. Das geht konform mit der DSGVO, da jederzeit komplette Datenhoheit vorhanden ist. Die Leistung des eigenen Servers steht der von ChatGPT in nichts nach, sofern die Hardware passend gewählt ist. Alle Daten bleiben dabei auf dem Server im eigenen Netzwerk.

Für Test- und Entwicklungsumgebungen geht das mit beliebiger Hardware; im produktiven Einsatz macht es Sinn auf passende GPUs von Nvidia zu setzen oder zumindest auf Apple-Hardware mit „M2“-Prozessor. Der Einsatz der Software ist vollkommen kostenlos und auf eigener Hardware möglich.

Stand-alone oder mit Netzanschluss

Auf Wunsch kann die Umgebung optional auch mit dem Internet verbunden werden, um aktuelle Daten und Informationen abzurufen. Es ist aber auch problemlos möglich, ohne Internet-Verbindung zu arbeiten.

Zum Einsatz kommen mehrere LLMs, die auf Basis von Open Source zur Verfügung stehen. Es entstehen keinerlei Lizenzkosten, um einen eigenen KI-Server zu betreiben. Dazu kommt der Vorteil, dass der Quellcode komplett offen ist und dadurch analysiert werden kann, ob es Hintertüren oder Fallstricke gibt.

Der Einsatz eines eigenen KI-Servers ist nicht sehr komplex und lässt sich sogar auf einer VM testen. Im produktiven Umfeld sollte dazu aber ein leistungsstarker Server mit passender GPU oder notfalls auch ein Apple-Gerät mit M2-Prozessor zum Einsatz kommen. Damit Anwender im Netzwerk das KI-System nutzen, muss es auch leistungsstark zur Verfügung stehen, und zwar mindestens so wie ChatGPT und andere Dienste.

Ollama, Open Web UI und Co. bieten teilweise mehr Funktionen als ChatGPT

Als Basis-Betriebssystem kommt Linux zum Einsatz, in diesem Beispiel „Ubuntu 24.04 LTS“. Mit „Ollama“ erfolgt danach der Aufbau des KI-Systems. Hier stehen verschiedene LLMs zur Verfügung, zum Beispiel „Llama 3.1“, „Phi 3“, „Mistral“ und „Gemma 2“. Im laufenden Betrieb lassen sich außerdem mehrere LLMs parallel installieren.

Der Einsatz von Ollama ist auch unter „Windows“ und „MacOS“ möglich. Bei der Verwendung auf MacOS ist es sinnvoll auf Hardware mit M2-Prozessor zu setzen. Der Einsatz von Apple M2-Prozessoren in Verbindung mit KI-Lösungen wie Ollama bietet zahlreiche Vorteile. Der M2-Chip, ausgestattet mit einer leistungsstarken Neural Engine, ermöglicht eine schnelle und effiziente Verarbeitung von KI-Algorithmen direkt auf dem Gerät. Dies reduziert die Latenzzeiten erheblich, da weniger Daten an externe Server gesendet und empfangen werden müssen.

Apple-Hardware mit M2-Prozessor steht in vielen Fällen anderen Systemen mit teuren Servern und Nvidia-GPUs in nichts nach. Die Integration von KI-Anwendungen in das Apple-Ökosystem sorgt zudem für eine nahtlose Nutzererfahrung, da Hardware und Software optimal aufeinander abgestimmt sind. Durch die hohe Energieeffizienz des M2-Chips profitieren Anwender gleichzeitig von längeren Akkulaufzeiten, was besonders in mobilen Szenarien von Vorteil ist.

Bildergalerie

Natürlich verbraucht ein KI-Server mit Apple M2-Prozessor sehr viel weniger Energie, als ein leistungsstarker Server mit Intel-/AMD-CPU und Nvidia-GPU. Die Sicherheitsfunktionen des M2-Prozessors gewährleisten zudem, dass sensible Daten während der KI-Verarbeitung besser geschützt sind.

Überblick zu den Möglichkeiten von Ollama und Open WebUI

In diesem Beispiel ist aber von der Installation auf wesentlich verbreiteter x86-Struktur mit Ubuntu als Basis-Betriebssystem die Rede. Beim Einsatz von Ollama kann auf Meta Llama 3 als LLM gesetzt werden. Beim Einsatz von Ollama lassen sich aber auch mehrere LLMs parallel installieren. Als Schnittstelle zu den Anwendern kommt die Open Source „Open WebUI“ zum Einsatz. Diese ist für die Verwendung mit LLMs optimiert.

Alle diese Anwendungen stehen komplett kostenlos als Open Source bereit. Anwender können damit Sprache-zu-Text-Szenarien genauso nutzen, wie Texte oder Bilder erstellen und Daten analysieren.

Die Oberfläche von Open WebUI entspricht der von ChatGPT oder anderen KI-Diensten. Anwender können bei der Verwendung mit der KI zudem eigene Dokumente auf den Server laden. Auch das kann bedenkenlos erfolgen, da auch hier die Daten im lokalen Netzwerk bleiben. Admins können mit Open WebUI darüber hinaus eine eigene Rechteverwaltung umsetzen, um so Nutzern Zugriff auf den KI-Dienst zu geben.

Die richtige Hardware

Damit die Anwender im Unternehmen das System nutzen, muss der verwendete Server möglichst leistungsstark sein. Für kleine Netzwerke ist der Einsatz von Apple M2 möglich, aber in mittleren und größeren Netzwerken sollte es ein ausreichend dimensionierter Server mit genügend Arbeitsspeicher sein.

Das wichtigste Bauteil ist sicherlich die GPU. Ideal ist hier der Einsatz der „Nvidia A100“. Dieser Grafikprozessor ist kostspielig. Ist das Budget nicht ausreichend vorhanden, kann auch eine Grafikkarte wie „Nvidia RTX 3090“ zum Einsatz kommen. In diesem Fall können zwar nicht so viele Benutzer gleichzeitig mit dem System arbeiten, die Leistung ist aber durchaus in Ordnung.

Beim Server sind AMD-Prozessoren oder Intel-CPUs möglich. Beim Arbeitsspeicher sollten es mindestens 128 GB sein. Wenn mehrere Personen gleichzeitig arbeiten, darf es auch etwas mehr sein. Das Betriebssystem sollte auf SSDs laufen, die möglichst schnell sein sollten.

Ollama installieren

Sobald auf dem Server Ubuntu 24.04 LTS im Einsatz ist, lässt sich Ollama installieren. Das geht über ein Installations-Skript, das die Entwickler von Ollama zur Verfügung stellen. Einrichtung und Installation sollten idealerweise mit einer Sudo-Shell (sudo -s) erfolgen.

Im Rahmen der Installation erkennt Ollama auch die vorhandene Grafikkarte und bindet die passenden Treiber ein. Ist eine passende Karte vorhanden, installiert der Assistent den KI-Dienst im CPU-Modus.

Dieser ist für den produktiven Betrieb aber kaum geeignet. Für Test- und Entwicklungsrechnern geht das aber durchaus. Generell sollte der Server danach neu gestartet werden. Sobald Ollama zur Verfügung steht, können LLMs integriert werden. Ein Beispiel dafür ist:

Der Vorgang dauert einige Zeit, da LLMs in der Regel mehrere Gigabyte groß sind. Auf diesem Weg lassen sich auch mehrere LLMs von Ollama installieren. Die Anwender können nach dem Aufrufen der Web-Oberfläche wählen, welches Modell sie verwenden sollen. Neben llama3 ist auch „codegemma“ interessant.

Damit können Entwickler zum Beispiel Code erstellen und nach Informationen im Bereich der Software-Entwicklung recherchieren. Bilder lassen sich mit der „LLM llava“ erstellen. Generell bleiben bei allen verwendeten Modellen immer alle Daten auf dem KI-Server, Ollama sendet nichts in das Internet. Nach dem Download kann der Betrieb zunächst getestet werden:

In der Befehlszeile kann danach ein erstes Prompt eingegeben und das Ergebnis getestet werden. Funktioniert die KI, erfolgt das Beenden mit '/bye'. Danach erfolgt die Installation der WebUI.

Die Installation von Open WebUI

Für eine bessere Interaktion mit den LLMs in Ollama ist der beste Weg Open WebUI zu installieren. Diese läuft am besten als Docker-Installation. Um Open WebUI mit Docker zu installieren, wird der folgende Befehl verwendet:

Der Zugriff auf die Web-Oberfläche erfolgt über 'http://<IP-Adresse>:8080'.Im ersten Schritt erfolgt die Registrierung an Open WebUI. Diese ist ausschließlich lokal, auch hier verlassen keine Daten den Server. Danach steht die KI bereits zur Verfügung, auch über das Netzwerk. Die Benutzerverwaltung lässt sich nach der Registrierung des ersten Benutzers ausführen.

Anpassen von Open WebUI und Ollama an die eigenen Anforderungen

Nach der Anmeldung an Open WebUI können Anwender über ihr Benutzer-Icon die Einstellungen aufrufen. Hier ist es zum Beispiel möglich, die Sprache anzupassen. Auch das Design, die Oberfläche, Anpassungen für Sprache-zu-Text und das Speichern und Importieren von Chats lassen sich hier ausführen. Bei 'Benutzer -> Modelle verwalten' können Admins das Standardmodell auswählen und festlegen, welche der heruntergeladenen Modelle in der Umgebung zur Verfügung stehen.

Administratoren:Innen können über ihr Benutzer-Icon bei 'Administrationsbereich' mit dem Plus-Zeichen neue Benutzerkonten anlegen und auch gleich Rollen festlegen. Hier lassen sich auch die Rollen und Einstellungen für Benutzerkonten jederzeit anpassen. In größeren Umgebungen ist es außerdem möglich über 'CSV-Import' beim Hinzufügen von Benutzerkonten neue Benutzer hinzuzufügen. Wenn in den Einstellungen bei 'Benutzer' die Option 'Registrierung erlauben' aktiviert ist, dürfen sich neue Benutzer an der Umgebung anmelden.

Über 'Standardbenutzerrolle' können Admins festlegen, welche Rolle neue Benutzer automatisch erhalten sollen. Das lässt sich später in der Benutzerverwaltung bei 'Übersicht' wieder anpassen. Wenn die Rolle 'ausstehend' ausgewählt ist, muss ein Admin nach der Registrierung eines Benutzers erst den Zugriff gestatten, indem der neue Benutzer einer Rolle zugewiesen wird.

Bei Internet-Anbindung

Standardmäßig greift der Server nicht auf das Internet zu, um zum Beispiel Benutzern aktuelle Informationen zur Verfügung zu stellen, die nicht trainiert wurden. Um das zu ändern, können Administratoren der Umgebung bei 'Administrationsbereich -> Websuche' mit 'Websuche aktivieren' und 'Suchmaschine' festlegen ob und wie der KI-Dienst auch im Internet nach Informationen suchen soll.

Hier steht als Suchmaschine zum Beispiel auch „Duckduckgo“ zur Verfügung. In den Einstellungen stehen zahlreiche weitere Möglichkeiten zur Verfügung, um die KI-Dienste in Ollama anzupassen.

Bezüglich der Überwachung ist es möglich in den Benutzerkonten die Chats der Benutzer anzuzeigen. Das lässt sich in den Einstellungen aber deaktivieren.

Das Arbeiten mit eigenen Daten und Ollama

Anwender können Dokumente über das Prompt-Fenster hochladen und diese Dokumente mit der KI durchsuchen und Fragen stellen. Dadurch können Anwender auch mit komplexen Dateien 'chatten' und Daten analysieren, ohne dabei Sorge haben zu müssen, dass Daten unberechtigten Benutzern zur Verfügung stellen.

(ID:50121360)