Wenn von einem KI-Server die Rede ist, denken viele vermutlich zuerst an einen großen Rechner mit mehreren teuren Grafikkarten. Dabei kann ein KI-Server auch ein ganz normaler Windows-PC sein. Sogar ein älterer, gebrauchter Bürorechner kommt dafür infrage.
Für mich ist genau das einer der interessanten Punkte bei der lokalen KI. Ich muss nicht auf jedem Rechner, mit dem ich arbeite, Ollama und die gewünschten KI-Modelle installieren.
Stattdessen kann ein einzelner Rechner im Netzwerk diese Aufgabe übernehmen. Das ist gerade dann praktisch, wenn ich mal am Arbeitsplatz-PC und mal am Notebook sitze. Die KI steht auf beiden Geräten zur Verfügung, ohne dass ich die Modelle mehrfach vorhalten muss.
Was macht ein KI-Server eigentlich?
Ein KI-Server ist zunächst einmal ein Rechner, auf dem ein KI-Modell ausgeführt und anderen Programmen zur Verfügung gestellt wird. Bei einer lokalen KI mit Ollama übernimmt Ollama die Verwaltung und Ausführung der Modelle. Die eigentliche KI steckt im jeweiligen Sprachmodell, beispielsweise Qwen, Llama oder Mistral. Ein anderes Programm schickt seine Anfrage an Ollama. Das Modell verarbeitet diese Anfrage und liefert eine Antwort zurück. Mehr steckt hinter dem grundsätzlichen Prinzip zunächst nicht.
KI-Server und Arbeitsplatz müssen nicht derselbe Rechner sein
Das ist für mich der eigentliche Vorteil.
Auf meinem Arbeitsrechner oder Notebook benötige ich lediglich ein Programm, mit dem ich die KI ansprechen kann. Die eigentliche Rechenarbeit übernimmt ein anderer Rechner im lokalen Netzwerk. So sieht das beispielsweise mit meiner Windows-Software Z-PromptX aus:

Z-PromptX läuft auf dem Arbeitsplatzrechner und stellt die Benutzeroberfläche bereit. Über das lokale Netzwerk verbindet sich das Programm mit Ollama auf dem KI-Server. Dort wird das gewünschte Modell ausgeführt. Die Antwort erscheint anschließend wieder in Z-PromptX. Der Arbeitsplatzrechner benötigt dafür weder eine besonders leistungsfähige Grafikkarte noch zusätzlichen Speicherplatz für die KI-Modelle.
Ein gebrauchter Bürorechner kann völlig ausreichen
Es muss nicht immer die neueste Hardware sein. Für kleinere Sprachmodelle kann bereits ein älterer Büro-PC mit ausreichend Arbeitsspeicher interessant sein. Solche Rechner bekommt man gebraucht häufig für vergleichsweise wenig Geld.
Natürlich sollte man dabei die Erwartungen an die Geschwindigkeit nicht zu hoch ansetzen. Ein kleines Modell kann auf einer CPU durchaus brauchbar arbeiten. Bei größeren Modellen wird es ohne geeignete Grafikkarte allerdings schnell langsam – Entscheidend ist deshalb, was ich mit der KI machen möchte.
Für einfache Textaufgaben, das Zusammenfassen von E-Mails oder die Klassifizierung von Nachrichten muss es nicht unbedingt ein großes Sprachmodell sein. Wer dagegen umfangreiche Dokumente bearbeiten oder größere Modelle verwenden möchte, braucht entsprechend mehr Arbeitsspeicher und möglichst eine leistungsfähige GPU. Auch ein kleiner Mini-PC kann übrigens ein KI-Server sein. Das Gehäuse spielt dabei keine Rolle.
Die lokale KI steht praktisch auf Abruf bereit
Besonders angenehm finde ich, dass ich mich auf meinen Arbeitsrechnern nicht mehr um die Installation und Verwaltung der Modelle kümmern muss. Der KI-Server läuft im Netzwerk und Ollama wartet auf Anfragen. Dabei muss das KI-Modell nicht ständig im Arbeitsspeicher liegen. Ollama kann ein Modell bei Bedarf laden und nach einer gewissen Zeit ohne Anfragen wieder aus dem Speicher entfernen.
Das spart Arbeitsspeicher. Allerdings dauert die erste Antwort dann etwas länger, weil das Modell zunächst geladen werden muss. Wenn ich am Notebook arbeite, greife ich auf denselben KI-Server zu wie von meinem Arbeitsplatz-PC. Auch die installierten Modelle sind auf beiden Geräten identisch.
Eine Einschränkung gibt es natürlich: Der Server muss eingeschaltet und über das Netzwerk erreichbar sein. Außerdem verbraucht ein dauerhaft laufender Rechner Strom. Gerade bei einem älteren Gerät lohnt sich deshalb ein Blick auf die Leistungsaufnahme im Leerlauf.
Wie wird aus einem Windows-PC ein KI-Server?
Am einfachsten geht das mit meinem Installationspaket Z-PromptX mit Ollama. Damit werden beide Programme in einem Durchgang eingerichtet. Die gewünschten KI-Modelle lassen
sich anschließend direkt herunterladen.
Für den eigentlichen Serverbetrieb verwende ich das Zusatzprogramm Z-OllamaRun. Damit kann ich Ollama starten, beenden und konfigurieren, ohne mich mit Batch-Dateien oder der Kommandozeile beschäftigen zu müssen. Besonders praktisch finde ich die integrierte Log-Auswertung. Dort sehe ich, ob der Server korrekt gestartet wurde, welche Hardware verwendet wird und ob beim Start Probleme aufgetreten sind.
Über Z-OllamaRun lässt sich auch festlegen, unter welcher IP-Adresse der KI-Server im lokalen Netzwerk erreichbar sein soll. Auf meinem Arbeitsrechner oder Notebook benötige ich
anschließend nur noch Z-PromptX als Client. Dort trage ich die Adresse des KI-Servers ein und kann mit den installierten Modellen arbeiten. Die ausführliche Beschreibung der Einstellungen gibt es auf meiner Infoseite
Z-OllamaRun – Ollama-Server starten und konfigurieren.
Ein KI-Server für mehrere Arbeitsplätze
Ein weiterer Vorteil ist, dass nicht nur ein einziger Rechner auf den KI-Server zugreifen kann. Auch mehrere Arbeitsplätze können dieselbe Ollama-Installation verwenden. Die Modelle müssen dafür nur einmal auf dem Server vorhanden sein. Allerdings sollte man hier zwischen Verfügbarkeit und Geschwindigkeit unterscheiden. Nur weil mehrere Rechner auf denselben Server zugreifen können, bedeutet das nicht, dass alle gleichzeitig mit voller Geschwindigkeit arbeiten können.
Wie viele Anfragen parallel verarbeitet werden können, hängt von der Hardware, den Modellen und der Konfiguration von Ollama ab. Für einen einzelnen Anwender mit Arbeitsplatz-PC und Notebook ist das meistens weniger interessant. In einer kleinen Firma mit mehreren Arbeitsplätzen sollte man sich darüber aber Gedanken machen.
Bleiben die Daten wirklich lokal?
Ja, wenn die gesamte Verarbeitung über den eigenen Ollama-Server erfolgt und keine zusätzlichen Cloud-Dienste verwendet werden. Die Anfragen gehen dann vom Arbeitsplatzrechner über das lokale Netzwerk an den KI-Server. Dort werden sie verarbeitet und die Antworten zurückgeschickt. Ein externer KI-Anbieter ist dafür nicht erforderlich.
Das bedeutet allerdings nicht, dass die Verbindung automatisch verschlüsselt oder gegen unberechtigte Zugriffe geschützt ist. Die Ollama-Schnittstelle sollte deshalb nicht ungeschützt aus dem Internet erreichbar sein.
Wer vertrauliche Daten verarbeitet, sollte außerdem darauf achten, welche Programme und Zusatzfunktionen möglicherweise doch externe Dienste aufrufen.
Mein Fazit
Ein KI-Server muss weder teuer noch besonders kompliziert sein.
Für mich liegt der größte Nutzen darin, dass ich meine lokale KI von meinen Arbeitsrechnern trennen kann. Ein älterer, gebrauchter PC mit Ollama kann dafür bereits ausreichen, sofern die eingesetzten Modelle zur vorhandenen Hardware passen.
Auf meinem Arbeitsplatz-PC oder Notebook brauche ich dann nur noch Z-PromptX. Die KI-Modelle liegen zentral auf dem Server und stehen bei Bedarf zur Verfügung. Das macht die lokale KI für mich deutlich praktischer. Ich muss nicht auf jedem Rechner Modelle installieren, aktualisieren und Speicherplatz dafür reservieren. Und wenn ich später mehr Rechenleistung benötige, kann ich den KI-Server austauschen, ohne deshalb auch gleich meine Arbeitsrechner ersetzen zu müssen. Genau darin sehe ich den eigentlichen Vorteil eines eigenen KI-Servers.
Weiterführende Informationen: Offizielle Ollama-Dokumentation