Im ersten Beitrag ging es darum, wie sich Ollama unter Windows installieren lässt und warum für den Einstieg oft schon ein kleineres Modell reicht. Das war die technische Seite. Spannend wird es für mich aber erst danach.
Denn eine lokale KI zu installieren ist das eine. Sie danach im Alltag auch wirklich zu benutzen ist etwas anderes.
Genau an der Stelle trennt sich für mich ein nettes Technikthema von etwas, das am Ende tatsächlich im Alltag landet.
Z-PromptX startet Ollama automatisch
Z-PromptX gibt es inzwischen in zwei Varianten: mit und ohne Ollama. Wer Ollama bereits auf seinem Windows-PC installiert hat, kann die schlankere Version verwenden. Alternativ steht ein Installationspaket zur Verfügung, das Z-PromptX und Ollama gemeinsam installiert. In beiden Fällen übernimmt Z-PromptX anschließend die Verbindung zum Ollama-Server. Um dessen Start und Beenden muss sich der Anwender im normalen Betrieb nicht kümmern.
Z-PromptX startet den lokalen Ollama-Server bei Bedarf eigenständig. Wird Z-PromptX beendet, wird auch der von Z-PromptX gestartete Ollama-Server wieder beendet. Eine bereits unabhängig laufende Ollama-Instanz muss dafür nicht eigens gestartet werden.
Genau das ist für mich der interessante Punkt. Die KI läuft lokal auf dem eigenen Rechner, aber ich muss dafür nicht dauernd in einer anderen Oberfläche herumklicken. Wenn ich ohnehin schon mit Prompts, Texten und Vorlagen in Z-PromptX arbeite, dann will ich die lokale KI auch genau dort benutzen können.
KI-Modelle direkt in Z-PromptX verwalten
Z-PromptX besitzt inzwischen auch eine kleine Modellverwaltung. Bereits installierte KI-Modelle lassen sich direkt auswählen und verwenden.
Fehlt ein bestimmtes Modell, kann ich es direkt aus Z-PromptX heraus herunterladen und installieren. Dafür muss ich weder eine Kommandozeile öffnen noch zu einer anderen Anwendung wechseln.
Das ist besonders für Einsteiger praktisch. Ollama installieren, Z-PromptX starten, ein geeignetes Modell herunterladen und loslegen. Viel mehr ist für den Anfang nicht erforderlich.
Zwei Ollama-Server und Cloud-Modelle
Inzwischen kann Z-PromptX auch mit zwei Ollama-Servern arbeiten. Das kann beispielsweise ein lokal auf dem Windows-PC installiertes Ollama und ein zweiter Ollama-Server auf einem anderen Rechner im lokalen Netzwerk sein.
Jeder Server hat in Z-PromptX seinen eigenen Chatbereich. Zwischen beiden kann ich per Knopfdruck wechseln. Die Chatfenster werden dabei nicht nebeneinander dargestellt, sondern einfach umgeschaltet.
Bei mir ist das durchaus praktisch. Ich kann auf unterschiedlichen Rechnern verschiedene KI-Modelle betreiben und je nach Aufgabe den passenden Server verwenden.
Darüber hinaus unterstützt Z-PromptX auch die Cloud-Modelle von Ollama. Damit lassen sich Modelle nutzen, die für meinen eigenen Rechner schlicht zu groß wären. Ein leistungsfähiges Cloud-Modell kann beispielsweise eine interessante Ergänzung sein, wenn das lokale Modell bei einer anspruchsvolleren Aufgabe an seine Grenzen kommt.
Allerdings gibt es einen wesentlichen Unterschied: Bei lokalen Modellen bleiben die Anfragen auf der eigenen Hardware. Bei Cloud-Modellen werden sie zur Verarbeitung an externe Server übertragen. Das sollte man bei vertraulichen Daten berücksichtigen.
Gute Ollama-Oberflächen gibt es längst
An Oberflächen für lokale KI fehlt es nicht. LM Studio, Open WebUI, Jan und AnythingLLM sind bekannt und haben ihre Stärken. Vor allem dann, wenn man mehr verwalten, mehr einstellen oder mehr ausprobieren will.
Ich will das gar nicht kleinreden. Aber viele brauchen im Alltag eben keine halbe Steuerzentrale. Die wollen ein Modell auswählen, etwas eingeben und eine brauchbare Antwort bekommen. Ohne noch ein weiteres Programm zu lernen und ohne wieder irgendwo anders weiterzumachen.
Genau da passt die Anbindung an Ollama in Z-PromptX für mich gut hinein. Nicht als Ersatz für alles andere. Einfach als praktische Lösung.
Lokale KI soll nicht in Arbeit ausarten
Wenn man sich länger mit lokaler KI beschäftigt, landet man schnell bei allem möglichen Drumherum. Docker, Python, Weboberflächen, Zusatzwerkzeuge, Konfigurationskram und noch mehr Zeug, das mit der eigentlichen Nutzung erst einmal wenig zu tun hat.
Wer daran Spaß hat, soll das machen. Mir geht es hier aber um den normalen Einsatz. Ich will das Modell in Z-PromptX auswählen, meinen Prompt benutzen und sehen, was dabei herauskommt. Mehr brauche ich für viele Dinge gar nicht.
Und wenn ich ein anderes Modell ausprobieren möchte, kann ich es direkt herunterladen. Ohne mich vorher wieder mit der Technik dahinter beschäftigen zu müssen.
Kleine Modelle werden oft schlechter geredet, als sie sind
Bei lokaler KI wird schnell so getan, als wäre unterhalb großer Modelle kaum etwas Brauchbares möglich. Das sehe ich anders. Kleine Modelle können zu Hause schon ziemlich nützlich sein, wenn man keine Wunder erwartet.
Für Zusammenfassungen, Umformulierungen, kurze E-Mails, Entwürfe, Ideenlisten oder das sprachliche Überarbeiten von Texten reicht ein kleines Modell oft schon erstaunlich weit. Auch wenn ein Dokument geladen ist und ich dazu einzelne Fragen stelle, kommt häufig schon etwas heraus, mit dem ich arbeiten kann.
Klar, es gibt Grenzen. Bei langen Texten, schwierigen Fachfragen oder komplizierten Gedankengängen wird es schnell enger. Aber genau solche Aufgaben habe ich im Alltag nicht ständig auf dem Tisch.
Viel häufiger will ich einen Text glätten, einen Absatz kürzen, eine Seite zusammenfassen oder mir schnell einen ersten Überblick holen. Dafür reichen kleine Modelle oft schon gut aus. Dazu kommt noch etwas sehr Praktisches: Sie benötigen weniger Speicher und laufen auch auf weniger leistungsfähigen Rechnern häufig flüssiger.
Aktuelle Informationen aus dem Internet
Ein weiterer Punkt ist das Internet. Ein lokal betriebenes KI-Modell hat nicht automatisch Zugriff auf aktuelle Informationen. Für Fragen zu neuen Softwareversionen, technischen Änderungen oder aktuellen Ereignissen ist das natürlich ein Nachteil.
In Z-PromptX lassen sich deshalb einzelne Webseiten direkt abrufen. Das ist besonders dann praktisch, wenn die Quelle ohnehin feststeht, etwa ein Nachrichtenartikel, eine Dokumentation, ein Blogbeitrag oder eine Produktseite.
Dann muss ich nicht erst eine Suche über viele Treffer davor setzen. Ich lade einfach die Seite, um die es gerade geht, und stelle der KI meine Fragen dazu.
Gerade kleinere Modelle kommen damit oft besser zurecht als mit einer ganzen Trefferliste. Sie bekommen direkt den Text, der gebraucht wird, und müssen sich nicht erst durch gemischte Ergebnisse arbeiten.
Websuche mit Brave, Mojeek, Exa AI und Ollama
Inzwischen bietet Z-PromptX aber deutlich mehr als nur den direkten Abruf einzelner Webseiten. Verschiedene Suchdienste lassen sich in die Anwendung einbinden. Dazu gehören Brave Search, Mojeek, Exa AI und die Websuche von Ollama.
Die Suchfunktionen können direkt verwendet oder vor die eigentliche Anfrage an das KI-Modell geschaltet werden. Damit bekommt das Modell zusätzliche Informationen zu einem Thema, die es anschließend für seine Antwort verwenden kann.
Auch Wikipedia lässt sich in Z-PromptX einbinden. Wikipedia ist zwar keine klassische Suchmaschine für das gesamte Internet, kann aber eine brauchbare Informationsquelle sein, wenn es um Personen, Begriffe, technische Themen oder allgemeines Wissen geht.
Welche Suchdienste verwendet werden können und welche API-Zugänge dafür erforderlich sind, hängt vom jeweiligen Anbieter ab. Nicht jede Schnittstelle ist kostenlos oder ohne Registrierung nutzbar.
Und was ist mit SearXNG?
SearXNG ist eine Metasuchmaschine, die verschiedene Suchmaschinen abfragen kann. Die Idee dahinter ist durchaus interessant. In der Praxis gibt es allerdings ein Problem: Nicht alle Suchanbieter möchten, dass ihre Ergebnisse auf diese Weise automatisiert abgefragt werden.
Technische Sperren, Captchas und Änderungen an den Suchdiensten können dazu führen, dass einzelne Suchquellen zeitweise oder dauerhaft nicht mehr funktionieren.
Deshalb setze ich bei Z-PromptX lieber auf die direkte Anbindung der unterstützten Suchdienste. Das bedeutet nicht, dass jede API immer verfügbar ist, macht die Integration aber weniger abhängig von den Umwegen einer Metasuchmaschine.
Am Ende ist nur wichtig, ob ich es wirklich benutze
Darauf läuft es für mich hinaus. Ollama stellt die KI-Modelle bereit und Z-PromptX bietet mir die Oberfläche, in der ich damit arbeiten kann.
Der lokale Ollama-Server wird bei Bedarf automatisch gestartet und beim Beenden von Z-PromptX wieder heruntergefahren. Modelle kann ich direkt aus der Anwendung heraus installieren und verwalten. Wenn die Leistung des eigenen Rechners nicht ausreicht, kann ich einen zweiten Ollama-Server im Netzwerk oder die Cloud-Modelle von Ollama verwenden.
Dazu kommen eigene Dokumente, der Abruf von Webseiten und verschiedene Suchdienste. Damit kann ich einer lokalen KI bei Bedarf zusätzliche Informationen zur Verfügung stellen.
Natürlich lässt sich das alles auch mit anderen Programmen und Werkzeugen umsetzen. Mir geht es aber nicht darum, möglichst viele Anwendungen zu betreiben, sondern meine Arbeit mit KI möglichst einfach zu halten.
Das ist keine große Show. Muss es auch nicht sein. Mir reicht, wenn es praktisch ist und ich es im Alltag tatsächlich benutze.
Wer den ersten Beitrag noch nicht kennt
Die Grundlagen zur Installation von Ollama unter Windows habe ich bereits im ersten Beitrag beschrieben: