Wer Ollama lokal nutzt, sollte sich meiner Meinung nach auch einmal die Webseite der Ollama Inc. ansehen. Denn dort gibt es inzwischen mehr als nur KI-Modelle zum Herunterladen.
Es lohnt sich, ein kostenloses Konto anzulegen. Nach der Anmeldung kann man sich dort einen API-Key erstellen und damit unter anderem die Websuche von Ollama nutzen.
Ollama bietet dafür ein kostenloses Kontingent an. Das ist natürlich begrenzt, zum Ausprobieren und für gelegentliche Suchanfragen dürfte es aber für viele Anwender erst einmal reichen.
Websuche direkt aus Z-PromptX
In Z-PromptX ist die Schnittstelle bereits eingebaut.
Man wählt einfach Ollama als Suchmaschine aus, trägt seinen API-Key ein und kann danach die Websuche zusammen mit einem lokalen KI-Modell verwenden.
Das ist für mich gerade deshalb interessant, weil ein lokales Modell damit nicht mehr ausschließlich auf sein vorhandenes Wissen angewiesen ist. Es kann bei Bedarf aktuelle Informationen aus dem Internet bekommen und diese anschließend lokal auswerten.
Meine Lieblingsfrage zum Testen ist natürlich:
Wie ist das aktuelle Wetter in Berlin?
Oder, da ich öfter mit der S-Bahn unterwegs bin:
Gibt es aktuell Störungen bei der S-Bahn Berlin?
Gerade bei solchen Fragen sieht man schnell, ob die Websuche funktioniert. Ohne Internetzugriff kann ein lokales Modell schließlich nicht zuverlässig wissen, ob gerade irgendwo eine S-Bahn ausgefallen ist oder wie das Wetter heute aussieht.
Allerdings bedeutet eine erfolgreiche Suche noch nicht automatisch eine richtige Antwort. Das lokale Modell muss die gefundenen Informationen auch verstehen und sinnvoll auswerten.
Und was ist mit dem Datenschutz?
Hier sollte man unterscheiden.
Das eigentliche KI-Modell läuft weiterhin lokal auf dem eigenen Rechner. Der komplette Chatverlauf oder eigene Dokumente müssen für die Websuche nicht an Ollama übertragen werden.
Die jeweilige Suchanfrage wird allerdings an den Ollama-Dienst geschickt. Die gefundenen Informationen kommen anschließend zurück und können vom lokalen Modell verarbeitet werden.
Wer mit vertraulichen Daten arbeitet, sollte deshalb darauf achten, was tatsächlich als Suchanfrage übertragen wird. Kundennamen, interne Projektdaten oder andere vertrauliche Informationen gehören dort nicht hinein.
Für mich ist das trotzdem ein interessanter Mittelweg: Das Modell selbst und meine eigentlichen Daten bleiben lokal, während ich für einzelne Fragen gezielt Informationen aus dem Internet holen kann.
Wikipedia geht auch ohne API-Key
Zusätzlich ist in Z-PromptX bereits eine Schnittstelle zu Wikipedia eingebaut.
Damit lässt sich natürlich nicht nach dem aktuellen Wetter oder einer heutigen S-Bahn-Störung suchen. Für allgemeine Wissensfragen ist Wikipedia aber durchaus praktisch.
Eine einfache Frage wäre zum Beispiel:
Wer war Konrad Adenauer?
Oder noch kürzer:
Konrad Adenauer?
Das muss man allerdings ausprobieren. Gerade kleinere lokale Modelle zicken bei solchen knappen Eingaben manchmal etwas herum.
In Z-PromptX kann Wikipedia als Suchquelle eingebunden oder gezielt vor einen Prompt geschaltet werden.
Das ist ein wichtiger Unterschied.
Wenn das Modell selbst entscheiden soll, ob es die Wikipedia-Schnittstelle benutzt, muss es zunächst erkennen, dass zusätzliche Informationen benötigt werden. Anschließend muss es den passenden Werkzeugaufruf auslösen.
Gerade kleinere Modelle sind dabei nicht immer zuverlässig. Eine knappe Eingabe wie ‚Konrad Adenauer?‘ kann beispielsweise als Aufforderung zu einer allgemeinen Antwort verstanden werden, ohne überhaupt Wikipedia zu benutzen.
Wird die Wikipedia-Suche in Z-PromptX dagegen vor den eigentlichen Prompt geschaltet, stehen dem Modell die gefundenen Informationen bereits zur Verfügung. Es muss dann nicht mehr selbst entscheiden, ob es Wikipedia aufrufen soll.
Mit einer konkreteren Frage lässt sich das Verhalten bei geeigneten Modellen ebenfalls besser steuern:
Suche in Wikipedia nach Konrad Adenauer und fasse die wichtigsten Informationen zusammen.
Gerade für allgemeine Wissensfragen, erste Recherchen oder auch schulische Themen ist das eine einfache Möglichkeit, einem lokalen Modell zusätzliche Informationen bereitzustellen.
Die Wikipedia-Schnittstelle kann kostenlos und ohne API-Key genutzt werden.
Kleine gegen größere Modelle
Spannend finde ich dabei noch einen anderen Punkt: Wie gut kommen unterschiedlich große lokale Modelle mit solchen Suchfunktionen zurecht?
Ein kleines Modell wie Qwen3.5:4b kann grundsätzlich dieselben Suchinformationen erhalten wie beispielsweise gpt-oss:20b. Trotzdem können die Ergebnisse deutlich unterschiedlich ausfallen.
Dabei geht es nicht nur darum, ob das Modell eine Frage richtig beantwortet. Interessant ist auch, ob es selbstständig erkennt, wann eine Suche sinnvoll ist, den passenden Werkzeugaufruf ausführt und anschließend mit den gefundenen Informationen etwas anfangen kann.
Ein größeres Modell hat dabei häufig Vorteile. Aber auch ein kleines Modell kann brauchbare Ergebnisse liefern, wenn man ihm die benötigten Informationen direkt zur Verfügung stellt.
Genau deshalb finde ich die Möglichkeit in Z-PromptX interessant, eine Suche gezielt vor einen Prompt zu schalten. Damit lässt sich ein Teil der Arbeit übernehmen, mit der kleinere Modelle sonst manchmal Schwierigkeiten haben.
Das werde ich mir mit verschiedenen Modellen noch etwas genauer ansehen.
Mein Fazit
Klar, Websuche können die großen KI-Dienste ebenfalls. Das ist nichts grundsätzlich Neues.
Ich finde es aber spannend, dass mein lokales Modell auf dem eigenen Windows-Rechner das inzwischen auch hinbekommt.
Und gerade die Kombination aus lokaler KI, einer gezielten Websuche und der Wikipedia-Schnittstelle eröffnet einige praktische Möglichkeiten, ohne dass ich dafür meine gesamte Arbeit in die Cloud verlagern muss.
Wer Z-PromptX bereits nutzt, braucht dafür keine zusätzliche Software. Die Schnittstellen sind vorhanden. Für die Ollama-Websuche muss lediglich der API-Key eingetragen werden.
Weitere Informationen
Ollama-Websuche:
Websuche mit Ollama – offizielle Beschreibung
Kostenlosen API-Key erstellen:
Ollama – API-Keys verwalten
Z-PromptX für Windows:
Z-PromptX – lokale KI unter Windows nutzen