Websuche für Ollama und Z-PromptX. Erst testen, dann SearXNG
Wenn man mit Ollama lokal arbeitet, kommt irgendwann diese eine Frage: Wie bekommt die lokale KI eigentlich aktuelle Informationen?
Das Modell läuft auf dem eigenen Rechner. Schön. Aber sein Wissen hat Grenzen. Aktuelle Informationen aus dem Internet stehen ihm nicht automatisch zur Verfügung. Dafür braucht es Zugriff auf zusätzliche Quellen.
An der Stelle muss man einmal sauber trennen. Ollama ist nicht die KI selbst. Ollama ist die Software, die lokale KI-Modelle startet, verwaltet und ansprechbar macht. Die eigentliche KI steckt im Modell. Also zum Beispiel in Llama, Mistral, Gemma, Qwen oder einem anderen Modell.
Ollama ist eher der Unterbau. Es lädt Modelle, startet sie, hält sie bereit und stellt eine Schnittstelle zur Verfügung, über die andere Programme mit dem Modell sprechen können. Das Modell antwortet. Ollama sorgt dafür, dass das Modell überhaupt läuft und erreichbar ist.
Ein lokales Modell bekommt durch Ollama allein noch keinen automatischen Internetzugang. Ollama bietet allerdings auch eine Websuche als Online-Schnittstelle an. Dafür werden ein Ollama-Konto und ein API-Key benötigt. Eine Anwendung wie Z-PromptX muss die Suche einbinden, Informationen abrufen und sie dem Modell für die Antwort mitgeben. Das Modell kann die Suche über einen Werkzeugaufruf anfordern, wenn Modell und Anwendung das unterstützen.
Und genau darum ging es mir. Ich wollte keine schöne Theorie bauen. Ich wollte wissen: Wie bekomme ich Suchergebnisse in meine lokale KI, ohne daraus gleich das nächste Technikwochenende zu machen?
Mein erster Fehler: gleich zu groß denken
Wenn man nach lokaler Websuche für KI sucht, landet man schnell bei SearXNG. Dann kommt Docker dazu, Container, NAS, WSL, Ports, Netzwerke. Alles Begriffe, die für sich genommen okay sind. Aber zusammen wird daraus schnell so ein Paket, bei dem ich merke: Jetzt bin ich schon wieder mehr am Einrichten als am eigentlichen Arbeiten.
Und genau da verliere ich die Lust.
Ich wollte ja erst einmal nur testen, ob Suchergebnisse die Antworten meiner lokalen KI überhaupt verbessern. Nicht gleich einen Suchserver sauber planen, installieren, absichern und dauerhaft betreiben. Deshalb ist für mich der erste Schritt nicht SearXNG. Der erste Schritt ist Z-PromptX.
Z-PromptX kann schon suchen
Z-PromptX hat bereits eine eingebaute Suchschnittstelle. Damit kann ich Suchtests machen, ohne sofort eine eigene SearXNG-Installation aufzubauen. Als Suchquellen lassen sich Mojeek, Brave, die Ollama-Websuche, Exa AI und Wikipedia einbinden. Je nach Dienst sind dafür eigene Zugangsdaten oder API-Keys erforderlich. Auch Nutzungslimits und mögliche Kosten hängen vom jeweiligen Anbieter ab.
Wikipedia ist dabei keine klassische Websuchmaschine, sondern ein Online-Nachschlagewerk mit eigener Suche. In Z-PromptX lässt sie sich als Suchwerkzeug einbinden oder einem Prompt vorschalten. So kann die lokale KI Wikipedia-Inhalte für ihre Antwort nutzen. Das ist vor allem für Begriffe, Hintergründe und Zusammenhänge nützlich.
Die abgerufenen Informationen stehen der lokalen KI für die Beantwortung der Frage zur Verfügung. Auch mit Suchergebnissen kann eine Antwort falsch sein. Ob die Quelle zur Frage passt und wie aktuell sie ist, bleibt entscheidend.
Für den Einstieg kann ich mit diesen vorhandenen Schnittstellen erst einmal prüfen, welche Quellen für meine Fragen brauchbare Ergebnisse liefern.
Ich will sehen: Bringt mir das im Alltag etwas? Werden Antworten besser? Wird die lokale KI brauchbarer, wenn sie Suchergebnisse dazu bekommt?
Wenn ja, kann man weiterdenken. Wenn nein, hat man sich wenigstens nicht vorher schon drei Abende mit Containern beschäftigt. Das klingt trocken, aber genau so spart man sich viel unnötiges Gefrickel. Für mich ist SearXNG deshalb nicht der Einstieg, sondern eine mögliche Erweiterung. Ob ich sie überhaupt brauche, zeigt sich beim Testen.
Was SearXNG dabei eigentlich macht
SearXNG ist eine freie Metasuchmaschine. Sie durchsucht nicht selbst das komplette Internet, sondern fragt verschiedene Suchquellen ab und sammelt die Ergebnisse ein. Mit KI hat SearXNG selbst erst einmal nichts zu tun. Es ist keine lokale KI, kein Modell und auch kein Ersatz für Ollama. Es ist einfach die Suchmaschine davor. Im Ablauf sieht das ungefähr so aus: Ich stelle eine Frage. Die Software sucht passende Informationen. Die KI bekommt Frage plus Suchergebnisse. Danach erzeugt sie eine Antwort.
Das ist der einfache Teil.
Der nervigere Teil ist die Frage, wo diese Suchmaschine laufen soll. Und da habe ich mir mehrere Wege angesehen.
SearXNG bleibt von anderen Suchdiensten abhängig
Eine eigene SearXNG-Installation bedeutet allerdings nicht, dass mir die angezapften Suchmaschinen dauerhaft freien Zugriff auf ihre Ergebnisse gewähren. Automatisierte Abfragen sind dort nicht überall willkommen. Anbieter können sie begrenzen, mit CAPTCHAs abfangen oder ganz blockieren. Die SearXNG-Dokumentation beschreibt dieses Problem ausdrücklich.
Für die lokale KI ist das unpraktisch. Sie erwartet Suchergebnisse und bekommt von einer Quelle möglicherweise nur eine Fehlermeldung. SearXNG kann dann noch Ergebnisse anderer Quellen liefern, aber die Auswahl wird kleiner. Eine laufende Installation bedeutet deshalb noch lange nicht, dass alle eingebundenen Suchmaschinen zuverlässig antworten.
Die Anbieter können solchen Zugriffen also durchaus einen Riegel vorschieben. Wie stark das einzelne Quellen betrifft, hängt unter anderem vom Anbieter, der IP-Adresse und der Zahl der Anfragen ab. Dass grundsätzlich alle Suchmaschinen immer strenger gegen SearXNG vorgehen, würde ich daraus nicht pauschal ableiten. Die dokumentierten Sperren reichen aber schon als Grund, diese Abhängigkeit bei der Planung zu berücksichtigen.
Für mich heißt das: SearXNG ist eine interessante Möglichkeit, Suchquellen selbst zusammenzuführen. Es ist aber keine Garantie für dauerhaft verfügbare Suchergebnisse. Offizielle Such-APIs sind für automatisierte Abfragen vorgesehen, haben dafür ihre eigenen Limits und gegebenenfalls Kosten.
Und noch etwas: Lokal bleibt dabei die Verarbeitung durch das Modell. Sobald ich eine externe Suchquelle abfrage, verlässt zumindest die Suchanfrage mein Netzwerk. Auch eine SearXNG-Installation auf der eigenen NAS macht daraus keine vollständig lokale Suche.
Synology NAS. Das war bei mir am angenehmsten
Ich habe SearXNG auf einer Synology NAS DS220+ ausprobiert. Und das war für mich bisher der angenehmste Weg.
Nicht spektakulär. Eher das Gegenteil. Und genau das war gut.
Die NAS läuft bei mir sowieso im Netzwerk. Sie ist der kleine Homeserver, der ohnehin immer an ist. Dateien, Sicherungen, ein paar Dienste. So ein Gerät steht nicht im Weg, es arbeitet einfach im Hintergrund.
Da passt eine kleine Suchmaschine gut hin.
Was mir daran gefällt: Der Dienst hängt nicht an meinem normalen Arbeitsrechner. Er hängt auch nicht direkt am KI Rechner. Er läuft einfach im Netzwerk mit. Ich muss nicht jedes Mal überlegen, ob gerade der richtige Windows Benutzer angemeldet ist oder ob irgendein Fenster noch offen sein muss.
Natürlich muss die Synology dafür geeignet sein. Container Unterstützung muss vorhanden sein, und das Gerät sollte nicht schon aus dem letzten Loch pfeifen. Aber wenn die Voraussetzungen passen, fühlt sich das für mich ziemlich rund an.
Ich saß davor und dachte irgendwann: Ja, genau da gehört so ein kleiner Dienst eigentlich hin. Nicht groß philosophieren. NAS läuft, Dienst läuft. Für den Betrieb im eigenen Netzwerk passt das bei mir gut. Die Verfügbarkeit der externen Suchquellen ist damit allerdings noch nicht gesichert.
WSL unter Windows. Geht, aber für mich zu viel Baustelle
Die zweite Variante war WSL unter Windows. Also das Windows Subsystem for Linux. Das klingt erst einmal praktisch. Man bleibt auf Windows und bekommt trotzdem eine Linux Umgebung. Für Entwickler ist das sicher gut. Keine Frage.
Aber für meinen Zweck war es schnell anstrengend.
Man hat dann Windows. Darunter oder daneben Linux. Dazu eventuell Docker. Dann Ports. Dann die Frage, wie der Zugriff aus Windows funktioniert. Dann der nächste kleine Stolperstein. Und noch einer. Das ist nicht unmöglich. Aber es macht keinen Spaß, wenn man eigentlich nur eine Suchmaschine für die lokale KI haben will.
Bei WSL hatte ich schnell dieses Gefühl: Ich löse gerade Probleme, die ich ohne WSL gar nicht hätte. Für mich ist das meistens ein Warnsignal.
Wer sich mit Linux unter Windows auskennt, kann das machen. Wer gerne bastelt, auch. Aber als einfacher Einstieg für normale Anwender? Eher nicht. Dafür ist es mir zu viel Unterbau.
Docker Desktop auf dem KI Rechner
Dann gibt es noch Docker Desktop direkt auf dem Windows Rechner, auf dem auch Ollama läuft. Diese Variante habe ich in diesem Zusammenhang noch nicht selbst praktisch getestet. Sie liegt aber nahe. Wenn der KI Rechner sowieso läuft, könnte dort theoretisch auch SearXNG laufen.
Ob dafür genug Arbeitsspeicher übrig bleibt, hängt vom Rechner, dem geladenen Modell, der Kontextgröße und den übrigen Diensten ab. Docker Desktop und seine Linux-Umgebung brauchen ebenfalls Ressourcen. Das würde ich am konkreten Rechner prüfen, statt mit einer pauschalen Speicherreserve zu rechnen.
Für meinen Aufbau bleibt Docker Desktop vorerst eine weitere Möglichkeit, die ich noch praktisch prüfen müsste.
Warum? Weil wieder eine zusätzliche Schicht dazukommt. Windows, Ollama, Z-PromptX, Docker Desktop, Container, Volumes, Netzwerk. Irgendwann ist das für mich Quatsch, wenn bereits eine NAS im Netzwerk läuft. Wer keine NAS hat, kann Docker Desktop auf dem KI Rechner prüfen. Das ist völlig legitim. Aber in meinem Aufbau würde ich den Suchdienst lieber auf das Gerät legen, das sowieso als kleiner Server gedacht ist.
Die Reihenfolge ist wichtiger als die Technik
Bei lokaler KI passiert schnell etwas Komisches. Man will eine kleine Funktion testen und landet plötzlich bei einer halben Infrastruktur.
Ein Container hier, ein Dienst da, noch schnell eine Anleitung lesen, dann noch ein Video, dann noch ein Problem mit dem Netzwerk. Und am Ende hat man viel eingerichtet, aber die eigentliche Frage noch nicht beantwortet.
Hilft mir die Suche überhaupt?
Genau deshalb würde ich nicht mit der größten Lösung anfangen. Erst in Z-PromptX testen. Suchfunktion nutzen. Ein paar echte Fragen stellen. Nicht nur künstliche Testfragen, sondern Dinge, die man wirklich braucht.
Wenn die Antworten dadurch besser werden, kann ich prüfen, ob mir die vorhandenen Schnittstellen reichen. SearXNG lohnt sich für mich erst dann, wenn ich Suchquellen selbst bündeln und den zusätzlichen Dienst auch pflegen möchte.
Meine Reihenfolge
Ich würde es aktuell so sortieren:
- Erst die vorhandene Suchschnittstelle in Z-PromptX testen.
- Ein paar echte Anfragen machen, nicht nur Spielerei.
- Prüfen, ob die Suchergebnisse die Antworten wirklich verbessern.
- Prüfen, ob die vorhandenen Suchquellen ausreichen oder SearXNG einen zusätzlichen Nutzen bringt.
- Bei SearXNG mögliche Sperren, ausfallende Quellen und Wartungsaufwand einplanen.
- Wenn eine Synology NAS vorhanden ist, dort anfangen.
- WSL nur nehmen, wenn man bewusst mit Linux unter Windows arbeiten möchte.
- Docker Desktop nur als weitere Möglichkeit sehen, nicht als Pflichtlösung.
Das ist keine perfekte technische Rangliste. Es ist eher meine praktische Reihenfolge nach dem Ausprobieren. Und die ist manchmal mehr wert als die schönste Architekturzeichnung.
Fazit
Eine lokale KI mit Ollama wird deutlich interessanter, wenn sie Suchergebnisse nutzen kann. Aber man muss dafür nicht sofort einen kleinen Serverzoo bauen. Für erste Tests reicht Z-PromptX. Die Suchschnittstelle ist da. Damit kann man prüfen, ob Suche im eigenen Alltag überhaupt Sinn ergibt.
Mojeek, Brave, die Ollama-Websuche, Exa AI und Wikipedia bieten dafür unterschiedliche Zugänge zu Informationen. Wikipedia ist ein Nachschlagewerk, keine allgemeine Websuchmaschine. In Z-PromptX kann ich sie als Suchwerkzeug einbinden oder einem Prompt vorschalten und die Inhalte für die Antwort nutzen lassen.
Wer Suchquellen selbst bündeln möchte, kann SearXNG prüfen. Für mich war die Synology NAS bisher der angenehmste Ort dafür. Die Abhängigkeit von externen Suchdiensten bleibt aber bestehen. CAPTCHAs, Zugriffslimits und Sperren gehören zu den praktischen Grenzen dieser Lösung.
WSL geht. Klar. Aber für mich war das zu viel Gefrickel für diesen Zweck. Docker Desktop auf dem KI Rechner kann funktionieren, würde ich aber nur kurz erwähnen, solange ich es selbst nicht sauber durchgetestet habe.
Mein Fazit ist ziemlich einfach: Erst testen, dann ausbauen. Nicht aus jeder kleinen Suchfunktion gleich ein neues Wochenendprojekt machen.