Websuche für Ollama und Z-PromptX. Erst testen, dann SearXNG
Wenn man mit Ollama lokal arbeitet, kommt irgendwann diese eine Frage: Wie bekommt die lokale KI eigentlich aktuelle Informationen?
Das Modell läuft auf dem eigenen Rechner. Schön. Die Daten bleiben im eigenen Umfeld. Auch schön. Aber wenn ich nach etwas Aktuellem frage, dann merkt man ziemlich schnell die Grenze. Ollama sucht nicht einfach im Internet. Woher auch.
Das muss also eine Software drumherum erledigen. Eine Suche starten, Ergebnisse holen und diese Ergebnisse dann der KI mitgeben. Klingt einfach. Ist es im Grundsatz auch. Nur der Weg dahin kann schnell nerven.
Und genau darum ging es mir. Ich wollte keine schöne Theorie bauen. Ich wollte wissen: Wie bekomme ich Suchergebnisse in meine lokale KI, ohne daraus gleich das nächste Technikwochenende zu machen?
Mein erster Fehler: gleich zu groß denken
Wenn man nach lokaler Websuche für KI sucht, landet man schnell bei SearXNG. Dann kommt Docker dazu, Container, NAS, WSL, Ports, Netzwerke. Alles Begriffe, die für sich genommen okay sind. Aber zusammen wird daraus schnell so ein Paket, bei dem ich merke: Jetzt bin ich schon wieder mehr am Einrichten als am eigentlichen Arbeiten.
Und genau da verliere ich die Lust.
Ich wollte ja erst einmal nur testen, ob Suchergebnisse die Antworten meiner lokalen KI überhaupt verbessern. Nicht gleich einen Suchserver sauber planen, installieren, absichern und dauerhaft betreiben. Deshalb ist für mich der erste Schritt nicht SearXNG. Der erste Schritt ist Z-PromptX.
Z-PromptX kann schon suchen
Z-PromptX hat bereits eine eingebaute Suchschnittstelle. Damit kann ich erste Suchtests machen, ohne sofort eine eigene SearXNG Installation aufzubauen. In Z-PromptX kann ich mit verschiedenen Suchquellen arbeiten, unter anderem mit Ollama, Wikipedia und ExaAI. Für den Einstieg reicht das völlig aus. Nicht als perfekte Endlösung, aber als Test. Und genau darum geht es am Anfang.
Ich will sehen: Bringt mir das im Alltag etwas? Werden Antworten besser? Wird die lokale KI brauchbarer, wenn sie Suchergebnisse dazu bekommt?
Wenn ja, kann man weiterdenken. Wenn nein, hat man sich wenigstens nicht vorher schon drei Abende mit Containern beschäftigt. Das klingt trocken, aber genau so spart man sich viel unnötiges Gefrickel. Für mich ist SearXNG deshalb nicht der Einstieg, sondern eher die nächste Stufe. Erst testen. Dann ausbauen.
Was SearXNG dabei eigentlich macht
SearXNG ist eine freie Metasuchmaschine. Sie durchsucht nicht selbst das komplette Internet, sondern fragt verschiedene Suchquellen ab und sammelt die Ergebnisse ein. Mit KI hat SearXNG selbst erst einmal nichts zu tun. Es ist keine lokale KI, kein Modell und auch kein Ersatz für Ollama. Es ist einfach die Suchmaschine davor. Im Ablauf sieht das ungefähr so aus: Ich stelle eine Frage. Die Software sucht passende Informationen. Die KI bekommt Frage plus Suchergebnisse. Danach erzeugt sie eine Antwort.
Das ist der einfache Teil.
Der nervigere Teil ist die Frage, wo diese Suchmaschine laufen soll. Und da habe ich mir mehrere Wege angesehen.
Synology NAS. Das war bei mir am angenehmsten
Ich habe SearXNG auf einer Synology NAS DS220+ ausprobiert. Und das war für mich bisher der angenehmste Weg.
Nicht spektakulär. Eher das Gegenteil. Und genau das war gut.
Die NAS läuft bei mir sowieso im Netzwerk. Sie ist der kleine Homeserver, der ohnehin immer an ist. Dateien, Sicherungen, ein paar Dienste. So ein Gerät steht nicht im Weg, es arbeitet einfach im Hintergrund.
Da passt eine kleine Suchmaschine gut hin.
Was mir daran gefällt: Der Dienst hängt nicht an meinem normalen Arbeitsrechner. Er hängt auch nicht direkt am KI Rechner. Er läuft einfach im Netzwerk mit. Ich muss nicht jedes Mal überlegen, ob gerade der richtige Windows Benutzer angemeldet ist oder ob irgendein Fenster noch offen sein muss.
Natürlich muss die Synology dafür geeignet sein. Container Unterstützung muss vorhanden sein, und das Gerät sollte nicht schon aus dem letzten Loch pfeifen. Aber wenn die Voraussetzungen passen, fühlt sich das für mich ziemlich rund an.
Ich saß davor und dachte irgendwann: Ja, genau da gehört so ein kleiner Dienst eigentlich hin. Nicht groß philosophieren. NAS läuft, Dienst läuft, fertig.
WSL unter Windows. Geht, aber für mich zu viel Baustelle
Die zweite Variante war WSL unter Windows. Also das Windows Subsystem for Linux. Das klingt erst einmal praktisch. Man bleibt auf Windows und bekommt trotzdem eine Linux Umgebung. Für Entwickler ist das sicher gut. Keine Frage.
Aber für meinen Zweck war es schnell anstrengend.
Man hat dann Windows. Darunter oder daneben Linux. Dazu eventuell Docker. Dann Ports. Dann die Frage, wie der Zugriff aus Windows funktioniert. Dann der nächste kleine Stolperstein. Und noch einer. Das ist nicht unmöglich. Aber es macht keinen Spaß, wenn man eigentlich nur eine Suchmaschine für die lokale KI haben will.
Bei WSL hatte ich schnell dieses Gefühl: Ich löse gerade Probleme, die ich ohne WSL gar nicht hätte. Für mich ist das meistens ein Warnsignal.
Wer sich mit Linux unter Windows auskennt, kann das machen. Wer gerne bastelt, auch. Aber als einfacher Einstieg für normale Anwender? Eher nicht. Dafür ist es mir zu viel Unterbau.
Docker Desktop auf dem KI Rechner
Dann gibt es noch Docker Desktop direkt auf dem Windows Rechner, auf dem auch Ollama läuft. Diese Variante habe ich in diesem Zusammenhang noch nicht selbst praktisch getestet. Sie liegt aber nahe. Wenn der KI Rechner sowieso läuft, könnte dort theoretisch auch SearXNG laufen.
Vom Speicher her kann das passen. Wenn zum Beispiel 16 GB für die KI reserviert sind und Windows noch seine 4 bis 6 GB braucht, bleibt auf einem ordentlich ausgestatteten Rechner noch Luft. Eine kleine Suchmaschine ist normalerweise nicht der große Speicherfresser.
Trotzdem würde ich Docker Desktop nur kurz erwähnen. Mehr nicht.
Warum? Weil wieder eine zusätzliche Schicht dazukommt. Windows, Ollama, Z-PromptX, Docker Desktop, Container, Volumes, Netzwerk. Irgendwann ist das für mich Quatsch, wenn bereits eine NAS im Netzwerk läuft. Wer keine NAS hat, kann Docker Desktop auf dem KI Rechner prüfen. Das ist völlig legitim. Aber in meinem Aufbau würde ich den Suchdienst lieber auf das Gerät legen, das sowieso als kleiner Server gedacht ist.
Die Reihenfolge ist wichtiger als die Technik
Bei lokaler KI passiert schnell etwas Komisches. Man will eine kleine Funktion testen und landet plötzlich bei einer halben Infrastruktur.
Ein Container hier, ein Dienst da, noch schnell eine Anleitung lesen, dann noch ein Video, dann noch ein Problem mit dem Netzwerk. Und am Ende hat man viel eingerichtet, aber die eigentliche Frage noch nicht beantwortet.
Hilft mir die Suche überhaupt?
Genau deshalb würde ich nicht mit der größten Lösung anfangen. Erst in Z-PromptX testen. Suchfunktion nutzen. Ein paar echte Fragen stellen. Nicht nur künstliche Testfragen, sondern Dinge, die man wirklich braucht.
Wenn die Antworten dadurch besser werden, lohnt sich der nächste Schritt. Dann kann man SearXNG lokal betreiben. Aber dann weiß man wenigstens, warum man es macht.
Meine Reihenfolge
Ich würde es aktuell so sortieren:
- Erst die vorhandene Suchschnittstelle in Z-PromptX testen.
- Ein paar echte Anfragen machen, nicht nur Spielerei.
- Prüfen, ob die Suchergebnisse die Antworten wirklich verbessern.
- Wenn ja, SearXNG als eigene Suchmaschine ansehen.
- Wenn eine Synology NAS vorhanden ist, dort anfangen.
- WSL nur nehmen, wenn man bewusst mit Linux unter Windows arbeiten möchte.
- Docker Desktop nur als weitere Möglichkeit sehen, nicht als Pflichtlösung.
Das ist keine perfekte technische Rangliste. Es ist eher meine praktische Reihenfolge nach dem Ausprobieren. Und die ist manchmal mehr wert als die schönste Architekturzeichnung.
Fazit
Eine lokale KI mit Ollama wird deutlich interessanter, wenn sie Suchergebnisse nutzen kann. Aber man muss dafür nicht sofort einen kleinen Serverzoo bauen. Für erste Tests reicht Z-PromptX. Die Suchschnittstelle ist da. Damit kann man prüfen, ob Suche im eigenen Alltag überhaupt Sinn ergibt.
Wenn es passt, wird SearXNG interessant. Für mich war die Synology NAS bisher der beste Ort dafür. Sie läuft sowieso, sie steht im Netzwerk und sie ist als kleiner Homeserver ohnehin schon da.
WSL geht. Klar. Aber für mich war das zu viel Gefrickel für diesen Zweck. Docker Desktop auf dem KI Rechner kann funktionieren, würde ich aber nur kurz erwähnen, solange ich es selbst nicht sauber durchgetestet habe.
Mein Fazit ist ziemlich einfach: Erst testen, dann ausbauen. Nicht aus jeder kleinen Suchfunktion gleich ein neues Wochenendprojekt machen.