Websuche für Ollama

Websuche für Ollama und Z-PromptX. Erst testen, dann SearXNG

Wenn man mit Ollama lokal arbeitet, kommt irgendwann diese eine Frage: Wie bekommt die lokale KI eigentlich aktuelle Informationen?

Das Modell läuft auf dem eigenen Rechner. Schön. Die Daten bleiben im eigenen Umfeld. Auch schön. Aber wenn ich nach etwas Aktuellem frage, dann merkt man ziemlich schnell die Grenze. Ollama sucht nicht einfach im Internet – Woher auch?

An der Stelle muss man einmal sauber trennen.

Ollama ist nicht die KI selbst. Ollama ist die Software, die lokale KI-Modelle startet, verwaltet und ansprechbar macht. Die eigentliche KI steckt im Modell. Also zum Beispiel in Llama, Mistral, Gemma, Qwen oder einem anderen Modell.

Weiterlesen …

Ollama als Windows-Dienst installieren

Ollama als Windows-Dienst installierenOllama kann unter Windows ganz normal manuell gestartet werden. Für erste Tests reicht das völlig aus. Sobald Ollama aber regelmäßig genutzt wird, zum Beispiel als KI-Server im lokalen Netzwerk, wird der manuelle Start schnell lästig.

Ein Windows-Dienst hat hier einen klaren Vorteil. Ollama startet dann automatisch mit dem Rechner, unabhängig davon, ob bereits ein Benutzer angemeldet ist.

 

Weiterlesen …

E-Mails mit der lokalen KI – Prompt

Bild E-Mail und lokale KI

Ich arbeite seit vielen Jahren im Homeoffice. Zu meinen täglichen Aufgaben gehört die Bearbeitung von Kundenanfragen per E-Mail. Dafür gehen pro Tag schnell ein bis zwei Stunden drauf. Das klingt von außen erst einmal recht angenehm, auf Dauer kann diese Arbeit aber ziemlich nerven. Zwar habe ich mir im Laufe der Zeit einige fertige Antwortvorlagen aufgebaut, ganz ohne Nacharbeit geht es trotzdem fast nie. Irgendetwas muss fast immer an den jeweiligen Kunden angepasst, sprachlich geglättet oder erst einmal sauber eingeordnet werden.

Weiterlesen …

Ollama läuft. Und dann?

Im ersten Beitrag ging es darum, wie sich Ollama unter Windows installieren lässt und warum für den Einstieg oft schon ein kleineres Modell reicht. Das war die technische Seite. Spannend wird es für mich aber erst danach.

Denn eine lokale KI zu installieren ist das eine. Sie danach im Alltag auch wirklich zu benutzen ist etwas anderes. Genau an der Stelle trennt sich für mich ein nettes Technikthema von etwas, das am Ende tatsächlich im Alltag landet.

 

Weiterlesen …

Ollama: KI auf deinem Windows PC

 Stell dir vor, du könntest ChatGPT-ähnliche KI auf deinem PC nutzen, ohne dass deine Daten ins Internet wandern. Genau das macht Ollama möglich. Viele kennen KI nur als Online Dienst. Man tippt etwas ein, die Antwort kommt, aber die Daten gehen übers Internet. Das ist oft praktisch, trotzdem will nicht jeder seine Texte, Ideen oder vielleicht auch Kundendaten in eine Cloud schicken.

Mit Ollama kannst du KI Modelle direkt auf deinem eigenen Windows PC laufen lassen.

Weiterlesen …