Ollama

Für alles, was für mich nicht ins Internet gehört, nutze ich eine lokale KI, mit Hilfe von Ollama. Meine Prompts verwalte ich wie gewohnt mit meinem Tool Z-PromptX, das klappt dann natürlich auch mit Ollama. So bleiben meine Texte und Arbeitsabläufe auf meinem Rechner, und ich habe trotzdem meine wiederkehrenden Prompts sauber griffbereit.

Websuche für Ollama

Websuche für Ollama und Z-PromptX. Erst testen, dann SearXNG

Wenn man mit Ollama lokal arbeitet, kommt irgendwann diese eine Frage: Wie bekommt die lokale KI eigentlich aktuelle Informationen?

Das Modell läuft auf dem eigenen Rechner. Schön. Die Daten bleiben im eigenen Umfeld. Auch schön. Aber wenn ich nach etwas Aktuellem frage, dann merkt man ziemlich schnell die Grenze. Ollama sucht nicht einfach im Internet – Woher auch?

An der Stelle muss man einmal sauber trennen.

Ollama ist nicht die KI selbst. Ollama ist die Software, die lokale KI-Modelle startet, verwaltet und ansprechbar macht. Die eigentliche KI steckt im Modell. Also zum Beispiel in Llama, Mistral, Gemma, Qwen oder einem anderen Modell.

Weiterlesen …

Ollama als Windows-Dienst installieren

Ollama als Windows-Dienst installierenOllama kann unter Windows ganz normal manuell gestartet werden. Für erste Tests reicht das völlig aus. Sobald Ollama aber regelmäßig genutzt wird, zum Beispiel als KI-Server im lokalen Netzwerk, wird der manuelle Start schnell lästig.

Ein Windows-Dienst hat hier einen klaren Vorteil. Ollama startet dann automatisch mit dem Rechner, unabhängig davon, ob bereits ein Benutzer angemeldet ist.

 

Weiterlesen …

E-Mails mit der lokalen KI – Prompt

Bild E-Mail und lokale KI

Ich arbeite seit vielen Jahren im Homeoffice. Zu meinen täglichen Aufgaben gehört die Bearbeitung von Kundenanfragen per E-Mail. Dafür gehen pro Tag schnell ein bis zwei Stunden drauf. Das klingt von außen erst einmal recht angenehm, auf Dauer kann diese Arbeit aber ziemlich nerven. Zwar habe ich mir im Laufe der Zeit einige fertige Antwortvorlagen aufgebaut, ganz ohne Nacharbeit geht es trotzdem fast nie. Irgendetwas muss fast immer an den jeweiligen Kunden angepasst, sprachlich geglättet oder erst einmal sauber eingeordnet werden.

Weiterlesen …

Die ersten Prompts bei einem neuen Modell

KI-Prompt

Wenn ich ein neues lokales Modell teste, lasse ich es nicht sofort auf meine echten Aufgaben los. Ich will zuerst wissen, womit ich es überhaupt zu tun habe. Wie alt ist das Wissen, wo liegen die Stärken, und bei welchen Fragen sollte man besser nicht zu viel erwarten. Genau dafür nutze ich ein paar einfache Einstiegs Prompts.

Das klingt erst mal unspektakulär, spart mir später aber oft Zeit und Nerven. Gerade bei lokalen Modellen sagt der Name allein noch nicht viel aus. Manche wirken auf den ersten Blick beeindruckend, liefern im Alltag dann aber nur Mittelmaß. Andere klingen kleiner und unscheinbarer, sind dafür aber erstaunlich brauchbar, wenn man sie passend einsetzt.

Weiterlesen …

Z-PromptX – Prompten mit der lokalen KI

KI-Prompt

Wenn man anfängt, mit einer lokalen KI zu arbeiten, schaut man zuerst fast automatisch auf den Prompt. Ist ja auch naheliegend. Das ist schließlich der Teil, den man selbst direkt eingibt. Also denkt man erst mal, dass gute Antworten vor allem davon abhängen, ob der Prompt gut geschrieben ist.

Ganz falsch ist das nicht. Ein schlechter oder unklarer Prompt macht die Sache selten besser.

Weiterlesen …

Ollama läuft. Und dann?

Im ersten Beitrag ging es darum, wie sich Ollama unter Windows installieren lässt und warum für den Einstieg oft schon ein kleineres Modell reicht. Das war die technische Seite. Spannend wird es für mich aber erst danach.

Denn eine lokale KI zu installieren ist das eine. Sie danach im Alltag auch wirklich zu benutzen ist etwas anderes. Genau an der Stelle trennt sich für mich ein nettes Technikthema von etwas, das am Ende tatsächlich im Alltag landet.

 

Weiterlesen …

Ollama: KI auf deinem Windows PC

 Stell dir vor, du könntest ChatGPT-ähnliche KI auf deinem PC nutzen, ohne dass deine Daten ins Internet wandern. Genau das macht Ollama möglich. Viele kennen KI nur als Online Dienst. Man tippt etwas ein, die Antwort kommt, aber die Daten gehen übers Internet. Das ist oft praktisch, trotzdem will nicht jeder seine Texte, Ideen oder vielleicht auch Kundendaten in eine Cloud schicken.

Mit Ollama kannst du KI Modelle direkt auf deinem eigenen Windows PC laufen lassen.

Weiterlesen …