Ich arbeite seit vielen Jahren im Homeoffice. Zu meinen täglichen Aufgaben gehört die Bearbeitung von Kundenanfragen per E-Mail. Dafür gehen pro Tag schnell ein bis zwei Stunden drauf. Das klingt von außen erst einmal recht angenehm, auf Dauer kann diese Arbeit aber ziemlich nerven. Zwar habe ich mir im Laufe der Zeit einige fertige Antwortvorlagen aufgebaut, ganz ohne Nacharbeit geht es trotzdem fast nie. Irgendetwas muss fast immer an den jeweiligen Kunden angepasst, sprachlich geglättet oder erst einmal sauber eingeordnet werden.
Ollama
Für alles, was für mich nicht ins Internet gehört, nutze ich eine lokale KI, mit Hilfe von Ollama. Meine Prompts verwalte ich wie gewohnt mit meinem Tool Z-PromptX, das klappt dann natürlich auch mit Ollama. So bleiben meine Texte und Arbeitsabläufe auf meinem Rechner, und ich habe trotzdem meine wiederkehrenden Prompts sauber griffbereit.
Die ersten Prompts bei einem neuen Modell
Wenn ich ein neues lokales Modell teste, lasse ich es nicht sofort auf meine echten Aufgaben los. Ich will zuerst wissen, womit ich es überhaupt zu tun habe. Wie alt ist das Wissen, wo liegen die Stärken, und bei welchen Fragen sollte man besser nicht zu viel erwarten. Genau dafür nutze ich ein paar einfache Einstiegs Prompts.
Das klingt erst mal unspektakulär, spart mir später aber oft Zeit und Nerven. Gerade bei lokalen Modellen sagt der Name allein noch nicht viel aus. Manche wirken auf den ersten Blick beeindruckend, liefern im Alltag dann aber nur Mittelmaß. Andere klingen kleiner und unscheinbarer, sind dafür aber erstaunlich brauchbar, wenn man sie passend einsetzt.
Prompten mit der lokalen KI, warum nicht nur der Prompt zählt
Wenn man anfängt, mit einer lokalen KI zu arbeiten, schaut man zuerst fast automatisch auf den Prompt. Ist ja auch naheliegend. Das ist schließlich der Teil, den man selbst direkt eingibt. Also denkt man erst mal, dass gute Antworten vor allem davon abhängen, ob der Prompt gut geschrieben ist.
Ganz falsch ist das nicht. Ein schlechter oder unklarer Prompt macht die Sache selten besser.
Ollama läuft. Und dann?
Im ersten Beitrag ging es darum, wie sich Ollama unter Windows installieren lässt und warum für den Einstieg oft schon ein kleineres Modell reicht. Das war die technische Seite. Spannend wird es für mich aber erst danach.
Denn eine lokale KI zu installieren ist das eine. Sie danach im Alltag auch wirklich zu benutzen ist etwas anderes. Genau an der Stelle trennt sich für mich ein nettes Technikthema von etwas, das am Ende tatsächlich im Alltag landet.
Ollama: KI auf deinem Windows PC
Stell dir vor, du könntest ChatGPT-ähnliche KI auf deinem PC nutzen, ohne dass deine Daten ins Internet wandern. Genau das macht Ollama möglich. Viele kennen KI nur als Online Dienst. Man tippt etwas ein, die Antwort kommt, aber die Daten gehen übers Internet. Das ist oft praktisch, trotzdem will nicht jeder seine Texte, Ideen oder vielleicht auch Kundendaten in eine Cloud schicken.
Mit Ollama kannst du KI Modelle direkt auf deinem eigenen Windows PC laufen lassen.