Diese Oberfläche ist dafür gedacht, mit lokalen KI-Modellen zu chatten. Das ausgewählte Modell läuft nicht irgendwo im Internet, sondern auf dem eigenen Rechner oder auf einem Ollama-Server im eigenen Netzwerk. Viele Einstellungen lassen sich pro Chat anpassen. Das ist praktisch, weil nicht jedes Modell gleich arbeitet: Kleine Modelle brauchen oft knappere Vorgaben, größere Modelle kommen besser mit längeren Antworten und mehr Kontext zurecht.
Die Oberfläche im Überblick
Seitenleiste links: Hier stehen alle Chats, gruppiert nach Heute, Gestern und Älter. Oben gibt es Neuer Chat, Umbenennen und ein Suchfeld. Unten liegen Dokument (Textdatei, Quellcode oder Bild in den Chat laden, Bilder nur bei Modellen mit Bildfunktion), Export, Leeren und Löschen. Mit dem Symbol ☰ lässt sich die Seitenleiste einklappen. Dann zeigt jeder Chat nur noch seinen Anfangsbuchstaben.
Oben rechts: Modellinfo, die Modellauswahl, Neu laden, der Download-Button (Modelle auswählen und installieren) und das Zahnrad für die Ollama-Einstellungen (Server, Websuche, Start von Ollama).
Darunter: die Bereiche Einstellungen, Systemprompt und Internetprompt. Alle Werte gelten pro Chat und werden automatisch gespeichert.
Modell auswählen
Oben rechts wird das Modell ausgewählt. Neu laden holt die Modellliste erneut vom Ollama-Server. Nach der Auswahl wird die Modellinfo geladen, und die Oberfläche bereitet das Modell kurz vor, damit die erste Anfrage nicht ganz so träge startet.
Über den Download-Button öffnet sich die Modellauswahl. Dort lassen sich empfohlene Modelle direkt auf den Ollama-Server laden, der gerade angezeigt wird.
Praktisch bedeutet das: Wenn mehrere Modelle installiert sind, kann man für jede Aufgabe das passende nehmen. Ein kleines Modell für kurze Alltagsfragen, ein größeres für anspruchsvollere Texte.
Wo anfangen?
Für den Einstieg reicht es, den Schieberegler „Verfügbarer Speicher für KI“ auf den Wert zu stellen, der auf dem eigenen PC für die KI zur Verfügung steht. Das ist der freie Arbeitsspeicher oder, falls vorhanden, der Speicher der Grafikkarte. Ollama nutzt den Grafikkartenspeicher bevorzugt, weil die KI dort deutlich schneller läuft. Der Regler arbeitet in 1-GB-Schritten. Bei einem Ollama auf dem eigenen PC endet er beim vorhandenen Arbeitsspeicher.
Unter dem Regler zeigt die Oberfläche den geschätzten Speicherbedarf des Modells und den empfohlenen Kontext. Reicht der Speicher nicht, erscheint dort ein Hinweis.
Alle anderen Einstellungen können zunächst auf ihren Standardwerten bleiben. Nach einer Änderung am Schieberegler auf Zurücksetzen klicken, dann werden Kontext und Antwortlänge neu berechnet.
Eigene Werte einstellen – Fine-Tuning
Temperatur
Die Temperatur steuert, wie frei oder wie nüchtern das Modell antwortet. Der Standardwert ist 0,6.
Ein niedriger Wert (etwa 0,2) passt für sachliche Antworten, Zusammenfassungen und technische Fragen. Ein höherer Wert passt für Ideen und kreative Formulierungen. Kleine Modelle schweifen mit niedrigerem Wert oft weniger ab.
Antwortlänge
Die Antwortlänge legt fest, wie lang die Antwort höchstens werden darf. Der Standardwert ist 4096 Token. Bei Modellen mit Denkmodus setzt die Oberfläche mindestens 8192, weil das Denken selbst schon Platz verbraucht.
Ein kleiner Wert sorgt für kurze, schnelle Antworten. Ein größerer Wert ist sinnvoll für Entwürfe, Anleitungen oder längere Erklärungen. Zu hohe Werte bringen nicht automatisch bessere Antworten.
Kontextgröße
Die Kontextgröße bestimmt, wie viel vom bisherigen Gespräch und von Zusatztexten das Modell gleichzeitig berücksichtigen kann. Der Wert wird automatisch berechnet, abhängig vom Modell und vom eingestellten Speicher. Ausgangspunkt ist 4096.
Wenn das Modell den Faden verliert, kann mehr Kontext helfen. Wenn der Rechner knapp wird oder Antworten zäher werden, ist ein kleinerer Wert besser. Bei Modellen mit Denkmodus warnt die Oberfläche, wenn der Kontext unter 16384 liegt, weil die Antwort sonst im Denkteil abbrechen kann.
Top-P
Top-P begrenzt, aus welchen Wörtern das Modell auswählt. Standard ist 1,0 (alle Möglichkeiten). Ein Wert wie 0,9 macht die Antworten etwas vorhersehbarer. Im Normalfall auf 1,0 lassen.
Seed
Der Seed ist der Startwert für den Zufall. -1 bedeutet zufällig (Standard). Mit einem festen Wert, zum Beispiel 42, liefert das Modell bei gleicher Frage und gleichen Einstellungen dieselbe Antwort. Das ist zum Vergleichen und Testen nützlich.
Repeat-Penalty
Diese Einstellung bremst Wiederholungen im Text. Standard ist 1,1. 1,0 bedeutet keine Wirkung, höhere Werte führen zu weniger Wiederholungen.
Modell-Tools
Manche Modelle können von sich aus Werkzeuge aufrufen, zum Beispiel eine Websuche. Mit abschalten wird das verhindert. Der Internet-Schalter neben dem Eingabefeld funktioniert davon unabhängig weiter.
Gedächtnis
Das Gedächtnis legt fest, wie viele der letzten Nachrichten an das Modell mitgeschickt werden. Zur Auswahl stehen 8, 16, 24, 32, 48 und 64 Nachrichten. Standard ist 16.
Wenn das Modell alte Details vergisst, den Wert erhöhen. Wenn Antworten langsamer werden oder das Modell sich verzettelt, den Wert kleiner halten.
Denken
Die Einstellung „Denken“ hat drei Möglichkeiten. Sie wirkt nur bei Modellen mit Denkmodus, etwa deepseek-r1 oder qwen3. Standard ist „anzeigen“.
- aus, direkt: Das Modell antwortet direkt, ohne Denkspur. Für den Alltag oft die beste Wahl.
- anzeigen: Die Denkspur erscheint im Chat. Interessant beim Testen.
- ausblenden: Das Modell denkt, die Denkspur wird aber nicht angezeigt.
Denkt ein Modell zu lange, ohne mit der Antwort zu beginnen, bricht die Oberfläche das Denken ab und lässt die Antwort ohne Denken erstellen. Im Chat steht dann ein Hinweis.
Tokenbegrenzung
Die Tokenbegrenzung ist standardmäßig eingeschaltet. Sie kürzt den mitgeschickten Verlauf so, dass genug Platz für die Antwort bleibt. Dazu gehört die Reserve, eine Sicherheitszone für die Ausgabe. Sie wird automatisch berechnet: ein Achtel der Kontextgröße, mindestens 256 und höchstens 1024 Token.
Ohne diese Funktion kann bei langen Chats so viel alter Verlauf mitgeschickt werden, dass für die Antwort kein Platz mehr bleibt. Wenn lange Gespräche unzuverlässig werden, prüfen, ob die Funktion aktiv ist.
Warum nicht nur der Prompt zählt – Einstellungen für den Chat
Systemprompt
Im Bereich „Systemprompt“ kann pro Chat ein kurzer Grundbefehl hinterlegt werden. Damit bekommt das Modell eine feste Arbeitsrichtung, zum Beispiel:
„Antworte knapp und sachlich.“
oder
„Erkläre in einfacher Sprache.“
Mit Prompt wählen lässt sich ein gespeicherter Systemprompt aus Z-PromptX übernehmen, mit Leeren wird er gelöscht. Ein zu langer Systemprompt nimmt Platz weg, der dann für den eigentlichen Chat fehlt.
Internetprompt
Der Internetprompt wird verwendet, wenn vor dem Senden der Internet-Schalter (Globus-Symbol neben dem Eingabefeld) aktiviert ist. Die Software führt dann eine Websuche durch und schickt die Ergebnisse zusammen mit der Frage an die KI, auch bei Modellen ohne eigene Werkzeuge. Welcher Suchdienst verwendet wird, wird in den Ollama-Einstellungen (Zahnrad oben rechts) festgelegt.
Mit dem Internetprompt bekommt die KI zusätzliche Anweisungen, wie sie mit den Suchergebnissen umgehen soll, zum Beispiel:
„Nenne immer die Quelle deiner Informationen.“
oder
„Fasse die Suchergebnisse in maximal fünf Sätzen zusammen.“
Den Internetprompt kurz halten, er belegt Kontext. Leeren löscht ihn für den aktuellen Chat.
Modellinfo
Die Modellinfo oben rechts zeigt technische Angaben zum ausgewählten Modell, zum Beispiel Modellfamilie, Parametergröße, Quantisierung, Kontext aus dem Modell, maximalen Kontext, Unterstützung für Denken, Werkzeuge, Bilder und Audio sowie die letzte Geschwindigkeit. Für Anwender ist vor allem interessant:
- Die Parametergröße gibt grob an, wie groß das Modell ist.
- Der Kontext zeigt, wie viel das Modell grundsätzlich verarbeiten kann.
- Die Angabe zum Denken zeigt, ob das Modell mit dem Denkmodus etwas anfangen kann.
Welche Einstellung für welchen Zweck
Für kleine lokale Modelle sind vorsichtige Werte meist sinnvoll: eher niedrige Temperatur, normale Antwortlänge, nicht zu viel Gedächtnis und Denken eher aus. Das macht die Antworten stabiler.
Für größere Modelle kann man mehr wagen: mehr Kontext, bei Bedarf mehr Gedächtnis und längere Antworten. Den Denkmodus kann man testen, muss ihn aber nicht dauerhaft eingeschaltet lassen.
Einfache Startempfehlung für den Alltag
- Den Speicher-Regler passend zum PC einstellen und auf Zurücksetzen klicken.
- Temperatur auf dem Standard 0,6 lassen, für sachliche Antworten senken.
- Antwortlänge und Kontextgröße auf den berechneten Werten lassen.
- Gedächtnis auf 16 lassen.
- Denken zuerst auf „aus, direkt“ stellen.
- Einen kurzen Systemprompt verwenden.
- Tokenbegrenzung eingeschaltet lassen.
Diese Werte werden pro Chat gespeichert und können je nach Modell oder Aufgabe unterschiedlich gesetzt werden.
Hinweise zur Speichernutzung
Wie viele Chats kann ich haben?
Die Oberfläche speichert höchstens 20 Chats. Wird ein neuer Chat angelegt, während bereits 20 vorhanden sind, wird der älteste automatisch gelöscht.
Wie viele Nachrichten werden pro Chat gespeichert?
Das richtet sich nach der Einstellung Gedächtnis. Ältere Nachrichten werden automatisch verworfen.
Was bedeutet das für mich?
Bei einem langen Gespräch „vergisst“ die KI irgendwann die frühen Nachrichten. Das ist gewollt, weil der Speicher sonst voll würde. Mehr Gedächtnis ist möglich, braucht aber entsprechend mehr Speicher.
Warum startet die KI manchmal langsamer?
Das Modell läuft vollständig auf dem eigenen PC oder Server, nicht in der Cloud. Je größer Modell und Gedächtnis, desto mehr Arbeitsspeicher wird gebraucht. Der Speicher-Regler hilft, das passend einzustellen.
Kann ich Chats exportieren?
Ja. Der Button Export in der Seitenleiste speichert den aktuellen Chat als Textdatei.
Was passiert, wenn der Speicher der Oberfläche voll ist?
In der Statuszeile erscheint eine Meldung. Dann alte Chats löschen oder wichtige Gespräche vorher mit Export sichern.