In diesem Fenster legen Sie fest, mit welchem Ollama-Server Z-PromptX arbeitet, welche Websuche die Modelle nutzen und wie Z-PromptX ein lokales Ollama startet.
Die Einstellungen im rechten Rahmen „Ollama – Einstellung für den Start von Z-PromptX“ werden verwendet, wenn Z-PromptX Ollama auf diesem PC selbst startet. Das geschieht in einer normalen Sitzung automatisch, sobald Sie in Z-PromptX mit Ollama arbeiten und Ollama noch nicht läuft.
Läuft Ollama auf einem anderen Rechner im Netzwerk, gelten die Einstellungen dieses Rechners. Die Start-Einstellungen hier haben dann keine Wirkung. Dasselbe gilt, wenn Ollama bereits durch die Ollama-App gestartet wurde.
Die Einstellungen auf der linken Seite (Ollama-Server, Websuche und API-Keys) gelten in jedem Fall.
- Linke Seite: Ollama-Server, Websuche und ihre Zugangsdaten.
- Rechter Rahmen oben: Einstellungen für den Start von Ollama auf diesem PC.
- Rechter Rahmen unten: Speicher-Regler im Ollama-Chat.
Speichern übernimmt alle Werte und schließt das Fenster. Abbrechen schließt ohne Änderung. Das Symbol unten links öffnet die Online-Hilfe.
Ollama-Server
Tragen Sie die Adresse immer als Adresse:Port ein, zum Beispiel localhost:11434 oder 192.168.2.16:11434.
| Feld | Bedeutung | Empfehlung |
|---|---|---|
| Ollama IP (Ollama Server 1) | Der Ollama-Server, mit dem der Chat arbeitet. Die Liste merkt sich zuletzt verwendete Adressen. | localhost:11434, wenn Ollama auf diesem PC läuft. Sonst die Adresse des Servers im Netzwerk. |
| Ollama IP (Ollama Server 2) | Ein zweiter, optionaler Ollama-Server im Netzwerk. | Leer lassen, wenn Sie nur einen Server haben. |
| Ollama API-Key | Zugang für die Websuche „Ollama“ über ollama.com. | Nur nötig, wenn Sie als Web-Suchdienst „Ollama“ wählen. |
Ein Klick auf „Ollama Server 1“ oder „Ollama Server 2“ rechts neben dem Feld öffnet die Adresse im Browser. So prüfen Sie schnell, ob der Server erreichbar ist. Ein Klick auf die Beschriftung eines API-Key-Feldes zeigt den Schlüssel im Klartext an und blendet ihn wieder aus.
Websuche
Unter Web-Suchdienst wählen Sie, womit die Modelle im Internet suchen. Je nach Dienst brauchen Sie einen Zugang; ohne ihn lässt sich nicht speichern.
| Web-Suchdienst | Was Sie zusätzlich eintragen |
|---|---|
| — | Nichts. Die Websuche ist aus. |
| Ollama | Ollama API-Key (oben links) |
| SearXNG | SearXNG Adresse:Port, z.B. 192.168.2.13:8080 |
| ExaAi | ExaAi API-Key |
| Wikipedia | Nichts |
| Mojeek | Mojeek API-Key |
| Brave | Brave API-Key |
Sie müssen nur das Feld des gewählten Dienstes ausfüllen. Die übrigen Felder dürfen leer bleiben. API-Keys werden verschlüsselt gespeichert. Ein Klick auf „SearXNG“ rechts neben dem Adressfeld öffnet Ihren SearXNG-Server im Browser.
Umfang der Websuche
Diese drei Werte bestimmen, wie viel Text aus dem Internet das Modell bekommt. Mehr Text heißt gründlichere Antworten, aber auch längere Wartezeit und mehr Speicherbedarf.
| Feld | Bedeutung | Standard |
|---|---|---|
| Anzahl der Quellen | Wie viele Webseiten pro Suche ausgewertet werden | 10 |
| Textlänge Suchergebnis | Wie viele Zeichen je Seite an das Modell gehen | 6000 |
| Max. Websuchen | Wie oft das Modell für eine Antwort suchen darf | 3 |
Auf einem PC mit 8 GB RAM sind kleinere Werte sinnvoll, etwa 5 Quellen und 4000 Zeichen. Werden Antworten abgeschnitten oder sehr langsam, senken Sie zuerst die Textlänge.
Start von Ollama auf diesem PC
Die Einstellungen im rechten Rahmen gelten nur, wenn Z-PromptX Ollama selbst auf diesem PC startet. Für einen Ollama-Server im Netzwerk oder eine bereits laufende Ollama-App haben sie keine Wirkung. Sie werden erst beim nächsten Start von Ollama wirksam.
| Einstellung | Wirkung | Empfehlung |
|---|---|---|
| Keep Alive | Wie lange ein Modell nach der letzten Anfrage im Speicher bleibt. -1 = immer, 0 = sofort entladen, sonst Sekunden oder z.B. 5m, 1h. |
5m bei wenig RAM, 30m oder -1 für schnelle Folgeanfragen |
| Integrierte GPU erlauben | Ollama darf die im Prozessor eingebaute Intel- oder AMD-Grafik nutzen. Ohne Haken entscheidet Ollama selbst. | Ausprobieren, wenn der PC keine eigene Grafikkarte hat |
| Vulkan-GPU abschalten | Schaltet Intel- und AMD-Grafik über Vulkan ab, Ollama rechnet dann auf dem Prozessor. NVIDIA-Karten sind nicht betroffen. | Nur anhaken, wenn mit Grafik unlesbare Antworten oder Abstürze auftreten |
| Flash Attention | Spart Speicher und beschleunigt. Nötig für KV-Cache q8_0 und q4_0. | Angehakt lassen |
| KV-Cache | Wie platzsparend Ollama den Gesprächsverlauf im Speicher hält. f16 = genau, q8_0 = halber Speicher, q4_0 = ein Viertel. |
q8_0; q4_0 bei 8 GB RAM oder langen Texten |
Bei Auswahl von q8_0 oder q4_0 setzt das Fenster den Haken bei Flash Attention automatisch.
Ollama neu starten speichert diese Einstellungen und startet Ollama sofort neu. So müssen Sie Z-PromptX nicht beenden. Die Schaltfläche ist nur aktiv, wenn Z-PromptX Ollama selbst gestartet hat. Ein Neustart dauert einige Sekunden; eine gerade laufende Chat-Antwort bricht dabei ab.
Speicher-Regler im Ollama-Chat
Speicher Limit abschalten betrifft nicht den Start von Ollama, sondern nur den Speicher-Regler in den Chat-Einstellungen. Mit diesem Regler legen Sie fest, wie viel Speicher ein Chat nutzen darf.
- Ohne Haken (Standard): Der Regler endet beim Arbeitsspeicher oder Grafikspeicher dieses PCs, je nachdem, welcher größer ist. So lässt sich kein Wert einstellen, den der PC gar nicht hat.
- Mit Haken: Der Regler reicht bis 64 GB.
Die Begrenzung greift nur bei einem Ollama auf diesem PC. Bei einem Ollama-Server im Netzwerk gilt immer 64 GB, weil Z-PromptX dessen Speicher nicht kennt.
Empfehlungen nach Rechnertyp
Für die meisten PCs passen die Standardwerte. Abweichungen lohnen sich vor allem bei integrierter Grafik und wenig Arbeitsspeicher.
| Rechner | Integrierte GPU erlauben | Vulkan-GPU abschalten | Flash Attention | KV-Cache | Keep Alive |
|---|---|---|---|---|---|
| Ohne Grafikkarte, 8 GB RAM | aus | aus | an | q4_0 | 5m |
| Ohne Grafikkarte, 16 GB RAM | aus | aus | an | q8_0 | 30m |
| Intel- oder AMD-Grafik im Prozessor | an (ausprobieren) | aus | an | q8_0 | 30m |
| Eigene NVIDIA-Grafikkarte | aus | aus | an | q8_0 | -1 |
| Eigene AMD-Grafikkarte | aus | aus | an | q8_0 | -1 |
Nach einer Änderung klicken Sie auf Ollama neu starten und probieren einen Chat aus. Wird es langsamer oder kommen unlesbare Antworten, stellen Sie den vorigen Wert wieder her.
Fehlersuche
Bei jedem Start von Ollama schreibt Z-PromptX eine Zeile „Umgebung: …“ ins Logbuch. Dort steht genau, mit welchen Einstellungen Ollama gestartet wurde, zum Beispiel OLLAMA_KV_CACHE_TYPE=q8_0 oder OLLAMA_VULKAN=0. Fehlt ein Wert, nutzt Ollama seinen eigenen Standard.
| Beobachtung | Ursache und Abhilfe |
|---|---|
| Änderungen wirken nicht | Ollama läuft noch mit den alten Werten. Klicken Sie auf Ollama neu starten oder starten Sie Z-PromptX neu. |
| Schaltfläche „Ollama neu starten“ ist grau | Ollama wurde nicht von Z-PromptX gestartet, etwa durch die Ollama-App. Beenden Sie die Ollama-App und starten Sie Z-PromptX neu. |
| Im Logbuch steht „Fremd gestartetes Ollama wird verwendet“ | Ein anderes Programm hat Ollama gestartet. Die Einstellungen aus diesem Fenster gelten dann nicht. |
| Unlesbare Antworten oder Absturz beim Laden eines Modells | Die Grafik im Prozessor macht Probleme. Haken bei „Integrierte GPU erlauben“ entfernen oder „Vulkan-GPU abschalten“ setzen. |
| Antworten sehr langsam | Prüfen Sie in der Eingabeaufforderung mit ollama ps die Spalte PROCESSOR. „100% CPU“ heißt: keine Grafik im Einsatz. |
| „Speicher reicht nicht“ beim Laden eines Modells | KV-Cache auf q4_0 stellen, ein kleineres Modell wählen oder den Speicher-Regler im Chat senken. |