Websuche für Ollama und Z-PromptX. Erst testen, dann SearXNG
Wenn man mit Ollama lokal arbeitet, kommt irgendwann diese eine Frage: Wie bekommt die lokale KI eigentlich aktuelle Informationen?
Das Modell läuft auf dem eigenen Rechner. Schön. Die Daten bleiben im eigenen Umfeld. Auch schön. Aber wenn ich nach etwas Aktuellem frage, dann merkt man ziemlich schnell die Grenze. Ollama sucht nicht einfach im Internet – Woher auch?
An der Stelle muss man einmal sauber trennen.
Ollama ist nicht die KI selbst. Ollama ist die Software, die lokale KI-Modelle startet, verwaltet und ansprechbar macht. Die eigentliche KI steckt im Modell. Also zum Beispiel in Llama, Mistral, Gemma, Qwen oder einem anderen Modell.
Das E-Book „Schluss mit E-Mail Stress, Zero Inbox“ von Sacha Feth ist ein angenehm praxisnaher Ratgeber für alle, die ihr E-Mail Postfach endlich wieder in den Griff bekommen möchten.
Mistral AI ist ein französischer Anbieter für KI Modelle und wurde 2023 in Paris gegründet. Die Firma ist vor allem deshalb interessant, weil sie sich nicht nur als weiterer Cloud Anbieter positioniert, sondern auch offene und kommerzielle Modelle anbietet. Mistral entwickelt also nicht einfach nur einen einzelnen Chatbot, sondern eine ganze Modellfamilie, die je nach Einsatz über API, Cloud Anbieter oder auch lokal genutzt werden kann.
Brauche ich für vorhandene Antwortvorlagen schon ein RAG System?
In den letzten Monaten habe ich für mein eigenes Projekt einige E-Books zum Thema KI und LLM gekauft. Ich wollte keine schöne Einführung für Einsteiger, sondern brauchbare Hinweise für den Alltag. Also keine große Theorie, sondern Antworten auf ganz praktische Fragen. Welche Hardware taugt wirklich etwas. Welche Modelle funktionieren im echten Einsatz. Was bringt eine andere Quantisierung tatsächlich, und was ist nur eine Behauptung, die sich gut anhört.
Viele erwarten bei KI so etwas wie eine Zauberkugel. Man tippt eine Frage ein, und raus kommt die ideale Antwort. In der Praxis klappt das manchmal, aber oft eben nicht.
Ich hatte eine eigentlich simple Frage in WordPress: „Meine 
Ich nutze KI nicht nur zum Textschreiben, sondern im Entwickleralltag. Genau deshalb lande ich immer wieder bei der gleichen Frage: Wie setze ich KI so ein, dass am Ende wirklich bessere Software rauskommt, und nicht nur hübsch klingende Antworten. „Coding mit KI, Das Praxisbuch für die Softwareentwicklung“ (Rheinwerk Computing, 1. Auflage, erschienen am 7. November 2024, 413 Seiten, ISBN 978 3367103461) ist für mich in erster Linie ein solides Überblicksbuch für genau diesen Punkt.
use.ai 
Viele Prompts scheitern nicht an der KI, sondern an der Erwartung dahinter. Ein Satz wird formuliert wie eine Anweisung, und es wird angenommen, dass das Ergebnis dann schon passen muss. Wenn das nicht passiert, entsteht Frust. Dabei liegt das Problem oft nicht in der Antwort, sondern im Denken davor. Ein Prompt beschreibt eine Vorstellung. Mehr nicht. Die KI versucht, diese Vorstellung umzusetzen, basierend auf dem vorhandenen Kontext. Wenn diese Vorstellung vage, widersprüchlich oder unvollständig ist, wird auch das Ergebnis entsprechend ausfallen.