Whisper – Spracherkennung mit lokaler KI

Grünes, leuchtendes Mikrofon mit stilisierten Schallwellen auf schwarzem Hintergrund als Symbol für die lokale KI-Spracherkennung mit Whisper.Wer längere Texte schreibt oder regelmäßig mit einer KI arbeitet, kennt das Problem: Nicht alles, was man sagen möchte, lässt sich genauso schnell über die Tastatur eingeben. Eine Spracheingabe kann hier eine praktische Alternative sein.

Windows bietet dafür bereits eigene Funktionen. Aber nicht auf jedem Betriebssystem stehen diese zur Verfügung, und nicht jeder möchte die Spracherkennung von Microsoft verwenden.

Eine interessante Alternative ist Whisper. Das kostenlose Open-Source-Projekt ermöglicht es, gesprochene Sprache mithilfe künstlicher Intelligenz in Text umzuwandeln. Und das auf Wunsch vollständig auf dem eigenen Rechner, ohne Cloud-Dienst.

Was ist Whisper?

Whisper wurde von OpenAI entwickelt, also dem Unternehmen hinter ChatGPT. Das Modell wurde im September 2022 veröffentlicht und gehört zu den bekanntesten frei verfügbaren Lösungen zur automatischen Spracherkennung.

Anders als ChatGPT ist Whisper kein Sprachmodell für Unterhaltungen oder die Beantwortung von Fragen. Es wurde speziell dafür entwickelt, gesprochene Sprache zu erkennen und in geschriebenen Text umzuwandeln.

Whisper unterstützt zahlreiche Sprachen, darunter Deutsch und Englisch. Es kann die gesprochene Sprache automatisch erkennen und auch Übersetzungen ins Englische erstellen.

Warum ist Whisper Open Source?

OpenAI hat Whisper unter der MIT-Lizenz veröffentlicht. Der Quellcode und die Modellgewichte dürfen damit kostenlos verwendet, verändert und in eigene Anwendungen eingebunden werden.

Das ermöglicht es unabhängigen Entwicklern, auf der Technik aufzubauen, ohne für jede Spracherkennung einen kostenpflichtigen Cloud-Dienst verwenden zu müssen.

Ein bekanntes Beispiel ist ‚whisper.cpp‘. Diese Umsetzung wurde für den ressourcenschonenden Betrieb entwickelt und unterstützt unter anderem Windows, Linux und macOS. Whisper ist damit nicht auf ein bestimmtes Betriebssystem oder einen bestimmten Softwareanbieter beschränkt.

Was kann man mit Whisper machen?

Die Möglichkeiten gehen über das einfache Diktieren von Texten hinaus.

Wer beispielsweise eine Besprechung aufzeichnet, kann die Aufnahme anschließend automatisch in Text umwandeln lassen. Auch Interviews, Vorträge oder Sprachaufzeichnungen lassen sich transkribieren.

Weitere Einsatzmöglichkeiten sind die Erstellung von Untertiteln für Videos und die Spracheingabe für eigene Anwendungen.

Interessant ist Whisper auch für Programme, die selbst keine Spracherkennung besitzen. Über eine entsprechende Schnittstelle kann eine Audioaufnahme verarbeitet und der erkannte Text an das Programm zurückgegeben werden.

Whisper allein stellt allerdings noch keine vollständige Windows-Diktierfunktion bereit. Dafür benötigt man zusätzlich ein Programm, das die Mikrofonaufnahme steuert und den erkannten Text an die gewünschte Anwendung übergibt.

Eine Alternative zur Windows-Spracheingabe

Unter Windows 11 lässt sich die integrierte Spracheingabe beispielsweise mit Win+H aufrufen. Unter Windows Server 2016, 2019 und 2022 steht diese Funktion nicht in vergleichbarer Form zur Verfügung. Gerade dort kann Whisper interessant werden.

Da die Spracherkennung unabhängig von den Windows-Diktierfunktionen arbeitet, lässt sie sich auch in Serverumgebungen einsetzen. Ein weiterer Vorteil: Whisper muss nicht unbedingt auf dem Rechner ausgeführt werden, an dem das Mikrofon angeschlossen ist. Mit einer passenden Serveranwendung lässt sich die Spracherkennung auch über das lokale Netzwerk bereitstellen.

Damit könnte beispielsweise ein Windows-Arbeitsplatz die Audioaufnahme an einen Whisper-Server senden und anschließend den erkannten Text zurückerhalten.

Whisper und Ollama – eine sinnvolle Kombination?

Wer bereits Ollama verwendet, betreibt seine KI möglicherweise vollständig lokal oder auf einem eigenen Server im Netzwerk. Whisper kann eine solche Umgebung um die Spracheingabe ergänzen.

Infografik zur lokalen Spracheingabe mit Whisper und Ollama: Mikrofonaufnahme, Umwandlung der Sprache in Text durch Whisper und anschließende Verarbeitung des Textes durch ein KI-Modell mit Ollama.

Dabei übernehmen beide Systeme unterschiedliche Aufgaben. Whisper erkennt die gesprochenen Wörter und erstellt daraus einen Text. Dieser kann anschließend als Prompt an ein Sprachmodell übergeben werden, das über Ollama läuft.

Ollama selbst benötigt dafür keine besondere Whisper-Unterstützung. Die Verbindung zwischen beiden Systemen übernimmt eine entsprechende Anwendung. Damit wäre es beispielsweise möglich, längere Fragen an eine lokale KI zu diktieren, anstatt sie einzutippen.

Welche Hardware wird benötigt?

Whisper ist in mehreren Modellgrößen verfügbar. Die kleineren Modelle benötigen vergleichsweise wenig Arbeitsspeicher und lassen sich auch auf älteren Rechnern betreiben. Größere Modelle benötigen mehr Rechenleistung, können dafür aber bei schwierigen Sprachaufnahmen bessere Ergebnisse liefern.

Eine leistungsfähige Grafikkarte ist nicht grundsätzlich erforderlich. Whisper lässt sich auch über die CPU ausführen. Wie schnell die Spracherkennung erfolgt, hängt allerdings von der Hardware und der gewählten Modellgröße ab.

Für gelegentliche Spracheingaben kann bereits ein kleineres Modell ausreichen. Wer längere Aufnahmen verarbeitet oder möglichst genaue Ergebnisse benötigt, sollte auch die größeren Varianten berücksichtigen.

Und was ist mit dem Datenschutz?

Ein Vorteil der lokalen Spracherkennung ist, dass Audioaufnahmen nicht zwangsläufig an einen externen Anbieter übertragen werden müssen. Nach dem Herunterladen der benötigten Dateien kann Whisper vollständig ohne Internetverbindung arbeiten. Damit bleibt die Verarbeitung auf dem eigenen Rechner oder innerhalb des eigenen Netzwerks, sofern auch die verwendete Anwendung entsprechend eingerichtet ist.

Gerade bei geschäftlichen Informationen oder vertraulichen Gesprächen kann das ein wichtiger Gesichtspunkt sein.

Fazit

Whisper ist eine interessante Alternative zu den Spracherkennungsfunktionen von Windows und verschiedenen Cloud-Anbietern. Die Software ist kostenlos, quelloffen und lässt sich auf unterschiedlicher Hardware betreiben. Besonders interessant ist die Möglichkeit, einen eigenen Spracherkennungsserver einzurichten und diesen von mehreren Anwendungen im Netzwerk zu verwenden.

Für Anwender von Ollama eröffnet sich damit eine weitere Möglichkeit, mit ihrer lokalen KI zu arbeiten, ohne jeden Prompt über die Tastatur eingeben zu müssen.

Whisper ist allerdings keine fertige Diktierlösung mit eigener Windows-Oberfläche. Wer die Spracherkennung im Alltag verwenden möchte, benötigt eine passende Anwendung für die Aufnahme und Weiterverarbeitung der gesprochenen Texte.

Weitere Informationen: