NEWS
Test Adapter voice v0.1.x – [ai-parakeet] lokale Spracherk.
-
Aktuelle Test Version 0.1.4 Veröffentlichungsdatum 09.11.2026 Github Link https://github.com/ioBroker/ioBroker.voice Fehler und Wünsche https://github.com/ioBroker/ioBroker.voice/issues Hallo zusammen,
der neue Adapter voice bringt Spracherkennung auf den ioBroker-Host. Das Modell NVIDIA Parakeet TDT 0.6B v3 läuft dort auf der CPU, ohne Cloud, ohne Grafikkarte und ohne Docker. Die Sprachaufnahmen bleiben im eigenen Netz.
Der Adapter geht auf den Technologie-Test von @OliverIO zurück.
Ich suche Tester, vor allem auf unterschiedlicher Hardware.
Was der Adapter macht
- erkennt 25 europäische Sprachen und bestimmt die Sprache selbst, mit Satzzeichen und Groß-/Kleinschreibung
- bietet die OpenAI-kompatible API
POST /v1/audio/transcriptions. Was die Whisper-API von OpenAI nutzen kann, kann auch diesen Adapter nutzen, z. B. ioBroker.assistant - transkribiert per
sendToaus Skripten, z. B. Sprachnachrichten - zeigt im Reiter "Live-Test" der Instanz-Einstellungen den erkannten Text live an. Dazu gibt es eine Testseite im Browser
- ersetzt mit einem Korrekturwörterbuch Wörter, die das Modell regelmäßig falsch erkennt
Was er nicht macht: Er übersetzt nicht, Parakeet transkribiert nur. Er ist auch kein Sprachassistent: Die Aufnahme und das Ausführen der Befehle bleiben Sache von ioBroker.assistant oder eines eigenen Skripts.
Voraussetzungen
- 64-Bit Linux, Windows oder macOS (x64 oder arm64), 32-Bit-Systeme werden nicht unterstützt
- Node.js 22.19 oder neuer, js-controller 6 oder neuer, admin 7.6.20 oder neuer
- Der Reiter "Live-Test" braucht admin 8.3.10 oder neuer. Im Stable-Repository ist admin noch 8.3.5, dafür also admin aus dem Beta-Repository nehmen
- mindestens 1,5 GB freier Arbeitsspeicher, besser insgesamt 4 GB oder mehr. Das Modell belegt geladen etwa 1,1 GB
- etwa 700 MB Speicherplatz für das Modell, auf einem Raspberry Pi am besten auf einer SSD
- Zugriff auf
huggingface.cobeim ersten Start. Ohne Internet lassen sich die Modelldateien von Hand kopieren, siehe Anleitung
Installation
Der Adapter ist noch nicht im Beta-Repository, der PR dafür läuft. Bis dahin von npm installieren:
iob url iobroker.voiceAuf Linux mit x64 lädt
onnxruntime-nodebei der Installation zusätzlich etwa 200 MB CUDA-Bibliotheken, die der Adapter nicht nutzt. Mit der UmgebungsvariablenONNXRUNTIME_NODE_INSTALL=skiplässt sich das verhindern. Auf ARM (Raspberry Pi) und Windows wird nichts nachgeladen.Danach in Admin eine Instanz anlegen. Beim ersten Start lädt der Adapter das Modell (etwa 670 MB) und prüft die SHA-256-Prüfsummen. Den Fortschritt zeigt der Reiter "Server". Ein abgebrochener Download wird an der Abbruchstelle fortgesetzt. Bereit ist die Instanz, wenn
info.status=readyist.Erste Schritte
- Reiter "Live-Test" → Mikrofon starten und sprechen. Der Browser erlaubt das Mikrofon nur, wenn Admin über HTTPS oder auf
localhostgeöffnet ist. Sonst sagt der Reiter das. - Mit einer Audiodatei von der Kommandozeile (WAV geht immer, andere Formate brauchen ffmpeg):
curl http://192.168.1.10:9999/v1/audio/transcriptions -F file=@befehl.wav -F response_format=text - In ioBroker.assistant die Spracherkennung "OpenAI (Whisper)" wählen und als Spracherkennungs-Server die Adresse dieses Adapters eintragen, z. B.
http://192.168.1.10:9999(ohne/v1). Die richtige Adresse steht im Reiter "Server". - In Skripten:
sendTo('voice.0', 'transcribe', { file: '/opt/iobroker/sprachnachricht.ogg' }, result => { log(result.error || `${result.text} (${result.audioSeconds} s in ${result.inferenceMs} ms)`); });
Für MP3, OGG/Opus, M4A, WebM und FLAC braucht der Adapter ffmpeg. Entweder auf dem Host installieren oder im Reiter "Erkennung" auf "ffmpeg herunterladen" klicken.
Alles Weitere steht in der Anleitung.
Was getestet werden soll
- Installation und erster Start auf verschiedenen Hosts: Raspberry Pi 4 (noch nicht gemessen), Mini-PCs mit N100 und ähnlichen CPUs, VMs, LXC-Container, Windows und macOS
- Reiter "Live-Test" und Testseite, die Testseite auch über HTTPS von einem anderen Rechner
- Nutzung durch ioBroker.assistant, auch im Multihost-Betrieb mit dem Adapter auf einem anderen Host
- verschiedene Sprachen, Hintergrundgeräusche, unterschiedliche Mikrofone
- Dateiformate mit dem heruntergeladenen ffmpeg, längere Aufnahmen
- Korrekturwörterbuch, die Option "Wörter aus dem Prompt verwenden"
- Entladen nach Leerlauf-Minuten und das erneute Laden des Modells
Besonders interessiert mich, wie schnell die Erkennung auf eurer Hardware ist. So weit gemessen, für einen Befehl von 3 bis 6 Sekunden:
Host CPU-Threads Rechenzeit Echtzeitfaktor Raspberry Pi 5 (8 GB), mit laufendem Frigate 3 0,5 - 1,1 s etwa 0,2 Intel Core i9-14900HX 4 0,1 - 0,3 s etwa 0,03 - 0,05 Postet gern eine Zeile in dieser Form (die Werte stehen in
stats.lastAudioSeconds,stats.lastInferenceMsundstats.lastRtf):Hardware, RAM, CPU-Threads: … s Audio, … ms Rechenzeit, Echtzeitfaktor …Bekannte Einschränkungen
- Der Server hört ab Werk auf
0.0.0.0ohne API-Schlüssel, und die Testseite ist aktiv. Jeder im Netz kann die Erkennung also ohne Passwort nutzen. In einem nicht vertrauenswürdigen Netz einen API-Schlüssel setzen oder die Adresse auf127.0.0.1ändern. - Es läuft immer nur eine Erkennung gleichzeitig, weitere Anfragen warten in der Warteschlange. Vollständige Aufnahmen kommen dabei vor den Zwischenergebnissen der Testseite.
- Aufnahmen über 300 Sekunden werden abgelehnt (einstellbar), Aufnahmen über 90 Sekunden in Fenstern von 60 Sekunden erkannt.
- Bei weniger als 1,1 GB freiem Speicher lädt der Adapter das Modell nicht. Die Prüfung lässt sich abschalten.
- Das Modell liegt in
iobroker-data/voice/modelsund ist nicht Teil des ioBroker-Backups.
Fehler melden
Bitte als Issue auf GitHub oder hier im Thread, mit:
- Host (Hardware, Betriebssystem) und freiem Arbeitsspeicher
- Versionen von voice, js-controller, admin und Node.js
- Log der Instanz auf der Stufe
debug, ab dem Start der Instanz
Bitte vor dem Posten prüfen, ob im Log erkannter Text oder etwas anderes Privates steht.
Danke fürs Testen!
MOD-EDIT:
Der Adapter ai.parakeet wurde auf voice umbenannt. Titel und Github/npm Referenzen wurden angepasst. -
ioBroker.voice 0.1.7: Wakeword-Mikrofon für VIS-2 und lokale Sprachausgabe mit Piper
Hallo zusammen,
heute ist Version 0.1.7 erschienen. Die neuen Funktionen hat fast alle oweitman gebaut, vielen Dank dafür!
Der Adapter heißt jetzt ioBroker.voice. Er kann inzwischen mehr als Spracherkennung mit Parakeet: Er spricht auch und bringt ein Wakeword-Widget mit. Deshalb heißt er jetzt voice statt ai-parakeet (npm: iobroker.voice, GitHub: ioBroker/ioBroker.voice).
Umstieg von ai-parakeet:
- voice installieren und eine Instanz mit derselben Nummer anlegen, also voice.0 für ai-parakeet.0.
- Beim ersten Start übernimmt die neue Instanz die Einstellungen der alten. Das heruntergeladene Modell (670 MB) wird verschoben, nicht neu geladen. Dasselbe gilt für Piper-Runtime und Stimmen. Hochgeladene Wakewords und Stimmen werden kopiert. Die alte Instanz wird dabei gestoppt.
- In Skripten, VIS-Widgets und im Assistant muss man danach voice.0 statt ai-parakeet.0 auswählen. ioBroker.assistant stellt das ab seiner nächsten Version selbst um.
- Danach kann man ai-parakeet deinstallieren.
Neu: Wakeword-Mikrofon für VIS-2
- Neues Widget „Wake word microphone“: in eine VIS-2-View ziehen und die voice-Instanz auswählen. Einen weiteren Adapter braucht man nicht.
- Drei Modi: Wakeword, Push-to-Talk oder beides zusammen.
- Die Wakeword-Erkennung läuft lokal im Browser (ONNX/WASM). Standard-Wakeword ist io_broker. Mitgeliefert sind auch hey_jarvis, alexa, hey_mycroft und hey_rhasspy. Im Adapter-Tab „Wake word widget“ wählt man bis zu drei Wakewordsann man auch eigene .onnx-Modelle hochladen.
- Bis das Wakeword erkannt ist, bleibt das Audio im Browser. Erst danach geht es zum Adapter.
- Optional geht der erkannte Text an smart-text2command. Rückfragenste gesprochene Antwort gehört dann zur Rückfrage.
- Neue Chat-Anzeige mit Anfrage und Antwort.
- Antworten vorlesen, entweder mit einer Browser-Stimme (Auswahl übidget) oder mit Piper auf dem Adapter. Piper ist für Geräte gedacht,die selbst keine Sprachausgabe haben.
Neu: Piper TTS im Adapter
Sprachausgabe direkt auf dem ioBroker-Host, ohne Python und ohne Cloud:
sendTo('voice.0', 'synthesize', { text: 'Hallo ioBroker' }, res => { if (res.error) return log(res.error, 'warn'); const wav = Buffer.from(res.audio, 'base64'); // abspielen, speichern, weitergeben ... });- Standardstimmen: Thorsten und Kerstin (Deutsch), Kristin (Englisch). Siwis (Französisch) und CarlFM (Spanisch) kann man nachladen. Eigene Piper-Stimmen (.onnx +
.onnx.json) lassen sich hochladen. - Beim ersten Aufruf lädt der Adapter die Piper-Runtime und die Stimme herunter und prüft sie mit SHA-256. Danach läuft alles offline. Auf dem Host muss tar
installiert sein.
Hinweise
- Das Mikrofon funktioniert nur über HTTPS oder localhost.
- Der automatische Start kann an den Autoplay-Regeln des Browsers scheitern. Dann einmal ins Widget klicken.
- Auf Tablets können Bildschirmsperre, Hintergrund-Tabs und Energie.
- Die Piper-Stimmauswahl als Dropdown im Widget braucht VIS-2 mit @iobroker/web-components 0.8. Ältere Versionen zeigen stattdessen ein Textfeld.
- Die mitgelieferten OpenWakeWord-Modelle stehen unter CC BY-NC-SA ziell genutzt werden.
Rückmeldungen sind sehr willkommen, besonders dazu, wie gut die Erknd Tablets klappt.
-
ioBroker.voice 0.1.7: Wakeword-Mikrofon für VIS-2 und lokale Sprachausgabe mit Piper
Hallo zusammen,
heute ist Version 0.1.7 erschienen. Die neuen Funktionen hat fast alle oweitman gebaut, vielen Dank dafür!
Der Adapter heißt jetzt ioBroker.voice. Er kann inzwischen mehr als Spracherkennung mit Parakeet: Er spricht auch und bringt ein Wakeword-Widget mit. Deshalb heißt er jetzt voice statt ai-parakeet (npm: iobroker.voice, GitHub: ioBroker/ioBroker.voice).
Umstieg von ai-parakeet:
- voice installieren und eine Instanz mit derselben Nummer anlegen, also voice.0 für ai-parakeet.0.
- Beim ersten Start übernimmt die neue Instanz die Einstellungen der alten. Das heruntergeladene Modell (670 MB) wird verschoben, nicht neu geladen. Dasselbe gilt für Piper-Runtime und Stimmen. Hochgeladene Wakewords und Stimmen werden kopiert. Die alte Instanz wird dabei gestoppt.
- In Skripten, VIS-Widgets und im Assistant muss man danach voice.0 statt ai-parakeet.0 auswählen. ioBroker.assistant stellt das ab seiner nächsten Version selbst um.
- Danach kann man ai-parakeet deinstallieren.
Neu: Wakeword-Mikrofon für VIS-2
- Neues Widget „Wake word microphone“: in eine VIS-2-View ziehen und die voice-Instanz auswählen. Einen weiteren Adapter braucht man nicht.
- Drei Modi: Wakeword, Push-to-Talk oder beides zusammen.
- Die Wakeword-Erkennung läuft lokal im Browser (ONNX/WASM). Standard-Wakeword ist io_broker. Mitgeliefert sind auch hey_jarvis, alexa, hey_mycroft und hey_rhasspy. Im Adapter-Tab „Wake word widget“ wählt man bis zu drei Wakewordsann man auch eigene .onnx-Modelle hochladen.
- Bis das Wakeword erkannt ist, bleibt das Audio im Browser. Erst danach geht es zum Adapter.
- Optional geht der erkannte Text an smart-text2command. Rückfragenste gesprochene Antwort gehört dann zur Rückfrage.
- Neue Chat-Anzeige mit Anfrage und Antwort.
- Antworten vorlesen, entweder mit einer Browser-Stimme (Auswahl übidget) oder mit Piper auf dem Adapter. Piper ist für Geräte gedacht,die selbst keine Sprachausgabe haben.
Neu: Piper TTS im Adapter
Sprachausgabe direkt auf dem ioBroker-Host, ohne Python und ohne Cloud:
sendTo('voice.0', 'synthesize', { text: 'Hallo ioBroker' }, res => { if (res.error) return log(res.error, 'warn'); const wav = Buffer.from(res.audio, 'base64'); // abspielen, speichern, weitergeben ... });- Standardstimmen: Thorsten und Kerstin (Deutsch), Kristin (Englisch). Siwis (Französisch) und CarlFM (Spanisch) kann man nachladen. Eigene Piper-Stimmen (.onnx +
.onnx.json) lassen sich hochladen. - Beim ersten Aufruf lädt der Adapter die Piper-Runtime und die Stimme herunter und prüft sie mit SHA-256. Danach läuft alles offline. Auf dem Host muss tar
installiert sein.
Hinweise
- Das Mikrofon funktioniert nur über HTTPS oder localhost.
- Der automatische Start kann an den Autoplay-Regeln des Browsers scheitern. Dann einmal ins Widget klicken.
- Auf Tablets können Bildschirmsperre, Hintergrund-Tabs und Energie.
- Die Piper-Stimmauswahl als Dropdown im Widget braucht VIS-2 mit @iobroker/web-components 0.8. Ältere Versionen zeigen stattdessen ein Textfeld.
- Die mitgelieferten OpenWakeWord-Modelle stehen unter CC BY-NC-SA ziell genutzt werden.
Rückmeldungen sind sehr willkommen, besonders dazu, wie gut die Erknd Tablets klappt.
-
Hallo Zusammen,
erhalte nach der Installation die Meldung "startInstance voice.0: cannot find start file!"
Host (Hardware, Betriebssystem) und freiem Arbeitsspeicher
- Lenovo ThinkCentre M910q
- Linux Debian (bookworm)
- 6.5 GB / 15.5 GB (42%)
Versionen von ai-parakeet, js-controller, admin und Node.js
- voice 0.1.8+a0e8084
- admin 8.3.13
- node v22.23.3
Log der Instanz auf der Stufe debug, ab dem Start der Instanz
- error startInstance voice.0: cannot find start file!
-
Hallo Zusammen,
erhalte nach der Installation die Meldung "startInstance voice.0: cannot find start file!"
Host (Hardware, Betriebssystem) und freiem Arbeitsspeicher
- Lenovo ThinkCentre M910q
- Linux Debian (bookworm)
- 6.5 GB / 15.5 GB (42%)
Versionen von ai-parakeet, js-controller, admin und Node.js
- voice 0.1.8+a0e8084
- admin 8.3.13
- node v22.23.3
Log der Instanz auf der Stufe debug, ab dem Start der Instanz
- error startInstance voice.0: cannot find start file!
Hallo Zusammen,
erhalte nach der Installation die Meldung "startInstance voice.0: cannot find start file!"
Host (Hardware, Betriebssystem) und freiem Arbeitsspeicher
- Lenovo ThinkCentre M910q
- Linux Debian (bookworm)
- 6.5 GB / 15.5 GB (42%)
Versionen von ai-parakeet, js-controller, admin und Node.js
- voice 0.1.8+a0e8084
- admin 8.3.13
- node v22.23.3
Log der Instanz auf der Stufe debug, ab dem Start der Instanz
- error startInstance voice.0: cannot find start file!
Hast du von github installiert? Installiere bitte von npm
-
Hallo Zusammen,
erhalte nach der Installation die Meldung "startInstance voice.0: cannot find start file!"
Host (Hardware, Betriebssystem) und freiem Arbeitsspeicher
- Lenovo ThinkCentre M910q
- Linux Debian (bookworm)
- 6.5 GB / 15.5 GB (42%)
Versionen von ai-parakeet, js-controller, admin und Node.js
- voice 0.1.8+a0e8084
- admin 8.3.13
- node v22.23.3
Log der Instanz auf der Stufe debug, ab dem Start der Instanz
- error startInstance voice.0: cannot find start file!
Hast du von github installiert? Installiere bitte von npm
-
Installieren von npm geht so:
iob url iobroker.voiceoder im UI als URL eingeben
iobroker.voiceSiehe erster Beitrag. (Dort steht noch ai-parakeet, ich erlaube mir das dann mal zu ändern)
Von direkten Installation von GitHub - insbesondere auf produktiven Systemen - wird explizit abgeraten.
Außerdem wird eine Github Installation von immer weniger Adaptern untestützt.
-
-
-
Habe folgende Seite offen,

wenn ich dort "iob url iobroker.voice" eingebe, erhalte ich No Options.
Was mache ich falsch?
Das ist leider etwas verwirrend.
Im Reiter npm geht leider erst wenn der Adapter im beta repository eingetragen ist.
Daher muss man Reiter benutzerdefiniert nehmen. -
Ich hab mal angeregt admin da etwas "intelligenter" zu machen
https://github.com/ioBroker/ioBroker.admin/issues/3739 -
Ich habe hier mal ein paar Ausgabebeispiele der verschiedenen Stimmen erstellt immer auf Basis der gleichen Anfrage..
server piper = ist lokal erzeugt mit der Software piper
Diese Stimmen funktionieren auch, wenn keine Stimmerzeugung im browser zur Verfügung steht (bspw Android oder Fire HD Tablet). Sie wird direkt auf dem iobrokerserver erzeugt und an den client zurück gestreamt.
server piper kerstin lokal.mp3
server piper thorsten lokal.mp3hedda gehört zu den Microsoft Stimmen, die auch in einem Windows Browser verfügbar sind. Spracherzeugung ist ebenfalls lokal
Leider etwas roboterhaft
browser hedda lokal.mp3die folgende Stimme steht nur in Google Chrome Browser zur Verfügung und wird nicht lokal erzeugt, sondern in der Cloud von Google
Sie hat mE die höchste Qualität
browser google cloud.mp3
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden


