Hallo zusammen

Einige von euch kennen vielleicht schon SEPIA den quelloffenen, digitalen Sprachassistenten zum selber hosten: https://sepia-framework.github.io

Falls nicht hier eine kleine Einführung:

SEPIA ist ein Projekt das ich seit mehreren Jahren betreibe und das seit 2018 komplett quelloffen auf GitHub unter der MIT Lizenz zu Verfügung steht. Das Ziel ist einen vollwertigen Sprachassistenten zu entwickeln, der sowohl auf dem Handy als Google Assistant/Siri Ersatz funktioniert als auch im stationären Einsatz zu Hause als Smart Speaker/Display Alternative zu Amazon Echo etc., dabei aber die Privatsphäre des Users respektiert durch volle Kontrolle über die eigenen Daten.
Der SEPIA Server wird üblicherweise auf einem Raspberry Pi o.ä. gehostet und es gibt cross-Plattform Client Apps für Android, Browser, iOS (noch nicht im Apple Store) und zum selber bauen als "headless" Smart Speaker oder Display (ebenfalls typischerweise auf dem Raspberry Pi). Die Spracherkennung (STT) und Ausgabe (TTS) laufen wahlweise über die Client Plattform (Google/Apple/Microsoft/Mozilla) oder "offline" über den eigenen SEPIA Server.

Das Projekt ist schon sehr weit fortgeschritten und ich freue mich mit v2.5.0 nun auch endlich offiziell eine ioBroker Integration anbieten zu können .

Informationen über die Architektur und Installation gibt es auf der SEPIA Docs Startseite.

Ein Tutorial zur Integration von ioBroker gibt es in der Smart Home Sektion des SEPIA Wiki. Das ganze läuft über das HTTP REST Interface des Simple-API Adapters.

Ich würde mich freuen, wenn Jemand Lust hat es mal auszuprobieren und dann hier oder in der SEPIA Docs Issues Sektion Feedback geben könnte

Grüße,
Florian

@apollon77 said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Der Screenshot wo der "Name" des Objekts kopiert wird" Die erste Spalte mit dem Baum quasi das ist die objekt ID da gibts das Icon um die ID zu kopieren. Die Spalte danach ist der Objekt-Name! den aber dann als ID einzutragen ist nicht so sinnvoll

Oh ha, heißt das, dass das markierte Feld vom Nutzer beliebig editiert werden kann? ^^ (bin selber noch recht frisch im Umgang mit ioBroker ).

@DerT said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Habe nun den Client installiert und nach dem Start sagt er auch "ready for setup"
Leider bekomme ich keine Verbindung zum Client hin.

Wenn du sonst keine Änderungen vorgenommen hast, dann fehlt noch der Port (:9090) in deiner URL also ws://[IP]:9090/clexi. Die ID (testpi) hast du auch in der CLEXI settings.json so eingetragen nehmen ich an?

@DerT said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Finde das Projekt wirklich sehr interessant. Suchst du noch Tester?

Immer doch . Wenn dir beim Benutzen etwas auffällt (Bugs, Usability Problemchen, unklare Dokumentation, fehlende Features, etc.) am Besten einfach in der SEPIA issues Sektion auf GitHub posten. Da antworte ich für gewöhnlich am schnellsten. Ansonsten aber auch gerne einfach hier schreiben.

@Merowinger said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Und ich hätte gerne eine Unterstützung für mein Matrix voice setup....

Ich habe leider keins zum Testen, aber fände ich auch spannend . Grundsätzlich funktioniert die Installation vermutlich ähnlich zum ReSpeaker und falls es selber nicht zu viel am Linux Audiosystem verändert müsste es eigentlich auch vom SEPIA Client erkannt werden. Der Client sendet jede Menge Events mit denen man theoretisch auch die LEDs schalten könnte. Am einfachsten wäre das vermutlich mit den SEPIA Node-RED Nodes die ich gerade bastle. Updates folgen

Grüße,
Florian

@zakuma said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Klasse! Sowas hab ich gesucht.
Gibt es noch keine ARM Container für den Pi zu den Servern? Zum Testen würde ich ungern eine komplette Installation vollziehen.

Einen ARM Container gibt es leider noch nicht, bei den alten Raspberry Pis hat das keinen Sinn gemacht da mit dem Overhead von Docker und dem SEPIA Server eigentlich eh nicht mehr viel Platz für andere Sachen war. Auf dem RPi4 sieht es schon wieder ganz anders aus. Theoretisch kann man einfach einen beliebigen Java 11 + Nginx Container nutzen und SEPIA in einem geteilten Ordner installieren (keine weiteren Abhängigkeiten sind nötig), aber ich werde die Tage mal einen richtigen RPi Container machen

INFO: Die neue Version v2.5.1 ist jetzt verfügbar , alle Infos gibts hier.

@uli67 Hi Uli, sorry für die späte Rückmeldung, ich verpasse die Fragen hier gelegentlich
Schneller gehts für gewöhnlich in der SEPIA Issues Sektion.

An welcher Stelle genau kommt diese Elasticsearch Meldung? Beim Health Check? (~/SEPIA/test-cluster.sh). Im Grunde sieht das erstmal nicht falsch aus, für gewöhnlich steht da aber noch "status" (green/yellow/red)

und wen ich unter den core-settings doe Persistent-Settings aufrufen will, Meldung dass ich nicht auf Dienste außerhalb meines Netzwerkes zugreifen darf.

Das ist ein "Feature" kein "Bug" wenn du außerhalb des lokalen Netzwerkes bist oder eine Domain URL benutzt. Du kannst das Feature deaktivieren via der Option allow_global_dev_requests in ~/SEPIA/sepia-assist-server/Xtensions/assist.custom.properties oder du greifst über die IP des internen Netzwerks auf Control-HUB und Server zu, z.B. http://192.168.0.88:20721/tools/index.html (und dann beim Login auch als 'host' Eintrag die selbe IP 192.168.0.88).

@zakuma said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Klasse! Sowas hab ich gesucht.
Gibt es noch keine ARM Container für den Pi zu den Servern? Zum Testen würde ich ungern eine komplette Installation vollziehen.

Einen ARM Container gibt es leider noch nicht, bei den alten Raspberry Pis hat das keinen Sinn gemacht da mit dem Overhead von Docker und dem SEPIA Server eigentlich eh nicht mehr viel Platz für andere Sachen war. Auf dem RPi4 sieht es schon wieder ganz anders aus. Theoretisch kann man einfach einen beliebigen Java 11 + Nginx Container nutzen und SEPIA in einem geteilten Ordner installieren (keine weiteren Abhängigkeiten sind nötig), aber ich werde die Tage mal einen richtigen RPi Container machen

@Pittini ich hab's auf dem Schirm
Für die Server Installation gibt es übrigens einen etwas älteren, aber recht ausführlichen Blog Artikel. Die Schritte sind überschaubar: Java installieren, Zip runterladen und entpacken, Setup starten und Anweisungen folgen ^^.
Speziell der DIY Client braucht aber noch ein paar Kniffe die alles etwas leichter machen. Vielleicht schaffe ich es ja dafür auch einen Docker Container zu basteln, habe aber noch Bedenken wegen dem Zugriff auf die Hardware (Mikrofon + Lautsprecher).

@DerT said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Ja, "ready fo Setup" kommt nach dem Start des Pis.

Das ist schon mal ein gutes Zeichen, das heißt er geht in den Automatik Modus, liest die settings.js und versucht die CLEXI Verbindung aufzubauen. Ich denke das Problem ist das Feld "clexiServerId": "clexi-123" , das ist die ID aus den CLEXI Settings, sprich "testpi4".
Was mir noch auffällt ist der Eintrag "host-name": "testpi4". Bei der Verbindung zu CLEXI spielt das keine Rolle, aber hier muss die IP des SEPIA Servers rein (oder der hostname + proxy Path, so wie er auch in der Android App beim Login eingetragen wird z.B.).

@DerT said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Aber mir ist aufgefallen, dass die Einstellungen unter ~/install/clexi_settings.json nicht gezogen werden.
Denn unter clexi/settings.json war noch immer die Standard id eingetragen

oh, mir war nicht aufgefallen, dass du auf der falschen settings.json warst
Kurzer Hinweis: Nach der Installation ist der /install Ordner nicht mehr nötig.

Es sieht so aus als wird der SEPIA Client planmäßig vom CLEXI geladen (CLEXI fungiert hier quasi als Web-Server), eventuell wurde die WebSocket Verbindung zwischen dem Client und CLEXI noch nicht hergestellt.

Hast du zu irgendeinem Zeitpunkt den akustischen Hinweise "Ready for Setup" gehört?
Kannst du auch mal den Inhalt deiner ~/clexi/www/sepia/settings.js posten bitte?

Grüße

Hi @DerT

Die Einstellung für "hostname" sollte unbedingt auf "localhost" bleiben, der Rest wird über den Nginx Proxy erledigt. Im Control HUB würde ich statt dem hostname mal ws://[CLEXI-IP]:9090/clexi probieren, nur um Probleme bei der Namensauflösung auszuschließen.

Vielleicht liegt das Problem auch beim Nginx Proxy. Kannst du mal testen ob der Proxy läuft mit service nginx status und falls ja, prüfen ob die richtige Config existiert sudo nano /etc/nginx/sites-enabled/sepia-client-nginx.conf ?
Der Nginx sollte seine welcome Seite zeigen unter: http://[CLEXI-IP]:9090

Ein Blick in das CLEXI Log zeigt vielleicht auch noch Probleme auf: nano ~/clexi/log.out.

Hast du außer dem SEPIA DIY Client noch andere Sachen laufen auf dem System?

Grüße,
Florian

@apollon77 said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Der Screenshot wo der "Name" des Objekts kopiert wird" Die erste Spalte mit dem Baum quasi das ist die objekt ID da gibts das Icon um die ID zu kopieren. Die Spalte danach ist der Objekt-Name! den aber dann als ID einzutragen ist nicht so sinnvoll

Oh ha, heißt das, dass das markierte Feld vom Nutzer beliebig editiert werden kann? ^^ (bin selber noch recht frisch im Umgang mit ioBroker ).

@DerT said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Habe nun den Client installiert und nach dem Start sagt er auch "ready for setup"
Leider bekomme ich keine Verbindung zum Client hin.

Wenn du sonst keine Änderungen vorgenommen hast, dann fehlt noch der Port (:9090) in deiner URL also ws://[IP]:9090/clexi. Die ID (testpi) hast du auch in der CLEXI settings.json so eingetragen nehmen ich an?

@DerT said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Finde das Projekt wirklich sehr interessant. Suchst du noch Tester?

Immer doch . Wenn dir beim Benutzen etwas auffällt (Bugs, Usability Problemchen, unklare Dokumentation, fehlende Features, etc.) am Besten einfach in der SEPIA issues Sektion auf GitHub posten. Da antworte ich für gewöhnlich am schnellsten. Ansonsten aber auch gerne einfach hier schreiben.

@Merowinger said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Und ich hätte gerne eine Unterstützung für mein Matrix voice setup....

Ich habe leider keins zum Testen, aber fände ich auch spannend . Grundsätzlich funktioniert die Installation vermutlich ähnlich zum ReSpeaker und falls es selber nicht zu viel am Linux Audiosystem verändert müsste es eigentlich auch vom SEPIA Client erkannt werden. Der Client sendet jede Menge Events mit denen man theoretisch auch die LEDs schalten könnte. Am einfachsten wäre das vermutlich mit den SEPIA Node-RED Nodes die ich gerade bastle. Updates folgen

Grüße,
Florian

@AlCalzone said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Klingt spannend, hoffe ich werde das demnächst mal ausprobieren können.

Hoffe ich auch

@apollon77 said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Mal über Docker nachgedacht für setup und so? Wäre dann ggf. noch einfacher

Den Server gibt es als Docker Container:
https://hub.docker.com/u/sepia

Beim Client ist es leider etwas schwieriger wegen der Hardware Anbindung, da muss ich noch testen wie gut das klappt.

@apollon77 said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Hast Du "HW Empfehlungen" für "nicht ganz so DIY Wihzimmertaugliche Micro-Array/Speaker Kombis? Das ist das was mir noch fehlt um sowas mal für einen echten Einsatz anzugehen

Meinst du Mikrofon + Lautsprecher in einem? Ich habe ein Jabra Speak was ganz gut klappt, die sind aber nicht gerade günstig Meine Lieblingskombo zur Zeit ist das Samson Go Mic (Kondensatormikrofon) + ein kleines Set Noname Stereo Klinke Boxen

@apollon77 said in SEPIA Open Assistant - DIY Sprachassistent + ioBroker:

Ist der Screenshot wirklich korrekt?

Welchen meinst du genau? Die sind relativ frisch also müssten noch aktuell sein.

Hi Thomas,

freut mich, dass es dir soweit gefällt.
Ich gebe zu bei der Dokumentation, speziell beim DIY Client gibt es noch Luft nach Oben, ich arbeite dran

Hattest du in Punkt 2 eine der Installationsvarianten gewählt und ausgeführt? Die Anleitung springt dort kurz nach Unten.
Die Varianten unterscheiden sich hauptsächlich durch die Wahl der Hardware. Variante 1 trifft in den meisten Fällen zu.

Grüße,
Florian

Hallo zusammen

Einige von euch kennen vielleicht schon SEPIA den quelloffenen, digitalen Sprachassistenten zum selber hosten: https://sepia-framework.github.io

Falls nicht hier eine kleine Einführung:

SEPIA ist ein Projekt das ich seit mehreren Jahren betreibe und das seit 2018 komplett quelloffen auf GitHub unter der MIT Lizenz zu Verfügung steht. Das Ziel ist einen vollwertigen Sprachassistenten zu entwickeln, der sowohl auf dem Handy als Google Assistant/Siri Ersatz funktioniert als auch im stationären Einsatz zu Hause als Smart Speaker/Display Alternative zu Amazon Echo etc., dabei aber die Privatsphäre des Users respektiert durch volle Kontrolle über die eigenen Daten.
Der SEPIA Server wird üblicherweise auf einem Raspberry Pi o.ä. gehostet und es gibt cross-Plattform Client Apps für Android, Browser, iOS (noch nicht im Apple Store) und zum selber bauen als "headless" Smart Speaker oder Display (ebenfalls typischerweise auf dem Raspberry Pi). Die Spracherkennung (STT) und Ausgabe (TTS) laufen wahlweise über die Client Plattform (Google/Apple/Microsoft/Mozilla) oder "offline" über den eigenen SEPIA Server.

Das Projekt ist schon sehr weit fortgeschritten und ich freue mich mit v2.5.0 nun auch endlich offiziell eine ioBroker Integration anbieten zu können .

Informationen über die Architektur und Installation gibt es auf der SEPIA Docs Startseite.

Ein Tutorial zur Integration von ioBroker gibt es in der Smart Home Sektion des SEPIA Wiki. Das ganze läuft über das HTTP REST Interface des Simple-API Adapters.

Ich würde mich freuen, wenn Jemand Lust hat es mal auszuprobieren und dann hier oder in der SEPIA Docs Issues Sektion Feedback geben könnte

Grüße,
Florian