Alexa in Node Red ohne contrib-alexa-home oder Ähnliches

[zzippo]

Hallo, ich wollte kurz vorstellen, wie ich die Sprachsteuerung meiner Heimautomatisierung gelöst habe.
Am Anfang habe ich mit den alt bekannten Mitteln gearbeitet, also z.B. mit node-red-contrib-alexa-home.
Nach einer Weile habe ich gemerkt, dass doch zu viele Einschränkungen vorhanden sind und mich auf die Suche nach einer neuen Lösung gemacht.
Herausgekommen ist folgendes:

• Ein eigener Smarthome Skill bei Amazon welcher über einen Raspi Reverse Proxy auf Node Red geleitet wird.
• Ein Windows Programm mit dem ich beliebige Geräte konfigurieren kann, und das auf die Amazon Gerätesuche reagiert.
• Eine SqLite Datenbank auf dem IOBroker Raspi, über die alle Geräte mit den entsprechenden IOBroker Datenpunkten verbunden werden.
• Ein recht kurzer Node-Red Flow, der dann alle Dinge behandelt.

Die Großen Vorteile an der Sache sind:

• Alexa kann individuelle Antworten geben (zum Beispiel wenn ich sage Gäste WLAN ein. Antwortet mir Alexa mit der SSID und dem Passwort)
• Ich kann mit gleichen Sprachbefehlen in verschiedenen Räumen arbeiten (z.B. Licht ein)
• Ich kann alle Alexa Controller verwenden (z.B. mode, precentage, color etc.)
• Neue Geräte erfordern keine Programmierung sondern lediglich eine Zeile in der Datenbank

Bei Interesse kann ich das gerne einmal genauer vorstellen.

[Arnulf]

@zzippo
das, mein Lieber, sieht ja mal MEGA aus.

hat Potential, dass das meine Probleme lösen kann
Also wenn du mich fragst: Ja, hier hat zumindest einer Interesse, dass du das Projekt vorstellst.

Ist das ein Skill, den jeder verwenden kann oder muss sich jeder Benutzer als Entwickler registrieren und den Skill selbst hoch laden?

(BTW: Ich wollte schon immer mal lernen, wie das geht)

Wäre es sogar möglich, dass damit mein Echo Show den Firefox mit einer bestimmten Webseite startet?

[vikk88]

@zzippo das klingt verdammt interessant. Kannst du damit auch einstellen was für ein Gerät alexa findet, also nicht immer philips hue? Wäre sehr ein an einem tutorial interessiert

[zzippo]

@Arnulf said in Alexa in Node Red ohne contrib-alexa-home oder Ähnliches:

@zzippo
das, mein Lieber, sieht ja mal MEGA aus.

hat Potential, dass das meine Probleme lösen kann
Also wenn du mich fragst: Ja, hier hat zumindest einer Interesse, dass du das Projekt vorstellst.

Ist das ein Skill, den jeder verwenden kann oder muss sich jeder Benutzer als Entwickler registrieren und den Skill selbst hoch laden?

(BTW: Ich wollte schon immer mal lernen, wie das geht)

Wäre es sogar möglich, dass damit mein Echo Show den Firefox mit einer bestimmten Webseite startet?

Hallo Arnulf,
den Skill muss jeder selbst hoch laden, da ja deine dns als Empfänger eingetragen ist.

Generell ist mit dem System alles möglich, auch das starten der Webseite sollte gehen. über den Proxy lassen sich die Anfragen natürlich auch auf andere Empfänger als Node Red umleiten, je nach dem welche url angesprochen wird.

[zzippo]

@vikk88 said in Alexa in Node Red ohne contrib-alexa-home oder Ähnliches:

@zzippo das klingt verdammt interessant. Kannst du damit auch einstellen was für ein Gerät alexa findet, also nicht immer philips hue? Wäre sehr ein an einem tutorial interessiert

Hallo vikk8,
ja, es kann jedes x-beliebige Gerät eingestellt werden, auch mit mehren Eigenschaften.

[vikk88]

@zzippo okay jetzt musst du mir nur noch sagen was ich machen muss

[Arnulf]

bin auch gespannt

[zzippo]

@vikk88
Ich bereite gerade den ersten Teil vor. Also das erstellen des Alexa skills. Da ich das vor einem Jahr gemacht habe, muß ich nur kurz selber wieder lernen wie das ging.

[zzippo]

Vorab, was wird benötigt:

• Eine Dyndns Adresse, damit wir unser Smart Home aus dem Internet erreichen können.
• Einen Rechner der als Reverse-Proxy dient, in meinem Fall ein Raspi.
• Eine Portfreigabe im Router auf den Reverse-Proxy (port80 und port 443)
• IOBroker mit NodeRed
• Windows Rechner um neue Geräte zu konfigurieren.

Für Teil 1 brauchen wir noch nichts.

Teil 1: Erstellen eines eigenen Alexa Smarthome skills

Bevor wir anfangen müssen wir uns als Developer bei Amazon anmelden, außerdem brauchen wir einen AWS account, da wir eine Lambda Funktion schreiben müssen. AWS ist ein kostenpflichtiger Dienst von Amazon, aber keine Angst, das monatliche Frei-Volumen ist so riesig, das man damit hunderte Smarthomes versorgen kann. (Als Beispiel: jeden Monat eine Million Lambda Aufrufe frei, was in unserem Fall einem Kommando unseres Skills an Alexa entspricht.)

Wie man sich irgendwo anmeldet brauche ich ja wohl nicht erklären.
Amazon Developer Seite: https://developer.amazon.com/de/
Amazon AWS Seite: https://aws.amazon.com/de/

Haben wir die Anmelde-Formalitäten hinter uns, brauchen wir ständig mehrere Tabs im Browser um Daten hin und her zu kopieren. Wir fangen an auf der Alexa Skill Developer Seite unter: https://developer.amazon.com/alexa/console/ask?
Nach dem einloggen klicken wir auf den blauen Knopf „Create skill“
Dann können wir aussuchen welchen Typ Skill wir erstellen wollen.

Wir geben unserem skill einen Namen, und wählen Smart Home, danach klicken wir auf Create skill. In einem weiteren Tab öffnen wir AWS-Lambda unter:
https://eu-west-1.console.aws.amazon.com/lambda/home?region=eu-west-1#/functions
Die Lambda Funktion ist sozusagen das Interface zwischem dem Skill und unserem Smart Home, normalerweise würde hier der Hersteller Deines Smart Home Devices, seine Routinen zur Verwaltung der Benutzer und Geräte implementieren.

Wir klicken auf ‚Funktion erstellen‘, und es erscheint diese Seite:

Wir geben unserer Funktion einen beliebigen Namen und wählen Node.js 12x als Laufzeit aus. Danach unten auf Funktion erstellen. Dann sollten wir folgendes sehen:

Jetzt kopieren wir die oben rechts erschienene ARN, wechseln auf den Alexa skill Tab und tragen Sie im Alexa Skill unter: ‚default endpoint‘ ein. Danach kopieren wir im Alexa skill die „Your skill ID“, und klicken ‚Save‘.

jetzt wechseln wir wieder auf den Lambda tab. Hier klicken wir jetzt auf Auslöser hinzufügen, es erscheint folgendes:

Wir wählen als Auslöser Alexa Smart Home, und unter Anwendungs-ID die eben kopierte Adresse. Danach klicken wir Hinzufügen. Damit haben wir den Alexa Skill und die Lambda Funktion schon einmal miteinander ‚verheiratet‘.
Wenn ein neuer Benutzer, in diesem Fall ja Ihr selbst, den Skill aktivieren möchte, so muss er sich authentifizieren. Amazon Benutzt hier das AuthO verfahren, dieses müssen wir jetzt noch kurz einrichten. Wir benutzen den Amazon Account um uns zu identifizieren. Öffne in einem neuen Tab die Amazon Developer Seite mit:
https://developer.amazon.com/de/
Klicke oben auf Developer Console
Danach auf Login mit Amazon

Jetzt auf Erstellen eines neuen Sicherheitsprofils

Nun geben wir wieder einen beliebigen Namen ein, sowie eine Beschreibung. Außerdem brauchen wir noch eine Web Adresse mit den Datenschutzhinweisen, Hier sollte eine Sinnvolle Adresse stehen,
damit auch alles funktioniert. Bei mir ist es eine leere Webseite. Danach könnt ihr auf speichern drücken.

Nach dem Speichern klicken wir auf „Client-ID und Client-Geheimnis anzeigen“. Wir kopieren jetzt die client-ID und wechseln auf unseren Alexa Skill tab. Hier wählen wir auf der linken Seite die Schaltfläche ‚ACCOUNT LINKING‘ und fügen unter: ‚Your Client ID‘ die kopierte ID ein. Das gleiche machen wir mit ‚Client Geheimnis‘ welches unter Your Secret eingetragen wird.
Im Feld ‚Your Web Autorization URI‘ geben wir https://www.amazon.com/ap/oa
ein. Im Feld Access Token URI geben wir: https://api.amazon.com/auth/o2/token
ein. Jetzt klicken wir auf ‚Add scope‘, und geben im Eingabefeld ‚profile‘ ein.
Jetzt drücken wir wieder den Save button oben

Danach müssen wir noch die 3 unten stehenden ‚Alexa Redirect URL’s‘ in die Zulässigen Rückleitungs URL’s des Authentifizierungsdienstes eingeben. Dafür klicken wir im Tab ‚Login with Amazon‘ auf das Zahnrad neben unserem erstellten Login, und wählen Webeinstellung

Jetzt kopieren wir nacheinander die 3 Adressen und drücken natürlich speichern.

Jetzt wechseln wir noch einmal in den Alexa Skill tab und wählen links Permission, und schalten den Schalter ‚Send Alexa events‘ auf ein, danach wieder Save.

Jetzt fehlt nur noch der Code für die Lambda Funktion, wir wechseln also in den Lambda Tab. Ist der Funktionscode nicht zu sehen dann klickt auf die Lambda Funktion. Darunter erscheint dann ein code Fenster.

Jetzt löschen wir alles was im code Fenster ist und kopieren den folgenden code hinein:
index.js
danach klicken wir auf deploy.
Die Zeilen 9 und 10 müssen wir später noch ändern, hier kommt dann eure Adresse und das codierte Passwort rein.

Jetzt sollte alles Startklar sein, und wir können die Alexa App, am Besten im Browser starten.
unter: https://alexa.amazon.de
wir gehen jetzt links auf Skills und dann oben rechts auf Ihre Skills.

jetzt wählen wir oben Entwicklerskills an.
Wenn ich in meiner Anleitung nicht vergessen habe sollte jetzt der Skill auftauchen, und ihr könnt ihn installieren.

Gerne Feedback, ob bis hierhin alles verständlich war, und ob es funktioniert hat.

Teil 2 wird dann wesendlich einfacher, ich mache ein Skript, welches alles automatisch auf einem frischen Raspi installiert.
inkl. Apache Webserver, LetsEncrypt Zertifikat, Einrichtung des Reverse Proxy mit Fernzugriff auf Node Red.

P.S. Bitte keine Kommentare wenn das js Skript nicht optimal ist. Ich habe mir das innerhalb von einer Woche selbst beibringen müssen, da ich sonst nie etwas damit zu tun hatte.

[zzippo]

Zu einem späterem Zeitpunkt mache ich ein Git Repository auf, da lege ich dann alles ab.

[vikk88]

@zzippo oh wow. Vielen Dank schon mal für diese ausführliche Erklärung. Da muss ich mir wohl mal ein paar Stunden Zeit nehmen

[vikk88]

@zzippo muss ich einen zweiten raspi für den reverse proxy haben oder reicht der auf dem der iobroker installiert ist?

[zzippo]

@vikk88 Ich würde nicht raten, das auf dem IOBroker zu installieren. Ich wüsste dann auch nicht wie ich die Requests umleiten sollte. Der Sinn des Reverse Proxy ist ja, das vom Internet Dein IOBroker Raspi nicht zu sehen ist, sondern aller Traffik über https (port 443) mit Passwort über den Proxy läuft. Ausserdem braucht der Apache Server recht viel Speicher.
Generell geht das ganze natürlich auch ohne Proxy, dann müsste man die Lambda Funktion anpassen, aber mir persönlich wäre das zu gefährlich.
Ausserdem weiss ich nicht, (da ich keine vis laufen habe) ob Du die Ports 80 und 443 für etwas anderes brauchst.

[zzippo]

So, das Script zum installieren eines Raspi mit Apache, Letsencrypt und Reverse-Proxy ist fertig.

Teil2: Reverse Proxy installieren

wir brauchen also:

• Einen frischen Raspi (buster lite ist ausreichend) im lokalen Netzwerk.
• Die Ports 80 und 443 müssen auf diesen vor der Installation durchgeschaltet sein.

einfach diesen Befehl ausführen:

curl -sL  http://zzippo.de/scripts/reverse_proxy.sh  | bash -

Alternativ kann mann sich das Script natürlich runterladen und vorher ansehen.

Am Anfang werden die Daten abgefragt:
Als erstes der domain-Name, dies ist deine dynDNS sofern Du keine feste IP hast.
Dann noch Deine E-Mail Adresse. (Die braucht Letztencrypt um Dich zu errinnern wenn das Zertifikat abläuft.)
Danach die IP Adresse auf der NodeRed bzw. der IOBroker läüft.
Dann Die IP des Rechners, welcher die Discovery Response von Alexa beantwortet.
Zu guter letzt Dein Userlogin und Passwort für die Authentifizierung wenn Du auf Deine Geräte vom Internet zugreifen willst.

Am Ende des Scriptes wird dir dann das Base64 encodede Passwort ausgegeben, dieses müssen wir in Zeile10 der in Teil1 erstellten Lambda Funktion eigeben.

Wichtig: Reverse Proxy, IOBroker und das Gerät auf dem das Discovery Response läuft, müssen immer die selben internen IP's haben

Wenn alles funktioniert hat, kanst du unter:
'https://Deine.Dyndns' die Apache Startseite sehen.
unter 'https://Deine.Dyndns/nodered/' kommst du nach Eingabe von username/passwort auf Dein node red.

**EDIT:**Script noch einmal geändert, da Escape Zeichen vor den $ in der conf Datei vergessen.

[jrudolph]

@zzippo Ich finde den Ansatz sehr interessant. Vielen Dank für die Doku.
Bisher verwende ich node-red-contrib-alexa-local. Das hat den Vorteil, dass es ohne Alexa Skill auskommt, ist aber in der Funktionalität recht eingeschränkt. Daher also die Suche nach Alternativen.
Ich habe Teil 1 und 2 nachvollzogen, wobei ich Teil 2 (Proxy) als erstes gemacht habe. Das hat den Charme, dass man beim Einrichten des Skills bereits sieht, dass er sich mit dem Reverse-Proxy verbindet.
Teil 2: Das Proxy Script funktioniert. Auf meinem alten Raspi 1 B+ muss man schon mal eine halbe Stunde Geduld aufbringen. Zwei Bemerkungen:
• Zeile 65 muss wohl lauten: echo -e "\e[0mDiscovery Server :\e[91m" $pc_ip
• In den letzten 3 Zeilen sollte das Kommentarzeichen entfernt werden, damit das encoded Password ausgeschrieben wird (man kann es natürlich auch manuell machen)
Teil 1: Die Skill Erstellung funktioniert wie beschrieben. Wenn man Teil 2 schon absolviert hat kann man die Zeilen 9 und 10 gleich mit der Adresse und dem codierten Passwort versehen. Beim Speichern des Alexa Skills wurde eine Fehlermeldung geworfen, weil die Lambda Funktion zu dem Zeitpunkt noch keinen Code hatte. Einfach nach dem Deployen der Lambda Funktion den Skill nochmal speichern. Dann geht es ohne Fehler.
Vielen Dank bis dahin. Wie geht es weiter mit Node-Red und Windows Programm?

[mcdance]

@zzippo
hab da mal ein paar dumme fragen:
Ich habe einen Server bei mir stehen welcher die Performance und Hardware bereitstellt, das ganze läuft unter Proxmox.
Auf dem Server läuft neben IoBroker und einer SQL Datenbank einen Nginx Proxy Manager und ich vermute das es sich mit deinem Script sehr beißen würde,
wie könnte den 2ten Teil mit Nginx Proxy Manager realisieren?

Grüße

[zzippo]

@jrudolph
das mit dem Script hatte ich auch schon gemerkt, und bereits editiert. es fehlten auch diverse escapes for den $ Zeichen in der <domainName>.conf Datei, so das Node-Red keine Debug Ausgaben geschmissen hat.
Die solltest Du noch einmal anpassen.
Ich versuche so schnell wie möglich den Rest nachzuschieben.

[zzippo]

@mcdance
also mit Nginx habe ich noch nichts gemacht, obwohl der ja um eineiges einfacher und schlanker sein soll als der Apache.
Das einzige was wir brauchen ist die HTTPS verbindung und Umleitungen auf IOBroker NodeRed sowie auf das Programm weches auf die Gerätesuche reagiert, sollte also auch mit dem Nginx funktionieren.
Meine Umleitungen sehen wie folgt aus:
MeineAdresse.de:443/alexa2 <-> http://NodeRed_IP:1880/alexa2
MeineAdresse.de:443/alexaDisc <-> http://DiscoveryResponseServer_IP:41101/

[zzippo]

Teil 3: SQLite Datenbank, NodeRed Flow und Gerätesuche

Wir laden erst einmal folgende Dinge herunter:
Das Programm für die Geräteerkennung
den NodeRed flow
die SQLite Datenbank

Wir öffnen als erstes NodeRed, klicken oben rechts im schwarzen Balken die drei weißen Striche an und wählen 'Palette verwalten'
wir suchen nach 'node-red-node-sqlite' und installieren dieses.

die SQLLite Datenbank kopieren wir auf unser IOBroker/NodeRed Gerät in das Verzeichnis /home/sqlite
Das Verzeichnis sqlite muss angelegt werden. Ich benutze zum kopieren immer filezilla
In der Datenbank sind nur ein paar demo Einträge, welche veranschaulichen sollen wie es funktioniert. Zum bearbeiten der Tabelle habe ich eine Samba Freigabe auf dem Raspi gemacht, und benutze auf dem Windows Rechner DB browser für SQLite
Natürlich geht das auch mit dem Raspi, z.B. hiermit

den NodeRed flow importieren wir uns im NodeRed mit der Import Funktion.
In dem Importierten Flow sehen wir unten einen Zweig, welcher mittels des Alexa2 Adapters in der History ermittelt welche Alexa den Befehl abgesetzt hat. Hier müsst Ihr den code in 'function' editieren und mit euren Geräte-Nummern sowie den dazugehörigen Zimmern ändern. (Die Zimmer Namen werden sofern Ihr gleiche Befehle in unterschiedlichen Räumen benutzen wollt dann in der DB eingetragen)

Jetzt noch zur Geräte Erkennung, das Programm ist in .NET geschrieben und benötigt Administrator Rechte, da es einen Port(41101) öffnet. Das Programm ist noch ein bischen rudimentär, da es eigendlich nur für den Eigengebrauch war.
Wenn man unten auf neu klickt, wird ein neues Gerät angelegt, alle Geräte wo später links der Haken gesetzt ist werden bei der Gerätesuche beantwortet. Ihr könnt ja erst einmal mit dem Power-Controller anfangen (Heißt bei mir An Aus)
die Endpoint-ID müsst ihr in der Datenbank eintragen, sowie die zugehörige IO-Broker Variable welche geschaltet werden soll. Teilweise gibt es im Hilfe Tab schon mal hilfe für die einzelnen Felder.
Beim nächsten Teil erklär ich dann noch mehr. Vielleicht geht da ja so schon was bei euch mit ein bischen ausprobieren.
Bei den Sprach-Antworten kann alles genutzt werden was hier beschrieben ist.
Im flow sind noch nicht alle Controller unterstützt, aber eine Erweiterung ist recht einfach, alle Requests und die benötigten Antworten findet man hier

Wer Interesse hat:
Das ganze Visual Studio 2017 Projekt für die Geräte Erkennung kann man sich hier holen

[zzippo]

Vielleicht hat ja mal jemand Interesse das ganze in einen Adapter zu bauen. das wär doch mal was.