[Neuer Adapter] Senec Home Adapter

[nobl]

@dime alles unter _api kommt (wer hätte es gedacht ) über die API und ist daher im Bestfall 5 Minuten alt.

Dann kommt noch dazu, dass es scheinbar Nachts ein Aktualisierungsgap von 2-3 Stunden gibt, zu dem bestimmte Werte nicht aktualisiert werden.
Auch habe ich teils den Eindruck, es wäre auf Serverseite irgendwie eine Art Ratelimiting implementiert (das kann aber täuschen).

Die Stromerzeugung kannst Du Dir auch über den Datenpunkt senec.0.PV1.P_TOTAL ziehen (sofern PV1 noch existiert ...)
Einspeisung/Bezug über senec.0.PM1OBJ1.P_TOTAL
Hausverbrauch: senec.0.ENERGY.GUI_HOUSE_POW (ohne Gewähr, ob der Datenpunkt noch geliefert wird)

[DiMe]

@nobl erstmal Danke für deine schnelle Antworten.
Habe mich glaub falsch ausgedrückt. Nicht die aktuellen Erzeugung gerade (in KW) habe ich gemeint, sondern meine aktuellen Tagesertrag (kWh). Im Senec selber stehen ja dann anscheinend ca. alle 5 min der aktuelle Wert, allerdings verstehen ich nicht warum diese Werte nicht regelmäßig abgegriffen werden. Bei Neustart des Adapter steht der aktuelle Wert dann drin.

[nobl]

@dime die werte werden von senec nur alle 5 minuten aktualisiert.
Wenn du den Adapter neu startest, bevor das 5 Minuten Intervall abgelaufen ist, dann bekommt er auch keine aktuellen Werte
Startest du Ihn, nachdem 4 Minuten des Intervalls bei Senec gelaufen sind, und startest ihn dann 2 Minuten später neu, bekommst du auch wieder neue Werte.

Es kann auch vorkommen, dass der Datenabruf fehlschlägt - dann gibts auch keine neuen Werte.
Auch habe ich - wie gesagt - den Eindruck, es könnte ein Ratelimiting geben. Dann liefert die API schlichtweg keine Werte beim Abruf.
Was ich selbst schon hatte: Die gelieferten Daten waren für die Anfrage unvollständig - also z.B. nur die Hälfte der Daten.

Auch werden die Datenpunkte nicht aktualisiert, wenn sich die Werte nicht geändert haben.

Bei mir sieht das zB so aus:

Auch wenn das meist gut getaktet funktioniert - gibts da auch mal sowas:

Es kann auch sein, dass die API einfach noch keine neuen Daten hat und dann die alten Informationen erneut liefert (keine Aktualisierung des Datenpunkts).
Oder auch mal ein Netzwerkproblem, etc.

Anderes Beispiel:

Hier hat z.B. der Abruf um 14:01 zB nicht funktioniert (Eintrag im ioB log bzgl. Timeout), was den Adapter dazu veranlasst, die Abrufrate sukzessive zu reduzieren. Sobald ein Abruf erfolgreich war, geht es dann zurück auf die reguläre Taktung.
Der Abruf um 13:56 hat zwar keine Fehlermeldung - aber offensichtlich keine neuen Daten geliefert.

Ich würde aus dieser Datenlage ein "Lag" des Senec Servers vermuten wollen, das manchmal zu Timeouts führt und manchmal einfach zu veralteten Informationen (bzw. nur teilweise aktualisierten Infos).
Natürlich könnte man die Abfragen auch erheblich schneller einstellen (weshalb ich in der Config ein Minimum von 3 Minuten vorgebe) - aber ... in diesem Fall kann Senec den individuellen Zugang zur API sehr einfach entweder einschränken oder sogar sperren (aber das will ich öffentlich eigentl. gar nicht diskutieren ).

[DiMe]

@nobl
Hi nobl, also seit vorgestern ist da definitiv etwas passiert, ich hoffe das wird wieder.
Siehe orangene Dantepunkte. Vorgestern alle 5 min jetzt nur noch sporadisch.

Ganz herzlichen Dank für deinen super Support!!!
Und danke für deine Gelduld, beschäftige mich noch nicht alzulange und alzutief mit dem Thema. Ist noch vieles für mich böhmische Dörfer.

[DiMe]

@nobl
Also habe nochmals nachgeforscht warum ich ab den 13.9. die Probleme habe.
Ab ca. 10:30 hatte mein Internetanbieter technische Probleme , zuvor lief wie man es ja sieht ohne Problem,und ich war bis ca. 15:xx abgeschnitten vom Internet. Ca:1h lief es und danach nochmal ein paar Stunden abgetrennt.
Interessant sind orangenen und roten Datenpunkte

Seit dem habe ich die Probleme
Hier ein Auszug meines heutigen Protokolls, habe ein 12:39 den Adapter wegen Werteänderungen neu gestartet.
Nach dem Neustart erhöhen sich die Abtastungen immer um 5min. ich vermute das dies die Retry Werte in der Meldung sind.

Ich weis jetzt nicht was los ist und was ich machen kann. Habe Senec, Rasp und Router jeweils schon neu getartet.
Hier noch meine aktuelle Adaptereinstellung. Bin am Verzweifeln.

[nobl]

@dime das irritiert mich jetzt.
Da wäre es hilfreich, wenn du in dieser Situation den Adapter mal auf "debug" umstellst - dann wird unter anderem auch ausgegeben, was genau der Get-Request als Antwort von der API bekommt.

Login und Abruf der Systemdaten funktioniert ja offensichtlich. Entweder kommt dann beim Rest Schrott oder gar nix.
Falls du es schaffst, mir das (gerne via PN) in den nächsten 2-3 Stunden noch zukommen zu lassen, werfe ich gerne noch einen schnellen Blick drauf, was da los sein könnte. Ansonsten bin ich dann nämlich leider erstmal im Ausland in Urlaub und da dann natürlich eher zeitlich knapp.

Version 1.6.5 des Adapter hast du?

[DiMe]

@nobl
Leider hat es mir nicht gereicht. Ich wünsche Dir aber einen tollen Urlaub!! (Falls du dies überhaupt noch vor/in deinem Urlaub lesen solltest)

Ich habe trotzdem mal den Debug eingeschalten und hier der Screenshot.
Hängt es vielleicht and der letzten Meldung ( {"aggregation":null,"intervalle":[]} ) vor der gelben Warn-Meldung? Vielleicht kann mir ja jemand anderes helfen. Version ist die 1.6.5.

[root666]

@dime evtl. weiss ich woran es liegen könnte.
Wie lange hast du denn die Anlage schon? Länger als seit 1 Jahr oder erst dieses Jahr bekommen?

Denn wenn ich mir den Log so anschaue sehe ich folgendes:
2023-09-18 07:25:36.839 Start des API abrufes
2023-09-18 07:25:36.454 holt die "aktuell" Werte
danach die "heute" Werte
dann kommen die "Statistik" Werte und hier vermute ich beim letzten Eintrag wo "null" kommt, das dies der abruf für "Last Year" ist. Wenn dem so ist und deine Anlage noch nicht so alt ist, kommen logischerweise von der API auch "null" Werte zurück, denn dann gibt es da ja noch nichts zum abrufen.

Da müsste @nobl dann nach seinem Urlaub nochmal ran, was er bestimmt auch auch tun wird, wie ich ihn kenne
Alle Eventualitäten abzudecken bei der Programmierung ist schwierig, denn manches fällt dann eben erst wie in deinem Fall später im Feldtest auf.

Ich weiss nicht wie fit du mit Code umschreiben bist aber falls du es dir zutraust wäre ein erster Workaround, bis @nobl wieder da ist, folgender:

Unter folgendem Pfad solltest du eine "main.js" finden:

/opt/iobroker/node_modules/iobroker.senec/

(mache dir am besten ein Backup, bevor du Änderungen daran vornimmst. Im Notfall, Adapter stoppen, Backup wieder rein kopieren und dann Adapter wieder starten.)

Öffne "main.js" in einem Editor (notepad bzw. Editor unter windows oder wenn du es komfortabel haben möchtest, dann lade dir kostenfrei notepad++ im netz herunter. Da hast du dann auch gleich Zeilenummern neben dem Code stehen)

Zeile 399 - 406 findest du folgendes:

		const dates = new Map([
			["THIS_DAY", new Date().toISOString().split('T')[0]],
			["LAST_DAY", new Date(new Date().setDate(new Date().getDate()-1)).toISOString().split('T')[0]],
			["THIS_MONTH", new Date().toISOString().split('T')[0]],
			["LAST_MONTH", new Date(new Date().setDate(0)).toISOString().split('T')[0]],
			["THIS_YEAR", new Date().toISOString().split('T')[0]],
			["LAST_YEAR", new Date(new Date().getFullYear() - 1, 1, 1).toISOString().split('T')[0]]
		]);

Stelle hier // bei Zeile 405 voran um die Zeile auszukommentieren (diese Zeile wird dann vom Script nicht mehr berücksichtigt und somit lässt er das abholen der Werte für "LastYear" aus):

		const dates = new Map([
			["THIS_DAY", new Date().toISOString().split('T')[0]],
			["LAST_DAY", new Date(new Date().setDate(new Date().getDate()-1)).toISOString().split('T')[0]],
			["THIS_MONTH", new Date().toISOString().split('T')[0]],
			["LAST_MONTH", new Date(new Date().setDate(0)).toISOString().split('T')[0]],
			["THIS_YEAR", new Date().toISOString().split('T')[0]],
			//["LAST_YEAR", new Date(new Date().getFullYear() - 1, 1, 1).toISOString().split('T')[0]]
		]);

Das könnte in deinem Fall, bis @nobl wieder da ist, erstmal abhilfe schaffen. Zumindest sollten dann keine Fehler mehr im Log auftauchen und die anderen Werte normal geholt werden. "Debug" kannst du dann auch wieder "Info" umstellen wenn es soweit läuft.

[DiMe]

@root666
Hi vielen Dank für deine Antwort und Lösungsvorschlag.
Ja du liegst richtig, meine Anlage ist von diesem Jahr, d.h. "last year" Werte habe ich noch nicht.
Ich trau mir die Änderung zu, und werde sie morgen mal probieren umzusetzen. Werde hier dann wieder posten.
Wie komme ich am geschicktesten auf die Ordnerstruktur ohne mich mit Powershell mit dem Rasp direkt zu verbinden?

[root666]

@dime unter Windows kann ich dafür WinSCP empfehlen. In Verbindung mit Putty hast du da eine Komplettlösung.
Falls du mit ssh auf den Raspberry kommst, dann kannst du auch einfach:

nano /opt/iobroker/node_modules/iobroker.senec/main.js

eingeben. Damit öfnet sich die main.js ebenfalls auf der Konsole im Editor.
Dort zu Zeile 399 mit den Pfeiltasten, dann // einfügen und mit "strg + x" kannst du speichern. Nachdem du "J" gewählt hast, sollte die Datei gespeichert sein. Je nachdem mit welchem Nutzer du angemeldet bist, kann es auch sein das du "sudo" zum editieren verwendet musst. Also:

sudo nano /opt/iobroker/node_modules/iobroker.senec/main.js

Ich hab mir aber auch eben schnell die Arbeit gemacht und dir das ganze unter GitHub eingestellt. So kannst du einfach den Adapter damit updaten und auch damit (im Fall der Fälle) auch wieder zurück zur offiziellen v1.6.5 von @nobl wechseln.
Ich hab die Version für mich 1.6.5.1 genannt. Nicht wundern, im ioBroker wird trotzdem nur 1.6.5 angezeigt nach dem update. Du siehst es ja aber wenn die Fehler in den Logs verschwunden sind oder wenn du in main.js rein schaust.

https://github.com/git-ZeR0/ioBroker.senec/tree/Hot-Fix_LastYear

Im Fall der Fälle zurück zur offiziellen Version 1.6.5 von @nobl dann hiermit:

[DiMe]

@root666
Du Granate! habe denvon dir auf Github vorbereiteten Adapter benutzt.
Es funktioniert , alle 5 min bekomme ich jetzt die Werte und habe keine Warnmeldung mehr.
Vielen Dank euch beiden für den tollen Support!! Danke das du dir auch die Mühe gemacht hast mir alles genau zu erklären!!!

[root666]

@dime gerne doch und freut mich wenn es jetzt funktioniert.

Wie gesagt ist das aber nicht die eigentliche Lösung des Problems, sondern lediglich ein Fix für den Fehler bei dir, bzw. bei Anlagen wo es noch kein Vorjahr gibt.
Kann sein das es die Gesamtsummen dadurch nicht berechnet. Hab mir jetzt nicht näher angeschaut wie @nobl das umgesetzt hatte. Sollte aber bis zum Jahreswechsel hoffentlich kein Problem sein und bis dahin hat @nobl sicherlich eine elegante Lösung eingebaut, die dann die NULL-Werte erkennt und damit umgehen kann. Da pfusche ich jetzt auch nichts auf die schnelle zusammen. Das soll sich @nobl dann nach seinem Urlaub mal ansehen. Solange es so läuft, lass es fürs erste so laufen

[Snigga]

Hallo kann es sein? Das die Werte unter senec.0._api.Anlagen.86808.Statistik.AllTime nur die Werte von 2023 erfasst sind. Hier sollten doch die Werte seit Inbetriebnahme drin stehen? oder verstehe ich hier was falsch?

[root666]

@snigga hast du auch hier:

den Haken gesetzt?

Ist mir nämlich auch passiert und hab mich auch erst gewundert, obwohl ich die Funktion kannte. Hab es eben vergessen zu aktivieren und so kommen dann auch nur die Werte von 2023 unter AllTime.

[Snigga]

@root666 Danke dir. Ja den Hacken habe ich vergessen zu setzen. Jetzt passen die Werte wieder

[Snigga]

Hallo ich habe mal eine Frage. Kämpfe mich gerade mit der Senec APP Api rum. Gibt es hier zum Beispiel auch eine Möglichkeit die Daten für einen bestimmten Zeitraum abzufragen zum Beispiel 3.10.2022 bis 31.12.2022.

Hintergrund ist der. Ich möchte gerne das aktuelle Jahr mit dem letzten Jahr vergleichen, ob der Strombedarf gesunken oder gestiegen ist. Da ich mich aber unter dem Jahr befinde kann ich die Werte nicht vergleichen, da ja die Daten vom heute bis Jahresende ja fehlen. Für den Vergleich würde ich gerne die Werte vom letzten Jahr hernehmen.

Also eine Art Prognose erstellen.

Gibt es hier einen Vorschlag wie man das umsetzen kann.

Danke.

[nobl]

@root666 sagte in [Neuer Adapter] Senec Home Adapter:

@dime gerne doch und freut mich wenn es jetzt funktioniert.

Wie gesagt ist das aber nicht die eigentliche Lösung des Problems, sondern lediglich ein Fix für den Fehler bei dir, bzw. bei Anlagen wo es noch kein Vorjahr gibt.
Kann sein das es die Gesamtsummen dadurch nicht berechnet. Hab mir jetzt nicht näher angeschaut wie @nobl das umgesetzt hatte. Sollte aber bis zum Jahreswechsel hoffentlich kein Problem sein und bis dahin hat @nobl sicherlich eine elegante Lösung eingebaut, die dann die NULL-Werte erkennt und damit umgehen kann. Da pfusche ich jetzt auch nichts auf die schnelle zusammen. Das soll sich @nobl dann nach seinem Urlaub mal ansehen. Solange es so läuft, lass es fürs erste so laufen

Naja - ob das jetzt elegant ist, weiß ich nicht
Immerhin sollte es mit v1.6.6 dann behoben sein (nebenbei konnte das auch passieren, wenn der Adapter gleich am 1. Tag installiert wurde und er versucht hätte, die Informationen des Vortages abzurufen oder auch des Vormonats, etc.).

Version sollte "bald" als Update auftauchen (hoffentlich klappt das auch, wenn das letzte Update über Github forciert wurde aus einem anderen Repo).
@DiMe

[oxident]

@nobl Danke, dass Du Dich entschieden hast, die manuelle Ladung zu ermöglichen.

Das gibt dem Speicher zumindest noch einen gewissen "Restwert"

Cool wäre natürlich, wenn man auch einfach nur die Entladung blockieren könnte. Aber das gibt die lala wohl nicht her.

[nobl]

@oxident sagte in [Neuer Adapter] Senec Home Adapter:

@nobl Danke, dass Du Dich entschieden hast, die manuelle Ladung zu ermöglichen.

Das gibt dem Speicher zumindest noch einen gewissen "Restwert"

Cool wäre natürlich, wenn man auch einfach nur die Entladung blockieren könnte. Aber das gibt die lala wohl nicht her.

Es gab früher mal noch 2 weitere Optionen in diesem Menü, die genau das ermöglicht hätten. Leider weiß ich nicht mehr, wie genau die angesteuert wurden. (Oder wie die Menüpunkte genau benannt waren ...)

Genauso wie man das Peakshaving lokal sehr elegant steuern konnte, gab es das auch. Also muss das eigentl. gehen. (in der Source hab ich vor längerer Zeit mal noch die Fragmente des Peakshaving Menüs gefunden - vielleicht mag sich mal jemand auf die Suche machen, ob es das auch fürs Entladen noch gibt.)

[oxident]

@nobl Ahh, Du meinst Testladung und -entladung im Installateurmodus? Funktioniert hat die bei mir noch nie