Panasonic Wärmepumpenmanager, Script / Ideen gesucht

sonny

Danke dir :) - hab einen Ordner "test" bei userdata erstellt.
Das Script eingefügt (Noch ohne dem log(response.data) ), Starten lassen. Gibt folgende Fehler aus :

Screenshot 2024-01-13 141914.png

Vorher hab ich den HTML to json parser in der Javascript instanz hinzugefügt...

ticaki

@sonny

Das ist ein Typescript Typescript Typescript Typescript :P

Hier eine Funktionierende Version, alles was jetzt noch zu testen ist, kann ich nicht testen. Waren noch 2 Fehler drin.

Bildschirmfoto 2024-01-13 um 14.40.19.png

const ip = '192.168.8.165';
const prefix = '0_userdata.0.test'; // wird erstellt oder erweitert bei jedem durchlauf
const channelName = 'My great channel';

const axios = require('axios');
const { HTMLToJSON } = require('html-to-json-parser');

let values: any = {};
async function main() {
    const result = axios(`http://${ip}`);
    if ( result && result.data) {
        for (const r of db) {
            const match = result.data.match(r);
            if (match && Array.isArray(match) && match.length >= 1) {
                log(`http://${ip}/${match[0]}`)
                const response = await axios(`http://${ip}/${match[0]}`);

                const body = response.data.replace(/\n/gm, '').match(/<body>.*?<\/body>/gm)[0]
                let data
                try {
                    data = await HTMLToJSON(body, false);
                } catch (e) {
                    log(e)
                }
                if (data && data.type == 'body') {
                    let d = data.content;
                    let c = 0;
                    while (c < d.length) {
                        const v = d[c++];
                        if (v.type === 'div') {
                            for (const i of v.content) {
                                if (i.attributes && i.attributes.class == 'dp') {
                                    for (const b of i.content) {
                                        if (b.type) {
                                            let val = b.content.join(' ').match(/ [0-9\.,]+/);
                                            let end = '';
                                            if (!val || isNaN(val.join(''))) val = b.content.join(' ');
                                            else {
                                                end = '_' + b.content.join(' ').replace(val, '');
                                                val = parseFloat(val[0]);
                                            }
                                            values[(b.attributes.href + end).replace(/^.*?sessionid\=[0-9A-Z]+\&id\=/, '').replace(/[^_\-/:!#$%&()+=@^{}|~\p{Ll}\p{Lu}\p{Nd}]+/gu, '_')] = val;
                                        }
                                    }
                                }
                            }

                        }
                    }
                }
            }
        }
    }
    for (const id in values) {
        const val = values[id];
        await extendObjectAsync(`${prefix}`,{type: 'channel', common:{name: channelName}});
        if (!existsState(`${prefix}.${id}`)) await createStateAsync(`${prefix}.${id}`, val, {name: 'no description', role: typeof val === 'string' ? 'text' : 'value', type: typeof val, read: true, write: false})
        await setStateAsync(`${prefix}.${id}`, val, true);
    }
}


const db: RegExp[] = [
    /v107000\.rsp\?sessionid=[0-9A-Z]+/,
    /v21\.rsp\?sessionid=[0-9A-Z]+/,
    /v50\.rsp\?sessionid=[0-9A-Z]+/  
]

main();

ticaki

Noch als Hinweis.

Du kannst bei den States den Namen im Objektbrowser vergeben, damit du weißt was was ist. Die werden nicht überschrieben. Den Namen des übergeordenten Channels und auch dessen ID wird im Skript bestimmt und dessen name wird immer vom Skript überschrieben(id ist die 1. Spalte, name die 2. in der Objektansicht)

EDIT: Die Ids werden gegen verbotene chars gecheckt. z.B. 0_userdata.0.test.102:2_2_1_4 findest du im html code wenn du nach 102:2.2.1.4 suchst.

EDIT2: Wenn du das in Intervalen ausführen willst ersetzt das main() in der letzten Zeile durch schedule('* * * * *', main) für jede Minute - schedule('*/10 * * * *', main) für alle 10 Minuten und schedule('1 * * * *', main) für jede Stunde

sonny

@ticaki

Ach ein Type ist das, ach herrje.
Okay, das wurde ausgeführt, ohne Fehler.

Ich hab den Ordner /Userdata/0/test gelöscht.

Soweit ich sehe läuft das Script :) :) :) , Fehler stehen keine Im Log, nur finde ich nirgendwo den Datenordner (leg ich "test" von hand an , bleibt er leer- und lösch ich ihn, sollte er lt. deinem kommentar im code neu erstellt / erweitert werden, was nicht passiert soweit)

Läuft dieses Script mit einem Cron (schedule) ? So alle 60 sekunden automatisch einmal durch ?
LG und danke derweil

ticaki

@sonny
in deinem LOG müssten 3 Einträge mit http:// sein vom skript. Ruf die mal im Browser auf. Falls nicht, füge mal hier das log ein und poste den eintrag:

const result = axios(`http://${ip}`);
log(result.data)
if ( result && result.data) {

sonny

@ticaki

Ne, da seh ich nur das, und das bleibt so (unverändert)
Screenshot 2024-01-13 145527.png

ticaki

@sonny
siehe eedit

sonny

@ticaki

hab das "log (result.data)" im Code hinzugefügt an entsprechender Stelle:
Screenshot 2024-01-13 150154.png

Log selber meldet mir dabei "undefined"

ticaki

@sonny
Sry och ne... hab beim Entfernen der Auskommentierung nach dem Test auch das await gelöscht. moment edit kommt gleich

const ip = '192.168.8.165';
const prefix = '0_userdata.0.test'; // wird erstellt oder erweitert bei jedem durchlauf
const channelName = 'My great channel';

const axios = require('axios');
const { HTMLToJSON } = require('html-to-json-parser');

let values: any = {};
async function main() {
    const result = await axios(`http://${ip}`);
    if ( result && result.data) {
        for (const r of db) {
            const match = result.data.match(r);
            if (match && Array.isArray(match) && match.length >= 1) {
                log(`http://${ip}/${match[0]}`)
                const response = await axios(`http://${ip}/${match[0]}`);

                const body = response.data.replace(/\n/gm, '').match(/<body>.*?<\/body>/gm)[0]
                let data
                try {
                    data = await HTMLToJSON(body, false);
                } catch (e) {
                    log(e)
                }
                if (data && data.type == 'body') {
                    let d = data.content;
                    let c = 0;
                    while (c < d.length) {
                        const v = d[c++];
                        if (v.type === 'div') {
                            for (const i of v.content) {
                                if (i.attributes && i.attributes.class == 'dp') {
                                    for (const b of i.content) {
                                        if (b.type) {
                                            let val = b.content.join(' ').match(/ [0-9\.,]+/);
                                            let end = '';
                                            if (!val || isNaN(val.join(''))) val = b.content.join(' ');
                                            else {
                                                end = '_' + b.content.join(' ').replace(val, '');
                                                val = parseFloat(val[0]);
                                            }
                                            values[(b.attributes.href + end).replace(/^.*?sessionid\=[0-9A-Z]+\&id\=/, '').replace(/[^_\-/:!#$%&()+=@^{}|~\p{Ll}\p{Lu}\p{Nd}]+/gu, '_')] = val;
                                        }
                                    }
                                }
                            }

                        }
                    }
                }
            }
        }
    }
    for (const id in values) {
        const val = values[id];
        await extendObjectAsync(`${prefix}`,{type: 'channel', common:{name: channelName}});
        if (!existsState(`${prefix}.${id}`)) await createStateAsync(`${prefix}.${id}`, val, {name: 'no description', role: typeof val === 'string' ? 'text' : 'value', type: typeof val, read: true, write: false})
        await setStateAsync(`${prefix}.${id}`, val, true);
    }
}


const db: RegExp[] = [
    /v107000\.rsp\?sessionid=[0-9A-Z]+/,
    /v21\.rsp\?sessionid=[0-9A-Z]+/,
    /v50\.rsp\?sessionid=[0-9A-Z]+/  
]

main();

sonny

@ticaki

Bitteschön :
script.js.Statische_Scripte.Wärmepumpe: http://192.168.8.165/v107000.rsp?sessionid=5A5B0295

Eine am Deckel krieg ich aber auch :
Screenshot 2024-01-13 145527.png

ticaki

@sonny

Funktioniert die url in deinem browser?

sonny

@ticaki

Ja, was mich wundert (Mein Computer hat ne andere IP Adresse in meinem Netzwerk als der Iobroker Raspberry, ich müsste normalerweise vom Pumpenmanager nen Tritt in den Hintern bekommen oder eine neue Session ID)

Scheint aber zu funktionieren Siehe:

Screenshot 2024-01-13 151332.png

ticaki

@sonny

Ich füge mal unterschämt viele Debuglog einträge hinzu - 5-10 Minuten

sonny

@ticaki

Ich stell 2 Kaffee in den Raum hier inzwischen !

ticaki

@sonny

Hab den schedule eingebaut, dauert bis zur vollen Minute bevor es durchläuft.

brauche 3 Logeinträge vor dem Fehler.

const ip = '192.168.8.165';
const prefix = '0_userdata.0.test'; // wird erstellt oder erweitert bei jedem durchlauf
const channelName = 'My great channel';
const interval = '* * * * *';
const DEBUG = true


const axios = require('axios');
const { HTMLToJSON } = require('html-to-json-parser');

let values: any = {};
async function main() {
    const result = await axios(`http://${ip}`);
    if ( result && result.data) {
        logDebug(`Get data from http://${ip}`);
        logDebug(``);
        for (const r of db) {
            const match = result.data.match(r);
            if (match && Array.isArray(match) && match.length >= 1) {
                log(`http://${ip}/${match[0]}`)
                const response = await axios(`http://${ip}/${match[0]}`);
                if (response && response.data) {
                    logDebug(`Get data from http://${ip}/${match[0]}`);
                    const body = response.data.replace(/\n/gm, '').match(/<body>.*?<\/body>/gm)[0]
                    let data
                    try {
                        data = await HTMLToJSON(body, false);
                    } catch (e) {
                        log(e)
                    }
                    if (data && data.type == 'body') {
                        logDebug(`Parse data ok, found body`);
                        let d = data.content;
                        for (const c in d) {
                            const v = d[c];
                            if (v.type === 'div') {
                                logDebug(`div found`);
                                for (const i of v.content) {
                                    if (i.attributes && i.attributes.class == 'dp') {
                                        logDebug(`class db found`);
                                        for (const b of i.content) {
                                            if (b.type) {
                                                logDebug(`type ${b.type} found`);
                                                let val = b.content.join(' ').match(/ [0-9\.,]+/);
                                                let end = '';
                                                logDebug(val);
                                                if (!val || isNaN(val.join(''))) val = b.content.join(' ');
                                                else {
                                                    end = '_' + b.content.join(' ').replace(val, '');
                                                    val = parseFloat(val.join(''));
                                                }
                                                values[(b.attributes.href + end).replace(/^.*?sessionid\=[0-9A-Z]+\&id\=/, '').replace(/[^_\-/:!#$%&()+=@^{}|~\p{Ll}\p{Lu}\p{Nd}]+/gu, '_')] = val;
                                            }
                                        }
                                    }
                                }

                            }
                        }
                    } else logDebug(`${data ? 'Parse data ok' : 'Parse data failed!'}, ${data.type == 'body' ? 'body found' : 'body not found'}`);
                } else logDebug(`Don't get data from http://${ip}/${match[0]}`);
            }
        }
    } else logDebug(`Don't get data from http://${ip}`);
    for (const id in values) {
        const val = values[id];
        await extendObjectAsync(`${prefix}`,{type: 'channel', common:{name: channelName}});
        if (!existsState(`${prefix}.${id}`)) await createStateAsync(`${prefix}.${id}`, val, {name: 'no description', role: typeof val === 'string' ? 'text' : 'value', type: typeof val, read: true, write: false})
        await setStateAsync(`${prefix}.${id}`, val, true);
    }
}

function logDebug(l: string): void {
    if (DEBUG) log(l);
}

const db: RegExp[] = [
    /v107000\.rsp\?sessionid=[0-9A-Z]+/,
    /v21\.rsp\?sessionid=[0-9A-Z]+/,
    /v50\.rsp\?sessionid=[0-9A-Z]+/  
]

schedule(interval, main);

sonny

@ticaki

Screenshot 2024-01-13 145527.png

Das kommt raus dabei ...

Hab 4 Durchläufe durch, Session ID ändert sich brav mit (Einmal pro Minute geht sich aus, mehr wie 3 Sitzungen, wo ich nicht wusste wann er die letzte "vergisst" mag er nicht)

Also soweit:
script.js.Statische_Scripte.Wärmepumpe: Get data from http://192.168.8.165/v107000.rsp?sessionid=0417D206

klappt es

ticaki

@sonny

Ja ich weiß wo der Fehler liegt, aber muß rumprobieren wie ich ihn behebe. die Regex kommt mit den Zeilenumbrüchen nicht klar und das entfernen sebiger hat scheinbar nicht geholfen.

const ip = '192.168.8.165';
const prefix = '0_userdata.0.test'; // wird erstellt oder erweitert bei jedem durchlauf
const channelName = 'My great channel';
const interval = '* * * * *';
const DEBUG = true


const axios = require('axios');
const { HTMLToJSON } = require('html-to-json-parser');

let values: any = {};
async function main() {
    const result = await axios(`http://${ip}`);
    if ( result && result.data) {
        logDebug(`Get data from http://${ip}`);
        logDebug(``);
        for (const r of db) {
            const match = result.data.match(r);
            if (match && Array.isArray(match) && match.length >= 1) {
                log(`http://${ip}/${match[0]}`)
                const response = await axios(`http://${ip}/${match[0]}`);
                if (response && response.data) {
                    logDebug(`Get data from http://${ip}/${match[0]}`);
                    let body = response.data.replace(/\n/gm, '').match(/<body>.*?<\/body>/gms)
                    if (body || Array.isArray(body) ) {
                        body = body[0];
                    }
                    if (!body) {
                        log('Regex: Body not found', 'error');
                        continue;
                    }
                    let data
                    try {
                        data = await HTMLToJSON(body, false);
                    } catch (e) {
                        log(e)
                    }
                    if (data && data.type == 'body') {
                        logDebug(`Parse data ok, found body`);
                        let d = data.content;
                        for (const c in d) {
                            const v = d[c];
                            if (v.type === 'div') {
                                logDebug(`div found`);
                                for (const i of v.content) {
                                    if (i.attributes && i.attributes.class == 'dp') {
                                        logDebug(`class db found`);
                                        for (const b of i.content) {
                                            if (b.type) {
                                                logDebug(`type ${b.type} found`);
                                                let val = b.content.join(' ').match(/ [0-9\.,]+/);
                                                let end = '';
                                                logDebug(val);
                                                if (!val || isNaN(val.join(''))) val = b.content.join(' ');
                                                else {
                                                    end = '_' + b.content.join(' ').replace(val, '');
                                                    val = parseFloat(val.join(''));
                                                }
                                                values[(b.attributes.href + end).replace(/^.*?sessionid\=[0-9A-Z]+\&id\=/, '').replace(/[^_\-/:!#$%&()+=@^{}|~\p{Ll}\p{Lu}\p{Nd}]+/gu, '_')] = val;
                                            }
                                        }
                                    }
                                }

                            }
                        }
                    } else logDebug(`${data ? 'Parse data ok' : 'Parse data failed!'}, ${data.type == 'body' ? 'body found' : 'body not found'}`);
                } else logDebug(`Don't get data from http://${ip}/${match[0]}`);
            }
        }
    } else logDebug(`Don't get data from http://${ip}`);
    for (const id in values) {
        const val = values[id];
        await extendObjectAsync(`${prefix}`,{type: 'channel', common:{name: channelName}});
        if (!existsState(`${prefix}.${id}`)) await createStateAsync(`${prefix}.${id}`, val, {name: 'no description', role: typeof val === 'string' ? 'text' : 'value', type: typeof val, read: true, write: false})
        await setStateAsync(`${prefix}.${id}`, val, true);
    }
}

function logDebug(l: string): void {
    if (DEBUG) log(l);
}

const db: RegExp[] = [
    /v107000\.rsp\?sessionid=[0-9A-Z]+/,
    /v21\.rsp\?sessionid=[0-9A-Z]+/,
    /v50\.rsp\?sessionid=[0-9A-Z]+/  
]

schedule(interval, main);

Jetzt gibts nicht mehr den großen Fehler sondern nur noch welche die zeigen das die Regex noch immer nicht funktioniert.

sonny

@ticaki

Ich kann dir hier vielleicht helfen: fängst du mit Python etwas an ?
Es gibt jemanden aus dem Haustechnikdialog , der das mit Python geschafft hat, vermutlich eh auf gleichem Weg wie du hier:
Ich füg hier ein Codebeispiel ein- Eigentum "Ladyshave" aus dem Haustechnikforum. (Ist öffentlich , ich hoffe man hat nichts dagegen wenn ich mir den für Demonstrationszwecke ausborge)

[code]
####################################################
# Script zum Auslesen des HPM Waermepumpenmanagers #
# getestete Firmware H1.1.20 vom 22.01.2015 #
# #
# programmed by ladyshave ;-) #
####################################################
# V1.0 vom 14.03.2016 #
####################################################

import requests

#ip-Adresse des HPM
website="http://192.168.101.10"

#Auslesen der Daten und Aufbereiten
t = requests.get(website)
url = t.url
print (url)

#holen der SessionID für die Sitzung
sessionid = url[39:47]
print (sessionid)

#URLs mit SessionID basteln:
url_wp= "http://192.168.101.10/v21.rsp?sessionid=" + sessionid
url_bw= "http://192.168.101.10/v107000.rsp?sessionid=" + sessionid
url_pu= "http://192.168.101.10/v100100.rsp?sessionid=" + sessionid
url_hk1= "http://192.168.101.10/v30.rsp?sessionid=" + sessionid
url_hk2= "http://192.168.101.10/v3.rsp?sessionid=" + sessionid

#Daten der Seiten abholen
daten_wp = requests.get(url_wp)
daten_bw = requests.get(url_bw)
daten_pu = requests.get(url_pu)
daten_hk1 = requests.get(url_hk1)
daten_hk2 = requests.get(url_hk2)

#Test Augabe der Website als Text
#print (daten_wp.text)
#print (daten_bw.text)
#print (daten_pu.text)
#print (daten_hk1.text)
#print (daten_hk2.text)

#Funktion zum Auslesen der Daten aus der Seite
def daten_lesen(text, suchstring, bezeichnung):
index = text.find(suchstring) #Anfangsindex im String suchen
indexend = text.find("</a>", index) #Endindex im String suchen
#print (index)
#print (indexend)
if index == -1:
return -1
index = index + 14 #Index nach ID setzen
i=0
rueckgabe=""
laenge = indexend-index #laenge des Index berechnen
while i != laenge: #Schleife ueber laenge
# falls Zahl im Namen wird dies mit isalpaha() ausgeblendet
# ansonsten Zahl oder "." oder "-"schreiben
if text[index + i-1].isalpha() == False and (text[index + i].isdigit() == True or text[index + i] == "." or text[index + i] == "-"):
rueckgabe = rueckgabe + text[index + i]
i = i + 1 #naechter bitte
return (bezeichnung + ":" + rueckgabe) #Rueckgabe des Textes

#id=126:6.6.22">Freq 0</a>
#id=110:6.6.5">SollwertBW 2 °C
#id=109:6.6.4">SollwertHK 2 °C</a>
#Vorlauf id=111:6.6.6"> 29 °C</a>
#Ruecklauf id=112:6.6.7"> 29 °C</a>
print (daten_lesen (daten_wp.text, "id=126:6.6.22", "WP_Freq"))
print (daten_lesen (daten_wp.text, "id=110:6.6.5", "WP_SollBW"))
print (daten_lesen (daten_wp.text, "id=109:6.6.4", "WP_SollHK"))
print (daten_lesen (daten_wp.text, "id=111:6.6.6", "WP_Vorl"))
print (daten_lesen (daten_wp.text, "id=112:6.6.7", "WP_Rueckl"))

#Pufferdaten auslesen:
#Istwert id=61:6.5.5"> 32.0 °C</a>
#Sollwert id=59:6.5.3">SW-Zone1 32.4 °C</a>
print (daten_lesen (daten_pu.text, "id=61:6.5.5", "PU_Istwert"))
print (daten_lesen (daten_pu.text, "id=59:6.5.3", "PU_Sollwert"))

#Brauchwasser:
#Istwertid=38:6.4.8"> 42.0 °C</a>
#Sollwertid=37:6.4.7">SW-Spei 45.0 °C</a>
print (daten_lesen (daten_bw.text, "id=38:6.4.8", "BW_Istwert"))
print (daten_lesen (daten_bw.text, "id=37:6.4.7", "BW_Sollwert"))

#HK1
#Istwert id=13:6.2.12"> 22.7 °C</a>
#Sollwert id=12:6.2.11">SW-Vorl 30.9 °C</a>
#Ausstemp id=9:6.2.8"> 2.0 °C</a>
print (daten_lesen (daten_hk1.text, "id=13:6.2.12", "HK1_Istwert"))
print (daten_lesen (daten_hk1.text, "id=12:6.2.11", "HK1_Sollwert"))
print (daten_lesen (daten_hk1.text, "id=9:6.2.8", "HK1_Aussen"))

#HK2
#Istwert id=27:6.3.12"> 30.7 °C</a>
#Sollwert id=26:6.3.11">SW-Vorl 31.0 °C</a>
print (daten_lesen (daten_hk2.text, "id=27:6.3.12", "HK2_Istwert"))
print (daten_lesen (daten_hk2.text, "id=26:6.3.11", "HK2_Sollwert"))
[/code]

und hier ein Forumsbeitrag, sehr versprechend, mit selbigem Projekt: Da gabs ne Lösung dazu (aus der ich natürlich absolut nicht schlau werd)
https://www.loxforum.com/forum/german/software-konfiguration-programm-und-visualisierung/35354-web-interface-einer-panasonic-lwp-mit-hpm-über-virtuelle-http-eingänge-einlesen

Die Infos hab ich in vergangenheit zusammengekrazt, es war alles was ich finden konnte darüber

LG und danke derweil für alles !

Screenshot 2024-01-13 145527.png

ticaki

@sonny
Erstmal kann ich python nicht leiden und die Arbeit mache ich mir für einen Adapter und dann bis du das Opfer :D

bitte probiere noch meinen Code aus ich will das mit der RegEx noch probieren (vorheriger Beitrag) wenn nicht klappt mache ich es auf dem langweiliigen weg.

EDIT: gehts?

sonny

@ticaki

Moment ich hab das Script gerade gestartet, der Ordner wurde erstellt.
Ich gleich das eben ab und "suche" nach fehler :) Das Log wird halt überfüllt, das unmengen "gefunden" wurde .aber Infos, keine Fehler.

Opfer immer gern, für die Entwicklung sowieso. Soll ja jedem helfen.

Community Forum

NEWS

Panasonic Wärmepumpenmanager, Script / Ideen gesucht

Support us

816

32.4k

81.6k

1.3m