NEWS
Datenpunkte in JSON aufbereiten [gelöst]
-
@moppedman sagte in Datenpunkte in JSON aufbereiten:
Hi @mickym
das letzte was ich will, ist mich hier im Forum in meiner Freizeit zu streiten. Wie gesagt habe ich keine Erfahrung mit NodeRed und wenn du gute Erfahrungen damit hast ist es doch gut. Ich wollte mit meiner Antwort KEINEN Versuch starten NodeRed schlecht zu reden oder dir madig zu machen.
Kam halt auch schräg rüber - weil Du dann noch mit "30 Jahren Assembler & Pascal programmiert" - wohl Deine Kompetenz unterstreichst. Deshalb habe ich entsprechend geantwortet, dass ich vor 30 Jahren zum Organistationsprogrammierer mit entsprechenden Sprachen ausgebildet wurde. Solche Kompetenzspielchen kommen bei mir nu mal schlecht an.
Wenn du dir meine Fragen anschaust geht es dort vorrangig um einen sinnvollen Aufbau des JSON Array und nicht die Programiersprache mit der ich es beschreibe. Wenn du mir da helfen könntest würde ich mich freuen.
Gruß Ralf
Ich habe nur gesagt, dass mit NR der Aufbau aus einem Javascript Objekt eben mit bestimmten Nodes sehr einfach zu realisieren ist.
Grundsätzlich würde ich das JSON anders aufbauen - Du machst ja aus dem JSON mit Deinen Vorschlägen nur halb Gebrauch:
Die Datenpunkte der Monate müssen neutral gehalten werden - also ohne Jahreszahl - dann kann man sie auch wieder verwenden.Ist mein Ansatz für euch nachvollziehbar und für euch richtig?
Wenn Du es so möchtest. :face_with_rolling_eyes: - Einen komplett anderen Ansatz nämlich in CSV Dateien zu schreiben - bzw. alles automatisch den iobroker erledigen lassen über den SQL Adapter in mySQL zu schreiben, siehst Du am Schluß .
Würdet ihr alle Jahre in eine JSON Datei schreiben oder besser pro Jahr eine anlegen?
Aus meiner Sicht fast egal - mit leichter Tendenz alles in eine Datei zu schreiben - dann muss man nichts zusammensuchen
Wenn alles in einer : Würdet ihr die JSON Liste nach Monaten (a.) oder Jahren (b) aufbauen
Nach Jahren - dann braucht man es auch nur 1 mal im Jahr wegschreiben. Allerdings nicht mit Jahreszahlen in den Eigenschaften der Objekte
Also statt sowas
b. GAS-Month :{ Jan2021:Wert, Feb2021:Wert, Mrz2021:Wert………. u.s.w.}
:{ Jan2022:Wert, Feb2022:Wert, Mrz2022:Wert ………. u.s.w.}
dann lieber richtige JSON Objekte schreiben:
GAS-Month :{2021{Januar:Wert, Februar:Wert, März:Wert, ...},2022{Januar:Wert, Februar:Wert, März:Wert, ...}, ...}
Das kann man dann auch als JSON String in einen DP schreiben und dann jedes Jahr ergänzen.
Damit brauchst Du nur die DP Januar-Februar und einen DP Jahr in dem die Jahreszahl drin steht und einen DP in dem Du den gesamten JSON Monatsverbrauch reinschreibst.
Der DP mit der Jahreszahl triggert Dein Blockly, Flow, Script und einmal im Jahr wird Dein JSON um ein weiteres Jahresobjekt ergänzt. Sprich Du liest den DP - wandelst es in ein JS Objekt um und ergänzt es um ein Jahresobjekt.
Kann ich gezielt in das JSON Array schreiben oder muss ich das immer gesamt neu zusammensetzten und ablegen
Du kannst auch ein Array aus Jahresobjekten machen - mir egal - wandelst es dann wieder in JSON String um und schreibst es wieder in DP. Also gezielt kann man ein JSON parsen - in ein JS Array mit Push schreiben und dann stringfy - st Du es wieder. Blockly kann das auch mit Boardmitteln und NodeRed selbstverständlich auch.
Hat einer zufällig ähnliches gemacht und hat ein Basis JS das ich verwenden könnte.
Hab ich nicht - aber von einer einfach Alternative mit NodeRed scheinst Du nicht begeistert zu sein.
Solle jemand einen Lösung mit Blockly habe nehme ich natürlich auch gerne.
@liv-in-sky hat Dir ja ein Blockly geschrieben - also brauch ich mir da ja keine Mühe mehr zu machen.
Ich möchte später die verschiedenen Jahre dann nebeneinander zeigen. In meiner handgeführten EXCEL List sieht das so aus
Nun schreibst Du ja nicht, wie Du es in Zukunft machen willst - ob weiterhin in Excel oder nicht.
Falls in Excel - dann hab ich hier noch eine Lösung - aber leider wieder in einer von Dir - nach Malen mit Zahlen - implementierten Tool:Hier ein fertiger mit bunten Kästchen erstellter Flow ;), der aus bestehenden Datenpunkten in eine CSV Datei schreibt, die man dann in Excel direkt bearbeiten kann - aber das nur am Rande: https://forum.iobroker.net/topic/49120/datenpunkt-in-log-oder-csv-file-schreiben/3?_=1636967115461
Und zu allerletzt - um noch eine Alternative zu nennen - die eigentlich alles fertig für Dich macht?
- Warum installierst nicht den History Adapter - oder wie ich das mache - den SQL Adapter schreibst in eine Datenbank. Das gibts schon fix und fertig in iobroker vorbereitet und ist eine Stärke des Systems.
Ich habe bewusst mySQL genommen - da es hierfür ein Add-In in Excel gibt - dass Dir dann leicht diese Werte in Excel - quasi auf Knopfdruck importieren lässt. Ausserdem kann man dann auch die Grafiktools wie Flot und Grafana nehmen um die Werte direkt - also automatisiert ohne Dazutun in Balkendiagrammen dynamisch anzeigen zu lassen.
Das aber nur als grundsätzlich Alternativen. So wie Du schreibst - willst Du das alles lieber selbst machen - und hast Dich ja auf JSON Strings festgelegt.
Danke für die ausführliche Antworten
Bevor ich darauf eingehe, ist unser Start das beste Beispiel dafür das der Empfänger einer Kommunikation darüber entscheidet was er versteht und nicht der Sender mit dem was er hofft zu schreiben. Ich hätte wohl besser formuliert.....
... habe seit 30 Jahren NICHT mehr programmiert...In der Zeit hat sich die IT rasend entwickelt und viele Begriffe wie Web Services, Objekt Orientierte Programmierung, HTML, XML, CSS, JSON usw. kann ich trotz meiner Zeit von damals nur halbwegs sicher einordnen. Ich bin also ganz im Gegenteil wie von dir verstanden kein Profi mit viel Erfahrung.
Beziehe auch @OliverIO mit ein da er ja auch kommentiert hat.
- History / SQL adapter
Ich habe beide laufen und schreibe die Verbauchsdaten dort auch weg. Bei der ViSu habe ich am Anfang einzelne FLOT Diagramme erstellt die auf die DB zugreifen und die dann aufgerufen. Später bin ich aber auf die weit dynamischeren Widgets von @Scrounger umgestiegen der da für mich klasse Arbeit gemacht hat.
In der DB liegen also die Verbäuche welche bei Veränderung kontinuierlich weitergeschrieben werden. Bei Gas ist das der Verbrauch in m³ vom Zähler, wobei mein Gasversorger aber in ct / kWh zzgl. Monatspauschale abrechnet. In einem Blockly berechne ich die monatlichen Verbäuche (in m³ und kWh) und die daraus resultierenden Kosten welche ich dann (noch) in eigene Datenpunkte wegschreibe.
Nur diese berechneten Datenpunkte will ich nicht für jedes Jahr/Monat neu anlegen sondern hatte gedacht diese gesammelt in einem JSON String abzuspeichern. JSON deshalb weil SCROUNGER auch das "JSON Chart" widget gebaut hat, mit dem ich Grafiken noch individueller zusammenbauen könnte. Ich muss mich allerdings erst noch eingehender mit diesem Widget beschäftigen wie es die Daten aufbereitet benötigt.
Mir ist klar das ich diese Berechnung prinzipell auch mit SQL machen könnte, habe da aber auch keine Erfahrung mit. Daher ist es sehr warscheinlich das ihr das viel schneller und besser über SQL hinbekommt als ich mit meinen heutigen Möglichkeiten. Sicherlich ein weiteres Thema das ich mir bei Gelegenheit erarbeiten sollte.
- JSON Array
Beim Aufbau des JSON Array fehlte mir einfach die Erfahrung die Frage richtig zu formulieren und die Syntax fachgerecht zu verwenden.
Ich werde eurem Rat folgen richtige JSON Objekte aufzubauen. Ich werde dann mal ein wenig rumspielen ob ich einzelne JSON Strings pro Jahr als DP ablege oder mehrere Jahre in einem String konsolidiere.
@liv-in-sky hat mir ja ein Blockly mit JS Funktion geschickt die das steuert. Da kann ich mal gut dran üben
- CSV / EXCEL
CSV wäre eine Alternative für die reine Datenablage und im Austausch mit EXCEL sicherlich sehr gut. Mein Hand-EXCEL Liste will ich aber wenn möglich los werden.
Danke für eure ausführliche Hilfe
- Warum installierst nicht den History Adapter - oder wie ich das mache - den SQL Adapter schreibst in eine Datenbank. Das gibts schon fix und fertig in iobroker vorbereitet und ist eine Stärke des Systems.
-
Das funktioniert bei mir auch, habe aber folgende Fragen zum Verständis wann und warum du Konvertierungen einsetzt.
Am Anfang weist du der Variable "existingData" einen Wert zu und setzt dabei einen String (JSON ??) über eine Konvertierung JSON zu Objekt ein.
- Warum setzt du hier eine Konvertierung ein ?
Im weiteren Verlauf wenn du ein neues Jahr anlegst übergibst du "exsistingArr" den Inhalt von "existingData" wobei du KEINE Konvertierung verwendest.
Beim Schreiben der einzelnen Monate jedoch übergibst du "exsistingArr" den Inhalt von "existingData" MIT Konvertierung.
Warum ist das so ?
-
Das funktioniert bei mir auch, habe aber folgende Fragen zum Verständis wann und warum du Konvertierungen einsetzt.
Am Anfang weist du der Variable "existingData" einen Wert zu und setzt dabei einen String (JSON ??) über eine Konvertierung JSON zu Objekt ein.
- Warum setzt du hier eine Konvertierung ein ?
Im weiteren Verlauf wenn du ein neues Jahr anlegst übergibst du "exsistingArr" den Inhalt von "existingData" wobei du KEINE Konvertierung verwendest.
Beim Schreiben der einzelnen Monate jedoch übergibst du "exsistingArr" den Inhalt von "existingData" MIT Konvertierung.
Warum ist das so ?
- ich habe einfach mal ein json-string (text) zum anfang als grunddaten gewählt
- die function braucht ein json-objet und gibt ein json-string aus
- zum bearbeiten brauche ich aber ein json-object (konvertierung) - aber aus gewohnheit kommt wieder ein json-string aus der funktion (ohne die wandlung beim return in der function, könnte ich mit dem object direkt weiterarbeiten
- am ende schreibe ich dann einen json-string in einen string-datenpunkt - so ist das ganze lesbar im dp
- wenn man das ganze nicht mit der grunddaten-variable macht, sondern immer wieder vom dp ausliest, braucht es beim getstate auch eine konvertierung in ein json-object
normalerweise, so dachte ich, machst du das einmal im monat und im januar zusätzlich einmal
du rufst also die function einmal im monat auf, holst aus dem dp ein json-string, konvertierst zu json object, übergibst das der function und sicherst das ergebnis der funktion direkt, ohne konvertierung, in den dp (das macht ja dir funktion) -
Das funktioniert bei mir auch, habe aber folgende Fragen zum Verständis wann und warum du Konvertierungen einsetzt.
Am Anfang weist du der Variable "existingData" einen Wert zu und setzt dabei einen String (JSON ??) über eine Konvertierung JSON zu Objekt ein.
- Warum setzt du hier eine Konvertierung ein ?
Im weiteren Verlauf wenn du ein neues Jahr anlegst übergibst du "exsistingArr" den Inhalt von "existingData" wobei du KEINE Konvertierung verwendest.
Beim Schreiben der einzelnen Monate jedoch übergibst du "exsistingArr" den Inhalt von "existingData" MIT Konvertierung.
Warum ist das so ?
@moppedman sagte: Warum setzt du hier eine Konvertierung ein ?
Man kann in Blockly keine Objekte durch direkte Eingabe erstellen, aber einen String im JSON-Format, der in ein Objekt gewandelt werden kann.
-
- ich habe einfach mal ein json-string (text) zum anfang als grunddaten gewählt
- die function braucht ein json-objet und gibt ein json-string aus
- zum bearbeiten brauche ich aber ein json-object (konvertierung) - aber aus gewohnheit kommt wieder ein json-string aus der funktion (ohne die wandlung beim return in der function, könnte ich mit dem object direkt weiterarbeiten
- am ende schreibe ich dann einen json-string in einen string-datenpunkt - so ist das ganze lesbar im dp
- wenn man das ganze nicht mit der grunddaten-variable macht, sondern immer wieder vom dp ausliest, braucht es beim getstate auch eine konvertierung in ein json-object
normalerweise, so dachte ich, machst du das einmal im monat und im januar zusätzlich einmal
du rufst also die function einmal im monat auf, holst aus dem dp ein json-string, konvertierst zu json object, übergibst das der function und sicherst das ergebnis der funktion direkt, ohne konvertierung, in den dp (das macht ja dir funktion)@liv-in-sky sagte: ein json-object
Was ist ein json-object?
-
@liv-in-sky sagte: ein json-object
Was ist ein json-object?
du weißt was ich meine - erkläre es einfach so wie es gehört
-
du weißt was ich meine - erkläre es einfach so wie es gehört
@liv-in-sky sagte: erkläre es einfach so wie es gehört
Das habe ich bereits. Man sollte Neulinge nicht durch falsche Begriffe verwirren.
-
@liv-in-sky sagte: erkläre es einfach so wie es gehört
Das habe ich bereits. Man sollte Neulinge nicht durch falsche Begriffe verwirren.
man sollte leute, die versuchen zu helfen, nicht demutivieren
-
man sollte leute, die versuchen zu helfen, nicht demutivieren
@liv-in-sky sagte: man sollte leute, die versuchen zu helfen, nicht demotivieren
Ich hoffe, dass das nicht passiert ist!
-
- ich habe einfach mal ein json-string (text) zum anfang als grunddaten gewählt
- die function braucht ein json-objet und gibt ein json-string aus
- zum bearbeiten brauche ich aber ein json-object (konvertierung) - aber aus gewohnheit kommt wieder ein json-string aus der funktion (ohne die wandlung beim return in der function, könnte ich mit dem object direkt weiterarbeiten
- am ende schreibe ich dann einen json-string in einen string-datenpunkt - so ist das ganze lesbar im dp
- wenn man das ganze nicht mit der grunddaten-variable macht, sondern immer wieder vom dp ausliest, braucht es beim getstate auch eine konvertierung in ein json-object
normalerweise, so dachte ich, machst du das einmal im monat und im januar zusätzlich einmal
du rufst also die function einmal im monat auf, holst aus dem dp ein json-string, konvertierst zu json object, übergibst das der function und sicherst das ergebnis der funktion direkt, ohne konvertierung, in den dp (das macht ja dir funktion)Deine Erklärung das du in der JS Funktion ein Objekt benötigst zusammen mit dem Hinweis von @paul53 das ich aus Blockly ein solches Objekt nicht direkt erzeugen kann hat "den Groschen Fallen lassen".
Du hast auch richtig verstanden, dass ich die Werte monatlich schreiben möchte und daher ist dein Vorschlag direkt umsetztbar. Ich möchte nur einmalig die vorhandenen Datenpunkte der letzten 1,5 Jahre auslesen und diese ebenfalls in JSON übertragen.
Danke für die Hilfe an alle. Mache mich jetzt and die Umsetzung.
