Admin5: Ich kann keine Objekte mehr manuell anlegen

[paul53]

@cash sagte: Es ist halt schade, dass man das früher machen konnte und das System es zugelassen hat…

Das System lässt es immer noch zu, allerdings nur noch für "Experten". Daran wird sich sicherlich auch nichts ändern?

[liv-in-sky]

@cash sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

Ich werde auch einige Monate brauchen und richtig schön finde ich es nicht aber was nützt es? Es ist halt schade, dass man das früher machen konnte und das System es zugelassen hat…

leider geht das nicht über monate bzw ist viel aufwendiger - alles auf einmal oder garnicht - die vis macht das nicht mit, nur einzelene sachen umzustellen - der aufwand wäre um einiges mehr, wenn du das langsam machst - natürlich abhängig davon, was der nutzer konfiguriert hat, da du sonst immer wieder die selben umstellungen (search & replace) machen musst

[liv-in-sky]

@fastfoot sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

@paul53 sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

Ob man aus der letzten Zeile wieder ein Blockly machen kann?

Man kann, ich habe dazu auch schon verschiedene Beiträge gepostet. Die Behandlung ist etwas unterschiedlich je nachdem woher die Daten kommen(Extract aller Skripte, Blockly.js, backup.json). Hier mal für ein Beispiel für eine Blocklydatei im Mirrorpfad. Man könnte diese auch gleich ins System einlesen, ist hier aber nicht gemacht sondern wird als Datei zur Verfügung gestellt. Ist ein Skript aus meiner ersten Zeit mit Javascript.
Pfad und Filename sind in den Zeilen 8 + 9 anzugeben, die Importdaten liegen dann als Datei.xml vor

 /**
 * Zweck:       Extrahiert XML Datei aus Blockly.js im Mirror-Pfad
 * Datum:       08.08.2021
 * Autor:       @fastfoot
 */
var fs = require('fs');

var scriptPath = '/opt/iobroker/scripts/';
var inFile = 'TestXY'

var scriptName1 = scriptPath + inFile + '.js';
var scriptName2 = scriptName1.replace('.js','.xml');

function getXML() {
    fs.readFile(scriptName1, 'utf8',  function(error, data) {
        if(error) log('Fehler beim Lesen von ' + scriptName1, 'error');
        else {
            const pos = data.lastIndexOf('\n');
            if (pos !== -1) {
                data = data.substring(pos + 1);
                if (data[0] === '/' && data[1] === '/') {
                    data = decodeURIComponent(Buffer.from(data.substring(2), 'base64').toString('utf8'));
                    if (data.startsWith('<xml xmlns')) {
                        fs.writeFile(scriptName2, data, function(err) {
                            if(err) return console.log(err);
                        });
                    }
                }
            }
        }
    });
}

getXML();

wußte gar nicht, dass du sowas gemacht hast - muss ich mal testen n - das wäre def. eine große hilfe

könnte man da noch js scripte mit reinbingen, damit dort auch die objecte replaced werden können und eine schleife für einen bestimmten ordner - wie "controll-own.0.xxx"

EDIT: sowas: "filesystem.readdirSync(dir).forEach(function(file) {"

[fastfoot]

@liv-in-sky sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

wußte gar nicht, dass du sowas gemacht hast - muss ich mal testen n - das wäre def. eine große hilfe

da hast du meine Beiträge wohl nicht beachtet, bin ja auch noch nicht soo lange im Forum aktiv. Ausserdem waren das fast alles Antworten auf Probleme Anderer, keine eigenen, als [Skript] gekennzeichnete eigene Threads. Ich finde die teilweise selbst nicht mehr mit der SuFu hier im Forum

könnte man da noch js scripte mit reinbingen, damit dort auch die objecte replaced werden können und eine schleife für einen bestimmten ordner - wie "controll-own.0.xxx"
EDIT: sowas: "filesystem.readdirSync(dir).forEach(function(file) {"

Können täte man, habe mal so einen kompletten Mirrorpfad in mein Testsystem importiert, rein aus Spaß. Ich verstehe allerdings nicht ganz was du konkret vorhast. Wenn du mal so ein Skript posten würdest und was du daran ändern möchtest kann ich gerne mal schauen

[liv-in-sky]

@fastfoot

ich möchte meine datenpunkte von "controll-own.0" nach "0_userdata.0.controll-own." umstellen

normalerweise, wenn ich es sehe, schau ich mir deine sachen gerne an - du hast eigentlich immer gute scripte am start

ich hab auch ein script, dass alle scripte im mirror-pfad einliest und durchsucht - ich suche darin nach datenpunkten und schaue nach, ob die noch existieren (war mal zum testen) cool wäre es, wenn man in den einzelnen scripten die object-pfade ändern könnte - bei mir - alles was "controll-own.0." enthält in "0_userdata.0.controll-own." zu ändern - vorallem auch in blocklys

ich denke, man könnte das evtl mit nodered auch machen (weiß ich nicht - müßte man schauen, wie dort gespeichert wird)

dann noch ein paar adapter settting angleichen und die ganzen vis seiten und fertig ist die umsetellung von "controll-own.0" nach "0_userdata.0.controll-own."

[paul53]

@apollon77 sagte: Nee bitte nicht meta ... Das ist für was anderes

@liv-in-sky sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

@apollon77 was soll ich da reinschreiben ? was hälst du für besser

Das würde mich auch interessieren.

[Abruni]

@homoran said in Admin5: Ich kann keine Objekte mehr manuell anlegen:
könnte?
Und dass ist wovon abhängig, kommt das automatisch mit der Zeit, oder ist das zufällig wie das Wetter? Wird das vorher nochmal kommuniziert, oder trifft es einen dann irgendwann überraschend, dass nichts mehr funktioniert? Gab es da vorher, mal einen Hinweis den ich nicht mitbekommen habe, dass man seine DP zu 0_Userdata umziehen sollte? Und, gibt es dafür evtl. einen Lösungsvorschlag?

[fastfoot]

@liv-in-sky sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

ich möchte meine datenpunkte von "controll-own.0" nach "0_userdata.0.controll-own." umstellen

du kannst doch unmittelbar vor dem Schreiben der XML-Datei ein data.replace(/oldPath/g,newPath) machen. Schwierig wird es mit JS-Funktionen, die sind auch base64 codiert, sollte aber gehen

Hier mal ein kmpl. anderer Ansatz, extrahiert werden alle Skripte aus einer objects.json und wahlweise als Textdatei und/oder ins System geschrieben(mit Endung .bak). Eine Auflistung der Skripte wird in eine json exportiert.

• Backup machen!
• System stoppen(sonst könnte die objects.json beschädigt sein!)
• objects.json nach zB /opt/iobroker/restore im Testsystem kopieren (oder im Produktiv )
• Die Zeilen 8-11 beachten
• Skript laufen lassen und den Export anschauen, danach die Variablen zum Schreiben in eine Datei oder ins System auf true setzen
• evtl. den Lauf auf ein einziges Skript/einzelnen Pfad (Zeile 32) beschränken, sonst wird es schnell unübersichtlich
• Backup nicht vergessen!

habe es nicht mehr extra laufen lassen, sollte aber noch funktionieren, sonst halt melden. Die replace Funktionen sind nicht drin, bei Blockly in handleBlockly() einfach einbauen

Restore von Skripten aus objects.json

/**
* Zweck:   Extract scripts from objects.json
* Datum:   16.11.2020
* Autor:   @fastfoot
*/
const fs = require('fs'),
   path = require('path'),
   restoreToSystemDb = !true,              // lädt die Daten sofort ins System(ACHTUNG! *** auf eigenes Risiko ***)
   restoreAsFile = !true,                  // Datei ins Filesystem schreiben
   pathToRestore = '/opt/iobroker/restore/', // <=== Pfad eintragen mit abschliessendem /
   fileName = 'objects.json';              // Dateiname der objects.json

main(pathToRestore, fileName)

async function main(pathRestore, fileName) {
   let allObjects = {},
       script = {},
       ext = '',
       data = '',
       resultText = 'Gefundene Skripte ' + formatDate(new Date().getTime(),'DD.MM.YYYY hh:mm') + '\n\n',
       res = {};

   try {
       allObjects = JSON.parse(fs.readFileSync(pathRestore + fileName, 'utf8'))
   } catch (e) {
       log(`Fehler beim Lesen von ${fileName} in ${pathRestore}: ` + e, "error")
   }
   let i = 0;
   for (let key in allObjects) {
       script = allObjects[key];
       if (script.type == 'script') {
           if (!existsObject(key)  && restoreToSystemDb) {
               script.common.name += '.bak';
               setObject(key, { type: script.type, common: script.common });
               //setObject(key, allObjects[key]);
           }
           if (restoreAsFile) {
               data = script.common.source;
               switch (script.common.engine.toLowerCase()) {
                   case 'blockly':
                       ext = 'xml';
                       data = handleBlockly(script.common.source)
                       break;
                   case 'javascript/js':
                       ext = '.js';
                       break;
                   case 'typescript/ts':
                       ext = '.ts';
                       break;
                   default:
                       ext = '.js';
               }
               fs.writeFile(pathRestore + key.substring(10) + ext, data, e => {
                   if (e) log('Fehler beim Schreiben der Datei:' + e.error)
               })
           }
           //res[key.substr(10)] = {name: script.common.name,typ:script.common.engineType};
           res[key.substr(10)] = script.common.engineType;
           //resultText += 'Skript: ' + script.common.name + '\t\t\t\t\t\t' + 'Typ: ' + script.common.engineType + '\n';
       }
   }
   /*fs.writeFile(pathRestore + 'GefundeneSkripte.txt', resultText, e => {
       if (e) log('Schreibfehler bei Ergebnisdatei');
   })*/

   // sortieren
   let b = {};
   let a=Object.keys(res).sort();
   for(let i=0;i<a.length;i++){
       b[i + ' ' + a[i]]=res[a[i]];
   }

   fs.writeFile(pathRestore + 'GefundeneSkripte.json', JSON.stringify(b,null,3), e => {
       if (e) log('Schreibfehler bei Ergebnisdatei');
   })

   log('done')
}

function handleBlockly(source){
   const pos = source.lastIndexOf('\n');
   if (pos !== -1) {
       source = source.substring(pos + 3);
       if(source.indexOf('JTNDeG1sJTIweG1') > -1) {
           source = decodeURIComponent(Buffer.from(source, 'base64').toString('utf8'));
           return prettifyXml(source);
       }
   }
}

//from Stackoverflow
function prettifyXml(xml){
   var reg = /(>)\s*(<)(\/*)/g;
   xml = xml.replace(/\r|\n/g, ''); //deleting already existing whitespaces
   xml = xml.replace(reg, '$1\r\n$2$3');
   return xml;
}

[Homoran]

@abruni Ist diese Antwort ernst gemeint?
ich hoffe nicht.

trotzdem:
Das ist doch alles bereits gesagt worden.

• bei einer breaking change in einem Namespace eines jeden Adapters könnte es dazu kommen, dass erst einmal alles geleert wird.
• so etwas steht dann in dem changelog, der dir ja jetzt ab admin v5 angezeigt wird, bevor du auf update klickst
• dies bei javascript die nächste Zeit nicht passieren wird
• und selbstverständlich vorher kommuniziert wird.
  • genau wie die Information seit der Existenz des Namespaces 0_userdata.0, dass dies der Platz für eigene Datenpunkte sein soll mit Ausnahme von javascript.0/1/2...

[Abruni]

@homoran
Ist diese Antwort ernst gemeint?
Ja, weil meine Fragen immer noch nicht beantwortet wurden, bzw. widersprüchlich.
so etwas steht dann in dem changelog, der dir ja jetzt ab admin v5 angezeigt wird
Kann ich das wissen, ohne Admin5 installiert zu haben? Ich würde wohl kaum fragen, wenn ich keine Bedenken hätte dies zu tun.
genau wie die Information seit der Existenz des Namespaces 0_userdata.0, dass dies der Platz für eigene Datenpunkte sein soll mit Ausnahme von javascript.0/1/2...
Genauso habe ich es doch auch geschrieben und habe JEDE Empfehlung befolgt. Bevor es 0_Userdata gab, sollten eigene DP im Javascript.0 angelegt werden, habe ich gemacht. Dann kam der Ordner 0_Userdata und die Empfehlung die DP dort anzulegen, habe ich gemacht. Also verstehe ich nicht, warum Du so einen Ton anschlägst und da Du selber schreibst "mit Ausnahme von javascript.0/1/2" weiss ich immer noch nicht, wie eine Lösung aussehen könnte.

[crunchip]

@abruni sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

weiss ich immer noch nicht, wie eine Lösung aussehen könnte.

die Lösung ist, das alles was in javascript angelegt wurde bis auf weiteres auch dort bleiben kann. Für Neuankömmlinge wurde der userdata geschaffen um es zukünftig übersichtlicher zu gestalten und etwaige Fehler vermieden werden.
ein "umsetzen" von javascript zu userdata ist letztendlich jedem selbst überlassen

[Homoran]

@abruni jetzt bin ich aber massiv verwirrt.

Abgesehen davon, dass ich den unstrukturierten Text jetzt mehrfach gelesen habe, verstehe ich wirklich nicht wo du ein Problem mit meiner Antwort hattest.

Ich habe leider nicht auf die Frage mit dem Wetter geantwortet, aber denke sonst alles beantwortet zu haben

[Abruni]

@crunchip
Ja danke. Mit genau so einer Antwort kann ich etwas anfangen. Mit der Aussage "die DP könnten gelöscht werden", ohne weiter drauf einzugehen, wann und wodurch eher nicht. Wenn es möglich ist, nach und nach die DP von Javascript nach 0_Userdata umzuziehen, steht doch einem Update nichts mehr im Wege. Nochmals DANKE!

[Dr. Bakterius]

@apollon77 sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

Du kannst den JavaScript code Anpassen aber das ändert nichts an den Daten in den Blocklies

Das bedeutet, dass man in diesem Fall jedes Blockly öffnen, exportieren, suchen/ersetzen, importieren und wieder speichern muss um entsprechende Punkte zu ändern? Dann lass ich es lieber in 'javascript.0' liegen - ist mir zu viel Aufwand. Ich hoffe nur, dass ihr da nie mal meint, dass das nicht mehr regelkonform ist und man gezwungen wird das zu ändern.

[fastfoot]

@dr-bakterius sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

ist mir zu viel Aufwand

ein paar Posts weiter oben geht es um das automatische Ersetzen im Blockly, auch aus einem Pfad heraus. Vielleicht hilft dir das ja

[liv-in-sky]

@fastfoot vielen dank - ich muss das script mal in ruhe ansehen - schaut interessant aus

[falke69]

Hallo, da ich auch so meine Probleme mit den Erstellen von Datenpunkten in meinen erstellten Verzeichnissen (jetzt Ordner) hatte, habe ich zuerst den Objektbaum als JSON gespeichert und dann vollständig gelöscht. Dann habe ich mich an die Arbeit gemacht und jeden einzelnen Ordner inkl. Unterverzeichnis neu angelegt und dann im Anschluss den zuvor exportierten JSON wieder importiert.
Meine erstellten Objekte waren alle wieder vorhanden und in den angelegten Ordnern wieder verfügbar. Jetzt war es mir wieder möglich ein neues Objekt zu erstellen.

Selbiges gilt auch für MQTT, jetzt kann ich dort auch wieder in den einzelnen Verzeichnissen / Ordner meine eigenen Datenpunkte erstellen.

Einfacher wäre es natürlich, dass man im Nachgang auswählen kann, dass es sich um einen Ordner handelt. Das hätte einiges an Arbeit und Zeit eingespart.

hier mal ein Ausschnitt:

[mickym]

@falke69 Mit dem Skript von fastfood geht das in 1 min - habe auch alle meine mqtt, userdata, alias so gepatched.

[fastfoot]

@liv-in-sky sagte in Admin5: Ich kann keine Objekte mehr manuell anlegen:

@fastfoot vielen dank - ich muss das script mal in ruhe ansehen - schaut interessant aus

ist kein Hexenwerk.

• Es wird jedes Objekt geprüft, ob es ein Skript ist(type == 'script'). Wenn ja, wird das Skript so wie es ist in das System übernommen, mit der Endung .bak. Allerdings nur wenn es nicht vorhanden ist und die Variable zum Einlesen ins System gesetzt ist(restoreToSystemDb == true). Diese Funktionalität eignet sich nur für ein Restore bei verlorenem Skript
• Soll das Skript als File gespeichert werden(restoreAsFile == true) dann wird der Typ bestimmt(blockly, js, ts) und entsprechend der Source extrahiert und mit der passenden Endung ins Dateisystem geschrieben
• Im zweiten Fall kann man ein einfaches replace einbauen, um die Datenpunkte zu ändern. Für js Files könnte man entsprechend den Punkt 1 aufbohren, für Blocklys jedoch nicht da hier nur das XML extrahiert wird, der vorangestellte js code jedoch nicht behandelt wird, das ist also ungeeignet zum direkten Import ins System
• Für alle Skripte wird eine Summary gebildet und ins Dateisystem geschrieben, so als Übersicht was man alles an Skripten hat. Dies passiert unabhängig davon ob man Skripte importiert oder als Datei schreibt

Zum Spielen damit ist halt ein Testsystem sehr gut geeignet. Da ich Docker verwende ist ein solches in wenigen Minuten erstellt und auch schnell wieder gelöscht. Wobei, wenn man nur ins Dateisystem exportiert kann man absolut nichts falsch machen, die einzulesende objects.json muss ja eh eine Kopie des Originals sein, das geht auch wenn man nur ein System zur Verfügung hat

[falke69]

@mickym

das habe ich sicherlich übersehen.