Test Adapter ioBroker.backitup v3.1.x

[amg_666]

@simatec ich hab jetzt nochmal ein backup manuell gestartet. Jetzt kommen da andere Skripts... Im Log von iobroker steht das genauso. Aber wenn ich auf dem NAS das javascripts-Zipfile öffne, dann kann ich da alle Skripte sehen, scheint also in Ordnug zu sein, nur im log nicht.

22:11:46.625
DEBUG
javascripts
Created javascript_tmp directory: "/opt/iobroker/backups/tmpScripts"
22:11:46.885
DEBUG
javascripts
found Script: Begruessung
22:11:46.890
DEBUG
javascripts
found Script: Anw_Andreas
22:11:46.893
DEBUG
javascripts
found Script: Anw_Doro
22:11:46.920
DEBUG
javascripts
found Script: Zaehle_WLAN_Clients
22:11:46.928
DEBUG
javascripts
found Script: Fenstercheck_Garten
22:11:46.953
DEBUG
javascripts
found Script: Opplo_Switch_Garten
22:11:46.958
DEBUG
javascripts
found Script: Opplo_Switch_Schlafzimmer
22:11:46.970
DEBUG
javascripts
found Script: Opplo_Switch_Wohnzimmer
22:11:46.975
DEBUG
javascripts
found Script: Tradfri_Nils
22:11:46.988
DEBUG
javascripts
found Script: Brennerflamme
22:11:46.996
DEBUG
javascripts
found Script: DoroAnAbwesend
22:11:47.004
DEBUG
javascripts
found Script: PV_Wert
22:11:47.013
DEBUG
javascripts
found Script: TomatenWintergarten
22:11:47.026
DEBUG
javascripts
found Script: TV_Internet
22:11:47.037
DEBUG
javascripts
found Script: Wii_u
22:11:47.042
DEBUG
javascripts
Javascript tmp directory "/opt/iobroker/backups/tmpScripts" successfully deleted
22:11:47.073
DEBUG
javascripts
Backup created: /opt/iobroker/backups/javascripts_2024_05_28-22_11_48_backupiobroker.tar.gz
22:11:47.085
DEBUG
javascripts
done
22:11:47.674
DEBUG
ftp
FTP connected.
22:11:47.720
DEBUG
ftp
Send iobroker_2024_05_28-22_06_16_backupiobroker.tar.gz
22:11:48.269
DEBUG
ftp
Send redis-remote_2024_05_28-22_06_30_backupiobroker.tar.gz
22:11:48.316
DEBUG
ftp
Send historyDB_2024_05_28-22_06_36_backupiobroker.tar.gz
22:12:07.006
DEBUG
ftp
Send zigbee.2_2024_05_28-22_11_47_backupiobroker.tar.gz
22:12:07.017
DEBUG
ftp
Send javascripts_2024_05_28-22_11_48_backupiobroker.tar.gz
22:12:07.035
DEBUG
ftp
done
22:12:07.934
DEBUG
clean
No older backup files are deleted, because this backup was started manually
22:12:07.981
DEBUG
clean
done
22:12:09.303
DEBUG
historyHTML
new history html values created
22:12:09.351
DEBUG
historyHTML
done
22:12:09.500
DEBUG
historyJSON
new history json values created
22:12:09.540
DEBUG
historyJSON
done
22:12:09.807
INFO
gui
Das Backup wurde erfolgreich erstellt!

[simatec]

@amg_666 Wird gefixt

[sigi234]

@simatec

Hallo, bekomme diese Meldung:

23:39:57.187ERRORhistoryDBBackItUp cannot found source "undefined" for compress!

Wenn ich History Daten anhake.

Plattform: Windows
RAM: 15.9 GB
Node.js: v20.13.1
NPM: 10.5.2
Admin: 6.17.14
History: 3.0.1
BackItup: 3.0.0

[simatec]

@sigi234 Hast du den Pfad konfiguriert?

[sigi234]

@simatec sagte in Test Adapter ioBroker.backitup v3.0.x:

@sigi234 Hast du den Pfad konfiguriert?

Oh Mann, natürlich vergessen.

Alles Ok:

23:58:56.820INFOguiBackup gestartet ...
23:58:59.326DEBUGiobrokerhost.SmartHome 18618 states saved
23:59:01.106DEBUGiobrokerhost.SmartHome 21654 objects saved
23:59:04.699DEBUGiobrokerBackup created: C:\SmartHome\backups\iobroker_2024_05_28-23_58_57_backupiobroker.tar.gz
23:59:04.702DEBUGiobrokerThis backup can only be restored with js-controller version up from 4.1
23:59:05.757DEBUGiobrokerdone
23:59:06.738DEBUGhistoryDBcompress from historyDB started ...
23:59:16.692DEBUGhistoryDBPacked 143MB so far...
23:59:20.941DEBUGhistoryDBBackup created: C:\SmartHome\backups\historyDB_2024_05_28-23_59_06_backupiobroker.tar.gz
23:59:20.944DEBUGhistoryDBdone
23:59:21.581DEBUGjarvisCreated jarvis_tmp directory: "C:/SmartHome/backups/tmpJavis0"
23:59:21.586DEBUGjarvisfound Jarvis Instance: 0
23:59:21.592DEBUGjarvisstart Jarvis Backup for Instance 0...
23:59:21.634DEBUGjarvisC:\SmartHome\iobroker-data\jarvis\0 copy success!
23:59:21.638DEBUGjarvisCreated states_tmp directory: "C:/SmartHome/backups/tmpJavis0/states"
23:59:21.696DEBUGjarvissettings "theme" not found
23:59:21.798DEBUGjarvisTry deleting the Jarvis tmp directory: "C:/SmartHome/backups/tmpJavis0"
23:59:21.810DEBUGjarvisJarvis tmp directory "C:/SmartHome/backups/tmpJavis0" successfully deleted
23:59:21.812DEBUGjarvisdone
23:59:22.395DEBUGjavascriptsCreated javascript_tmp directory: "C:/SmartHome/backups/tmpScripts"
23:59:22.655DEBUGjavascriptsfound Script: Fenster
23:59:22.710DEBUGjavascriptsfound Script: Alle_Hue_Lampen_aus
23:59:22.767DEBUGjavascriptsfound Script: Skript_4
23:59:22.782DEBUGjavascriptsfound Script: Adapter_Versionen
23:59:22.788DEBUGjavascriptsfound Script: JSON_Tankstellen
23:59:22.829DEBUGjavascriptsfound Script: Led_animation
23:59:22.838DEBUGjavascriptsfound Script: Skript_1
23:59:22.842DEBUGjavascriptsfound Script: Adapter_Status_2
23:59:22.872DEBUGjavascriptsfound Script: Adapter_update
23:59:22.885DEBUGjavascriptsfound Script: Corona_Ampel
23:59:22.891DEBUGjavascriptsfound Script: Erstellen_Userdaten
23:59:22.899DEBUGjavascriptsfound Script: Hospitalisierung_Aut
23:59:22.910DEBUGjavascriptsfound Script: Luftdaten
23:59:22.921DEBUGjavascriptsfound Script: MP3_erzeugen
23:59:22.938DEBUGjavascriptsfound Script: POPUP_MUELL_IQ
23:59:22.950DEBUGjavascriptsfound Script: PinSchutz
23:59:22.971DEBUGjavascriptsfound Script: Schlafzimmer_button
23:59:22.979DEBUGjavascriptsfound Script: Skript_1
23:59:22.986DEBUGjavascriptsfound Script: Umrechnung_Zeit
23:59:22.992DEBUGjavascriptsfound Script: countdown
23:59:22.998DEBUGjavascriptsfound Script: ical_md
23:59:23.016DEBUGjavascriptsfound Script: myweather
23:59:23.028DEBUGjavascriptsfound Script: uhrzeit_sonne
23:59:23.037DEBUGjavascriptsfound Script: Fenster_Offen_ok
23:59:23.049DEBUGjavascriptsfound Script: Status_Zahl_Lichter
23:59:23.061DEBUGjavascriptsfound Script: Anzahl_ToDo
23:59:23.071DEBUGjavascriptsfound Script: Tageszeit2
23:59:23.079DEBUGjavascriptsfound Script: Corona_Impfung
23:59:23.087DEBUGjavascriptsfound Script: Gleiteten_Durchschnitt
23:59:23.094DEBUGjavascriptsfound Script: IQ_Datum
23:59:23.108DEBUGjavascriptsfound Script: Ical_Farbe
23:59:23.132DEBUGjavascriptsfound Script: Luxtets
23:59:23.194DEBUGjavascriptsfound Script: Protokoll
23:59:23.227DEBUGjavascriptsfound Script: inventwo
23:59:23.252DEBUGjavascriptsfound Script: Anruferansage_Liste
23:59:23.266DEBUGjavascriptsfound Script: MDCSS_Backitup
23:59:23.288DEBUGjavascriptsfound Script: Alexa_Led_Volume
23:59:23.302DEBUGjavascriptsfound Script: Schedules_Liv
23:59:23.311DEBUGjavascriptsfound Script: Foster
23:59:23.331DEBUGjavascriptsfound Script: Tabelle_1_Blockly
23:59:23.359DEBUGjavascriptsfound Script: MDCSS_Homematic
23:59:23.376DEBUGjavascriptsfound Script: Liv_History1
23:59:23.395DEBUGjavascriptsfound Script: Timer_Licht
23:59:23.419DEBUGjavascriptsfound Script: Betriebsstunden_Vorraumlicht
23:59:23.435DEBUGjavascriptsfound Script: Akku1
23:59:23.450DEBUGjavascriptsfound Script: hmip
23:59:23.486DEBUGjavascriptsfound Script: CSS_Themes_MCU
23:59:23.513DEBUGjavascriptsfound Script: Anruferansage_Dslraser
23:59:23.528DEBUGjavascriptsfound Script: GS7
23:59:23.543DEBUGjavascriptsfound Script: Steckdosen_zählen
23:59:23.555DEBUGjavascriptsfound Script: SSML
23:59:23.568DEBUGjavascriptsfound Script: HuePush
23:59:23.577DEBUGjavascriptsfound Script: ringring
23:59:23.598DEBUGjavascriptsfound Script: PopUp_To_TV1
23:59:23.621DEBUGjavascriptsfound Script: Tuner
23:59:23.632DEBUGjavascriptsfound Script: AVM
23:59:23.784DEBUGjavascriptsTry deleting the Javascript tmp directory: "C:/SmartHome/backups/tmpScripts"
23:59:23.789DEBUGjavascriptsJavascript tmp directory "C:/SmartHome/backups/tmpScripts" successfully deleted
23:59:23.803DEBUGjavascriptsBackup created: C:\SmartHome\backups\javascripts_2024_05_28-23_59_22_backupiobroker.tar.gz
23:59:23.813DEBUGjavascriptsdone
23:59:23.965DEBUGcifsused copy path: H:/Backitup
23:59:23.969DEBUGcifsCopy iobroker_2024_05_28-23_58_57_backupiobroker.tar.gz...
23:59:24.412DEBUGcifsCopy historyDB_2024_05_28-23_59_06_backupiobroker.tar.gz...
23:59:26.483DEBUGcifsCopy jarvis.0_2024_05_28-23_59_21_backupiobroker.tar.gz...
23:59:26.521DEBUGcifsCopy javascripts_2024_05_28-23_59_22_backupiobroker.tar.gz...
23:59:26.573DEBUGcifsdone
23:59:27.202DEBUGcleanNo older backup files are deleted, because this backup was started manually
23:59:27.219DEBUGcleandone
23:59:28.615DEBUGhistoryHTMLnew history html values created
23:59:28.619DEBUGhistoryHTMLdone
23:59:28.771DEBUGhistoryJSONnew history json values created
23:59:28.776DEBUGhistoryJSONdone
23:59:29.085INFOguiDas Backup wurde erfolgreich erstellt!

Edit:
Kann man bei den History Backup auch einstellen das man nur jede x Tage sichern will?
Hintergrund:
Datei ist sehr Gross, da sammelt sich eine Menge Daten an.

Edit2:
Andererseit kann ich die ja auch manuell löschen.

[amg_666]

@simatec sagte in Test Adapter ioBroker.backitup v3.0.x:

@amg_666 Wird gefixt

Mit der 3.0.1 sieht das gut aus, er zeigt jetzt alle gesicherten Skripte im Log an. Danke!

[fastfoot]

@simatec tolle Arbeit, ist absolut gelungen!

[oFbEQnpoLKKl6mbY5e13]

@simatec

2024-05-29 20:26:47.224  - info: backitup.0 (1159) starting. Version 3.0.1 in /opt/iobroker/node_modules/iobroker.backitup, node: v18.20.3, js-controller: 5.0.19
2024-05-29 20:26:47.723  - info: backitup.0 (1159) [iobroker] backup will be activated at 01:30 every 1 day(s)
2024-05-29 20:26:47.952  - info: backitup.0 (1159) [ccu] backup will be activated at 01:20 every 3 day(s)
2024-05-29 20:26:54.225  - warn: admin.0 (15872) backitup has an invalid jsonConfig: [{"instancePath":"/items/_options","schemaPath":"#/properties/items/patternProperties/%5E.%2B/allOf/8/then/required","keyword":"required","params":{"missingProperty":"items"},"message":"must have required property 'items'"},{"instancePath":"","schemaPath":"#/if","keyword":"if","params":{"failingKeyword":"then"},"message":"must match \"then\" schema"}]

[Shadowhunter23]

@ofbeqnpolkkl6mby5e13
Bzgl. der Warnung: https://forum.iobroker.net/topic/27267/test-adapter-iobroker-backitup-v3-0-x/2635?_=1717006698974

[oFbEQnpoLKKl6mbY5e13]

@shadowhunter23

Ah, okay, danke.

Edit:
Vielleicht sollte man mal einen neuen Thread erstellen. Fast 3000 Beiträge machen die Sache nicht gerade übersichtlich...

[mcm1957]

@simatec said in Test Adapter ioBroker.backitup v3.0.x:

@amg_666 Die Beta Repo wird meist zwischen 14 - 15 Uhr aktualisiert... Ist also gerade am bauen

14:00 UTC == 16:00 MEZ Sommerzeit

[mcm1957]

@homoran said in Test Adapter ioBroker.backitup v3.0.x:

@shadowhunter23 sagte in Test Adapter ioBroker.backitup v3.0.x:

Bin aber nicht sicher ob das immer noch das offene, bekannte Issue ist.

welche Version des admin?
der wirft die Warnung

invalid json Config Warnings sind von der Admin Version unabhängig. Die Prüfung erfolgt immer gegen die online Version des Schemas.

[Marc Berg]

@simatec

Gibt es einen Grund, warum das Backup der States/Objects DB um rund ein Drittel anwächst, wenn die 3.0.x installiert ist?

[simatec]

@marc-berg Aktuell würde mir jetzt kein Grund einfallen. Gut Backitup selber ist ab v3.0.x aufgrund der React Komponenten etwas größer und benötigt mehr Platz auf der Platte. Aber auf States und Objects sollte es sich nicht auswirken

[Marc Berg]

@simatec sagte in Test Adapter ioBroker.backitup v3.0.x:

Aber auf States und Objects sollte es sich nicht auswirken

Hm, tut es aber leider bei mir. Habe das jetzt ein paar Mal durchgespielt. Es ist nicht nur das Backup, welches viel größer wird, auch die eigentliche Datenbank:

Ist jetzt nicht so dramatisch, aber falls da ein Fehler hintersteckt, wäre es vielleicht gut, den zu finden.

[Marc Berg]

@simatec sagte in Test Adapter ioBroker.backitup v3.0.x:

Aber auf States und Objects sollte es sich nicht auswirken

Habe noch ein wenig gegraben, mit der Version 3.0.x wird ein Schlüssel

cfg.f.backitup.admin$%$static/js/main.7253116f.js.map$%$data

in der Datenbank angelegt, dessen Inhalt allein 33MB groß ist.

außerdem noch (10 MB):

cfg.f.backitup.admin$%$static/js/main.7253116f.js$%$data

und (jeweils 7MB)

cfg.f.backitup.admin$%$custom/static/js/vendors-node_modules_file-saver_dist_FileSaver_min_js-node_modules_react-icons_di_index_mjs-n-f0ed96.ebe43e81.chunk.js.map$%$data

cfg.f.backitup.admin$%$custom/static/js/vendors-node_modules_mui_icons-material_esm_index_js.baf6e6c7.chunk.js.map$%$data

[simatec]

@marc-berg ja das sind alles react relevante Dateien. Diese Schlüssel solltest du ebenfalls für andere react Adapter wie iot, javascript, admin etc. finden.

[Marc Berg]

@simatec sagte in Test Adapter ioBroker.backitup v3.0.x:

Diese Schlüssel solltest du ebenfalls für andere react Adapter wie iot, javascript, admin

Ja, da hast du recht, wobei unter den Top 10 vier Mal Backitup auftaucht. Mir erschließt sich nicht wirklich, wieso Dateien in der Datenbank abgelegt werden. Aber wenn das die schöne neue React Welt ist,

Kann mir nur nicht vorstellen, dass dies in Hinblick auf Arbeitsspeicherverbrauch und Performance eine gute Idee sein könnte, vor allem wenn jetzt noch mehr React-basierte Adapter hinzu kommen.

[simatec]

@marc-berg Ich nehme das mal mit fürs nächste Dev Meeting mit

[bommel_030]

@simatec
Hi, ich habe mit der backitup >v3 Probleme beim sichern mein influxdb v2.

2024-06-10 01:00:10.031	debug	Backup has started ...
2024-06-10 01:00:20.033	debug	[iobroker/mount] nfs-mount command: "sudo mount 192.168.10.25:/volume1/backup/iobroker /opt/iobroker/backups"
2024-06-10 01:00:20.099	debug	[iobroker/mount] mount successfully completed
2024-06-10 01:00:20.100	debug	[iobroker/mount] done
2024-06-10 01:00:25.722	debug	[iobroker/iobroker] host.iobroker-master 81154 states saved
2024-06-10 01:00:27.018	debug	[iobroker/iobroker] host.iobroker-master 96012 objects saved
2024-06-10 01:00:30.322	debug	[iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2024_06_10-01_00_20_standard_vm_backupiobroker.tar.gz
2024-06-10 01:00:30.322	debug	[iobroker/iobroker] This backup can only be restored with js-controller version up from 4.1
2024-06-10 01:00:31.363	debug	[iobroker/iobroker] done
2024-06-10 01:00:31.515	debug	[iobroker/influxDB] InfluxDB-Backup for influx_dauer is started ...
2024-06-10 01:00:31.516	debug	[iobroker/influxDB] Start InfluxDB Backup ...
2024-06-10 01:00:31.521	debug	[iobroker/influxDB] InfluxDB Backup tmp directory created
2024-06-10 01:00:31.524	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().
2024-06-10 01:00:31.525	error	unhandled promise rejection: The argument 'command' must be a string without null bytes. Received 'influx backup --bucket iobroker_never --host http://192.168.10.7:8086 -t WR`\fh\x0B\x00(Va\x00^\x0Ei\x06oByi\x009\r\x033#\x0F\x...
2024-06-10 01:00:31.529	error	TypeError: The argument 'command' must be a string without null bytes. Received 'influx backup --bucket iobroker_never --host http://192.168.10.7:8086 -t WR`\fh\x0B\x00(Va\x00^\x0Ei\x06oByi\x009\r\x033#\x0F\x... at validateArgumentNullCheck (node:child_process:973:11) at normalizeExecArgs (node:child_process:191:3) at Object.exec (node:child_process:233:16) at /opt/iobroker/node_modules/iobroker.backitup/lib/scripts/12-influxDB.js:79:17
2024-06-10 01:00:31.530	error	Exception-Code: ERR_INVALID_ARG_VALUE: The argument 'command' must be a string without null bytes. Received 'influx backup --bucket iobroker_never --host http://192.168.10.7:8086 -t WR`\fh\x0B\x00(Va\x00^\x0Ei\x06oByi\x009\r\x033#\x0F\x...
2024-06-10 01:00:31.551	info	cleaned everything up...
2024-06-10 01:00:31.552	info	terminating
2024-06-10 01:00:31.552	debug	Plugin sentry destroyed
2024-06-10 01:00:31.553	warn	Terminated (UNCAUGHT_EXCEPTION): Without reason
2024-06-10 01:00:32.054	info	terminating
host.iobroker-master
2024-06-10 01:00:32.220	error	Caught by controller[0]: This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). The promise rejected with the reason:
host.iobroker-master
2024-06-10 01:00:32.223	error	Caught by controller[1]: TypeError: The argument 'command' must be a string without null bytes. Received 'influx backup --bucket iobroker_never --host http://192.168.10.7:8086 -t WR`\fh\x0B\x00(Va\x00^\x0Ei\x06oByi\x009\r\x033#\x0F\x...
host.iobroker-master
2024-06-10 01:00:32.223	error	Caught by controller[1]: at validateArgumentNullCheck (node:child_process:973:11)
host.iobroker-master
2024-06-10 01:00:32.223	error	Caught by controller[1]: at normalizeExecArgs (node:child_process:191:3)
host.iobroker-master
2024-06-10 01:00:32.223	error	Caught by controller[1]: at Object.exec (node:child_process:233:16)
host.iobroker-master
2024-06-10 01:00:32.223	error	Caught by controller[1]: at /opt/iobroker/node_modules/iobroker.backitup/lib/scripts/12-influxDB.js:79:17
host.iobroker-master
2024-06-10 01:00:32.223	error	instance system.adapter. terminated with code 6 (UNCAUGHT_EXCEPTION)

Vorher läuft das Backup vom ioBroker problemlos durch, bei influx stürzt er scheinbar ab (Bekomme auch keine Benachrichtigung über einen Fehler) und führt danach problemlos das CCU Backup durch. Falls ich ein issue erstellen soll mache ich das gerne.