NEWS
iob diag - Skript
-
@thomas-braun sagte in iob diag - Skript:
@mickym Wobei die Aussage bzgl. des lokalen Dateisystems auch bei einem symlink weiterhin richtig ist. Wenn da der Stromausfällt, während die Backup-Datei gerade beackert wird kann die auch über den Jordan gehen. Die Gefahr ist allerdings geringer als bei direktem schreiben in das backups-Verzeichnis.
Der Vorteil ist halt auch, wenn ich die SD-karten wechsle (Ich arbeite ja mit Images) - dann habe ich trotzdem immer die aktuellen Backups zur Verfügung. ;) Und die Gefahr, dass es gerade in den 10 Minuten des backups kaputt geht, ist eher unwahrscheinlich. Allerdings hat der Stick schon manchmal Dateisystemfehler, aber das checke ich halt hin und wieder.
Im Prinzip ist das Backup doch immer kaputt, wenn der Strom während des Backups ausfällt - deswegen geht aber nicht gleich das Dateisystem kaputt.
Wichtig ist doch, dass selbst wenn ich ein neues System aufbauen müsste, dass ich mit einem Link/Mount sofort wieder Zugriff auf die Backups habe.Wenn der Stick allerdings exklusiv für iob-Backups vorgesehen ist würde ich den direkt nach /opt/iobroker/backups hängen und nicht verlinken.
-
Wenn der Stick allerdings exklusiv für iob-Backups vorgesehen ist würde ich den direkt nach /opt/iobroker/backups hängen und nicht verlinken.
@thomas-braun Nee - da sind auch andere Daten drauf - Also MariaDB, NodeRed Resourcen - also einfach Dinge, die nicht so zeitkritisch sind und aber die SD karte sowohl von den Schreibzugriffen entlastet. Ich bin ja nach wie vor ein Anhänger die root Partition klein zu halten, damit ich meine Images schnell ziehen kann und diese auch nicht so viel Speicherplatz auf den Backup-Medien beanprucht.
Das sind dann die Dinge, warum ich einen Neuaufbau nicht mag, weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben, immer wieder neu machen muss und das ist nicht immer trivial. Hab das auch mit einer influx gemacht - aber ich finde es halt besser, Daten nicht auf der "System-Partition" zu halten. Das war schon immer eine Maxime in meiner "IT-" Karriere oder Erfahrung.
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun Nee - da sind auch andere Daten drauf - Also MariaDB, NodeRed Resourcen - also einfach Dinge, die nicht so zeitkritisch sind und aber die SD karte sowohl von den Schreibzugriffen entlastet. Ich bin ja nach wie vor ein Anhänger die root Partition klein zu halten, damit ich meine Images schnell ziehen kann und diese auch nicht so viel Speicherplatz auf den Backup-Medien beanprucht.
Das sind dann die Dinge, warum ich einen Neuaufbau nicht mag, weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben, immer wieder neu machen muss und das ist nicht immer trivial. Hab das auch mit einer influx gemacht - aber ich finde es halt besser, Daten nicht auf der "System-Partition" zu halten. Das war schon immer eine Maxime in meiner "IT-" Karriere oder Erfahrung.
@mickym sagte in iob diag - Skript:
weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben,
Eigentlich macht man genau das ja nicht (zumidenst nicht unter Unix/Linux).
Da lege ich den file tree über die Partitionen einfach drüber. Deswegen gibt es ja hier auch nicht sowas wie Laufwerksbuchstaben drüben bei den Fenstern. Da muss ich wissen, ach, das liegt ja auf dem XYZ-Laufwerk, stimmt ja.
Bei einem 'file tree' ist das wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware unten drunter. -
@mickym sagte in iob diag - Skript:
weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben,
Eigentlich macht man genau das ja nicht (zumidenst nicht unter Unix/Linux).
Da lege ich den file tree über die Partitionen einfach drüber. Deswegen gibt es ja hier auch nicht sowas wie Laufwerksbuchstaben drüben bei den Fenstern. Da muss ich wissen, ach, das liegt ja auf dem XYZ-Laufwerk, stimmt ja.
Bei einem 'file tree' ist das wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware unten drunter.@thomas-braun sagte in iob diag - Skript:
Bei einem 'file tree' ist da wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware untendrunter.
Na ja - das ist ja auch gut und ich mag das ja auch alles unter einem Baum zu haben. So sind halt alle meine Daten bei mir unter /data und das ist halt ein externer Datenträger und belastet somit die Systempartition nicht.
Die /var/xx directories auf externe Datenträger zu verlinken, in das die Programme oft standardmäßig ihre Daten reinschreiben, das mag ich halt nicht, weil da halt auch viele systemrelevante Daten und Logs liegen.
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun sagte in iob diag - Skript:
Bei einem 'file tree' ist da wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware untendrunter.
Na ja - das ist ja auch gut und ich mag das ja auch alles unter einem Baum zu haben. So sind halt alle meine Daten bei mir unter /data und das ist halt ein externer Datenträger und belastet somit die Systempartition nicht.
Die /var/xx directories auf externe Datenträger zu verlinken, in das die Programme oft standardmäßig ihre Daten reinschreiben, das mag ich halt nicht, weil da halt auch viele systemrelevante Daten und Logs liegen.
Ich weiß ja nicht wie groß der Stick ist, aber ich würde den in entsprechende Partitionen einteilen und die dann an passender Stelle einhängen.
- Partition für /wo/auch/immer/mariadb-daten liegen
- Partition für /wo/auch/immer/node-red/sein/zeug/hinwirft
- Partionen für /opt/iobroker/backups
Dann brauchste nur die /etc/fstab sichern und hast direkt wieder den Lageplan wie das alles zusammengehört. Muss man sich nur einmal überlegen.
-
Ich weiß ja nicht wie groß der Stick ist, aber ich würde den in entsprechende Partitionen einteilen und die dann an passender Stelle einhängen.
- Partition für /wo/auch/immer/mariadb-daten liegen
- Partition für /wo/auch/immer/node-red/sein/zeug/hinwirft
- Partionen für /opt/iobroker/backups
Dann brauchste nur die /etc/fstab sichern und hast direkt wieder den Lageplan wie das alles zusammengehört. Muss man sich nur einmal überlegen.
@thomas-braun Ok ja das ist auch ein Lösung. Allerdings haben verschiedene Partitionen auch den Nachteil, dass Du halt den Speicherplatz sehr genau planen musst. So teilen sich die verschiedenen Systeme, den Platz dynamisch. (Natürlich können sich dann die verschiedenen Systeme auch gegenseitig negativ beeinflussen. ;) )
Aber das wird etwas philosophisch.
Aber wichtig bleibt, dass die Daten den Systemdatenträger nicht belasten. Wir kennen doch beide Kandidaten, dessen Backups die Systempartition so zugemüllt haben, dass das System bald nicht mehr hochgekommen ist. Jedenfalls kann mir das nicht passieren. Aber ich hab auch nicht alle Daten ausgelagert. Die Objekte und States des iob sind ja weiterhin auf dem Systemdatenträger.
Im Moment siehst ja wie die Auslastung der Datenträger ist:
*** FILESYSTEM *** Filesystem Type Size Used Avail Use% Mounted on /dev/root ext4 14G 9.3G 4.0G 71% / /dev/mmcblk0p1 vfat 253M 31M 222M 13% /boot /dev/sda ext4 29G 3.6G 24G 14% /dataIch nutze die Datenbanken im Moment auch nicht richtig - geschweige denn produktiv. Das steht noch auf meiner Agenda, aber da muss ich noch bissi lernen und die Frage ist halt auch immer, was man mit diesen Graphen und Daten macht. Zieht man daraus wirklich Schlußfolgerungen oder freut man sich nur an dem Zick-Zack. ;)
Ich glaube aber - wir diskutieren hier - an dem Threadthema etwas vorbei. ;) - Aber man kann ja mal so einen allgemeinen Diskussionsthread machen, um verschiedene Ansichten auszutauschen. Ich weiß, wir sind da nicht immer einer Meinung. ;)
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun Ok ja das ist auch ein Lösung. Allerdings haben verschiedene Partitionen auch den Nachteil, dass Du halt den Speicherplatz sehr genau planen musst. So teilen sich die verschiedenen Systeme, den Platz dynamisch. (Natürlich können sich dann die verschiedenen Systeme auch gegenseitig negativ beeinflussen. ;) )
Aber das wird etwas philosophisch.
Aber wichtig bleibt, dass die Daten den Systemdatenträger nicht belasten. Wir kennen doch beide Kandidaten, dessen Backups die Systempartition so zugemüllt haben, dass das System bald nicht mehr hochgekommen ist. Jedenfalls kann mir das nicht passieren. Aber ich hab auch nicht alle Daten ausgelagert. Die Objekte und States des iob sind ja weiterhin auf dem Systemdatenträger.
Im Moment siehst ja wie die Auslastung der Datenträger ist:
*** FILESYSTEM *** Filesystem Type Size Used Avail Use% Mounted on /dev/root ext4 14G 9.3G 4.0G 71% / /dev/mmcblk0p1 vfat 253M 31M 222M 13% /boot /dev/sda ext4 29G 3.6G 24G 14% /dataIch nutze die Datenbanken im Moment auch nicht richtig - geschweige denn produktiv. Das steht noch auf meiner Agenda, aber da muss ich noch bissi lernen und die Frage ist halt auch immer, was man mit diesen Graphen und Daten macht. Zieht man daraus wirklich Schlußfolgerungen oder freut man sich nur an dem Zick-Zack. ;)
Ich glaube aber - wir diskutieren hier - an dem Threadthema etwas vorbei. ;) - Aber man kann ja mal so einen allgemeinen Diskussionsthread machen, um verschiedene Ansichten auszutauschen. Ich weiß, wir sind da nicht immer einer Meinung. ;)
https://de.wikipedia.org/wiki/Logical_Volume_Manager
Da biste dann auch aus den Partitionsgrößen raus. Spielt dann nämlich keine Rolle mehr. Gut, bei einem USB-Stick wäre das mit einem Schlachtschiff auf Spatzen geschossen...
-
@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.
-
@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.
Stimmt. Ich überlege das auch wieder rauszunehmen.
Aber es sind bewusst nur die letzten 25 Zeilen, damit man da auch nochmal drüberschauen kann. -
@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.
@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!
-
Wenn euch so etwas auffällt bitte diesen Post über die Melden Funktion melden. wir nehmen so etwas dann raus.
@apollon77 sagte in iob diag - Skript:
@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!
äääähhhmm, ja aber!
Viele verstehen so ein log nicht und versuchen es dann auch gar nicht zu lesen.
Vielleicht wäre ein zusätzlicher Hinweis: "please remove private data in the last 25 lines" o.ä. hilfreich, wobei dann wieder user, die mit der angelsächsischen Sprache nicht vertraut sind im Nachteil wären.
-
Wenn euch so etwas auffällt bitte diesen Post über die Melden Funktion melden. wir nehmen so etwas dann raus.
@apollon77 sagte in iob diag - Skript:
@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!
äääähhhmm, ja aber!
Viele verstehen so ein log nicht und versuchen es dann auch gar nicht zu lesen.
Vielleicht wäre ein zusätzlicher Hinweis: "please remove private data in the last 25 lines" o.ä. hilfreich, wobei dann wieder user, die mit der angelsächsischen Sprache nicht vertraut sind im Nachteil wären.
erstmal zu Deinem Skript:
eine Supersache, die vielen hilfreich sein wird.
Dann die Frage, ob es sinnvoll wäre, Informationen zu einer multihost-Umgebung zu ermitteln?
Dazu gefunden habe ich nur dieses:
Ausgeführt auf dem iob Master:iobroker multihost browse
No Multihost server found. Make sure iobroker is running on the host where you enabled multihost discovery (and it is not this host)!Ausgeführt auf einem Slave:
iobroker multihost browse1 | 10.10.10.8 | host | 10.10.10.8 | "authentication required"
wobei das auch nur bedingt weiterhilft, denn darüber erhält man keine Informationen welcher Master & Slave verbunden sind.
Über iob selber gibt es nur grundsätzliches dazu:
Ausgeführt auf dem iob Master:
iob status all zeigt u.a.iobroker is running on this host.
At least one iobroker host is running.MULTIHOSTSERVICE/enabled: true
MULTIHOSTSERVICE/secure: trueVielleicht hat ja jemand eine Idee dazu, ob/wie sich diese Infos abfragen lassen?
Und würde das auch andere interessieren?, sodass sich der Aufwand zur Skriptänderung lohnt? -
Ich habe selber kein Multihost in Betrieb, kann das also nicht testen.
Die Identifizierung ist aber etwas tricky, ich habe hier schon diverse 'false positives' gesehen, was Multihost angeht. Daher würde ich da selber die Finger von lassen. Aber auf github nehme ich gerne PRs an. -
Ich habe selber kein Multihost in Betrieb, kann das also nicht testen.
Die Identifizierung ist aber etwas tricky, ich habe hier schon diverse 'false positives' gesehen, was Multihost angeht. Daher würde ich da selber die Finger von lassen. Aber auf github nehme ich gerne PRs an.Eine Bitte an die Tester die mit LXCs, Docker und anderem virtuellem Zeuch ;-) unterwegs sind:
Könnt ihr nochmal das Skript wie oben im ersten Posting lokal installieren und zurückmelden, was an der Stelle "FILESYSTEM" bei diesen Systemen passiert und was da zu journalctl zurückgemeldet wird?Files in neuralgic directories: /var: 570M /var/ 203M /var/cache 195M /var/cache/apt 164M /var/lib 130M /var/lib/apt ********* HIER WIRDS INTERESSANT ******** Archived and active journals take up 93.1M in the file system. /opt/iobroker/backups: 4.0K /opt/iobroker/backups/Danke schön!
-
Eine Bitte an die Tester die mit LXCs, Docker und anderem virtuellem Zeuch ;-) unterwegs sind:
Könnt ihr nochmal das Skript wie oben im ersten Posting lokal installieren und zurückmelden, was an der Stelle "FILESYSTEM" bei diesen Systemen passiert und was da zu journalctl zurückgemeldet wird?Files in neuralgic directories: /var: 570M /var/ 203M /var/cache 195M /var/cache/apt 164M /var/lib 130M /var/lib/apt ********* HIER WIRDS INTERESSANT ******** Archived and active journals take up 93.1M in the file system. /opt/iobroker/backups: 4.0K /opt/iobroker/backups/Danke schön!
Files in neuralgic directories: /var: sudo: unable to resolve host iobrokerv6: Name or service not known 32M /var/ 30M /var/lib 18M /var/lib/apt/lists 18M /var/lib/apt 13M /var/lib/dpkg ./iob_diag: line 118: journalctl: command not found /opt/iobroker/backups: 582M /opt/iobroker/backups/Edit :
/var: sudo: unable to resolve host iobrokerv6: Name or service not knownnicht beachten das liegt an der Host installation ... im Bridge ist diese Meldung nicht !
Synology 918+ 16GB - ioBroker in Docker v9 , VISO auf Trekstor Primebook C13 13,3" , Hikvision Domkameras mit Surveillance Station .. CCU RaspberryMatic in Synology VM .. Zigbee CC2538+CC2592 .. Sonoff .. KNX .. Modbus ..
-
Files in neuralgic directories: /var: sudo: unable to resolve host iobrokerv6: Name or service not known 32M /var/ 30M /var/lib 18M /var/lib/apt/lists 18M /var/lib/apt 13M /var/lib/dpkg ./iob_diag: line 118: journalctl: command not found /opt/iobroker/backups: 582M /opt/iobroker/backups/Edit :
/var: sudo: unable to resolve host iobrokerv6: Name or service not knownnicht beachten das liegt an der Host installation ... im Bridge ist diese Meldung nicht !
Thx. Und welche Konservenform ist das?
-
Thx. Und welche Konservenform ist das?
-
Eine Bitte an die Tester die mit LXCs, Docker und anderem virtuellem Zeuch ;-) unterwegs sind:
Könnt ihr nochmal das Skript wie oben im ersten Posting lokal installieren und zurückmelden, was an der Stelle "FILESYSTEM" bei diesen Systemen passiert und was da zu journalctl zurückgemeldet wird?Files in neuralgic directories: /var: 570M /var/ 203M /var/cache 195M /var/cache/apt 164M /var/lib 130M /var/lib/apt ********* HIER WIRDS INTERESSANT ******** Archived and active journals take up 93.1M in the file system. /opt/iobroker/backups: 4.0K /opt/iobroker/backups/Danke schön!
@thomas-braun sagte in iob diag - Skript:
LXCs
bekomm leider nur die Endauswertung
======================= SUMMARY ======================= v.2023-04-02 Operatingsystem: Ubuntu 20.04.5 LTS Kernel: 5.15.30-2-pve Installation: lxc Timezone: Europe/Vienna (CEST, +0200) User-ID: 1001 X-Server: false Boot Target: graphical.target Pending OS-Updates: 50 Pending iob updates: 2 Nodejs-Installation: /usr/bin/nodejs v16.19.0 /usr/bin/node v16.19.0 /usr/bin/npm 8.19.3 /usr/bin/npx 8.19.3 Recommended versions are nodejs 18.x.y and npm 9.x.y MEMORY: total used free shared buff/cache available Mem: 10G 5.4G 2.9G 0.0K 1.7G 4.6G Swap: 2.0G 1.3G 731M Total: 12G 6.8G 3.7G Active iob-Instances: 58 Active repo(s): Beta (latest) ioBroker Core: js-controller 4.0.24 admin 6.4.3 ioBroker Status: iobroker is running on this host. Objects type: jsonl States type: jsonl Status admin and web instance: + system.adapter.admin.0 : admin : ioBroker - enabled, port: 8081, bind: 0.0.0.0 (SSL), run as: admin + system.adapter.web.0 : web : ioBroker - enabled, port: 8082, bind: 0.0.0.0, run as: admin Objects: 49391 States: 45491 Size of iob-Database: 58M /opt/iobroker/iobroker-data/objects.jsonl 29M /opt/iobroker/iobroker-data/objects.json.migrated 29M /opt/iobroker/iobroker-data/objects.json.bak.migrated 0 /opt/iobroker/iobroker-data/objects.json.broken 148M /opt/iobroker/iobroker-data/states.jsonl 9.4M /opt/iobroker/iobroker-data/states.json.migrated 9.4M /opt/iobroker/iobroker-data/states.json.bak.migrated 0 /opt/iobroker/iobroker-data/states.json.broken =================== END OF SUMMARY ====================° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix -
@thomas-braun sagte in iob diag - Skript:
LXCs
bekomm leider nur die Endauswertung
======================= SUMMARY ======================= v.2023-04-02 Operatingsystem: Ubuntu 20.04.5 LTS Kernel: 5.15.30-2-pve Installation: lxc Timezone: Europe/Vienna (CEST, +0200) User-ID: 1001 X-Server: false Boot Target: graphical.target Pending OS-Updates: 50 Pending iob updates: 2 Nodejs-Installation: /usr/bin/nodejs v16.19.0 /usr/bin/node v16.19.0 /usr/bin/npm 8.19.3 /usr/bin/npx 8.19.3 Recommended versions are nodejs 18.x.y and npm 9.x.y MEMORY: total used free shared buff/cache available Mem: 10G 5.4G 2.9G 0.0K 1.7G 4.6G Swap: 2.0G 1.3G 731M Total: 12G 6.8G 3.7G Active iob-Instances: 58 Active repo(s): Beta (latest) ioBroker Core: js-controller 4.0.24 admin 6.4.3 ioBroker Status: iobroker is running on this host. Objects type: jsonl States type: jsonl Status admin and web instance: + system.adapter.admin.0 : admin : ioBroker - enabled, port: 8081, bind: 0.0.0.0 (SSL), run as: admin + system.adapter.web.0 : web : ioBroker - enabled, port: 8082, bind: 0.0.0.0, run as: admin Objects: 49391 States: 45491 Size of iob-Database: 58M /opt/iobroker/iobroker-data/objects.jsonl 29M /opt/iobroker/iobroker-data/objects.json.migrated 29M /opt/iobroker/iobroker-data/objects.json.bak.migrated 0 /opt/iobroker/iobroker-data/objects.json.broken 148M /opt/iobroker/iobroker-data/states.jsonl 9.4M /opt/iobroker/iobroker-data/states.json.migrated 9.4M /opt/iobroker/iobroker-data/states.json.bak.migrated 0 /opt/iobroker/iobroker-data/states.json.broken =================== END OF SUMMARY ====================@negalein sagte in iob diag - Skript:
bekomm leider nur die Endauswertung
Das ist aber auch das im iobroker inkludierte Skript. Aus meinem Repo kommt die Version von heute. 2023-04-04
-
@negalein sagte in iob diag - Skript:
bekomm leider nur die Endauswertung
Das ist aber auch das im iobroker inkludierte Skript. Aus meinem Repo kommt die Version von heute. 2023-04-04
@thomas-braun sagte in iob diag - Skript:
Das ist aber auch das im iobroker inkludierte Skript. Aus meinem Repo kommt die Version von heute. 2023-04-04
ich hab das vom 1. Post gemacht
curl https://raw.githubusercontent.com/Grothesk242/iob_diag/main/iob_diag > iob_diag chmod 744 iob_diag ./iob_diag° Node.js: 20.17.0 NPM: 10.8.2
° Proxmox, Ubuntu 22.04.3 LTS
° Fixer ---> iob fix
995
Online32.4k
Users81.5k
Topics1.3m
Posts