NEWS
iob diag - Skript
-
@mickym sagte in iob diag - Skript:
Also tut mir leid, wenn ich da einen Schreck verursacht habe.
Mach sowas NIE NIE NIE WIEDER!!! :-D
@thomas-braun Das Problem - was passiert war, dass ich den chmod nicht ausgeführt hatte und deshalb natürlich, das Skript nicht direkt ausführbar war.
Ich hatte das Skript (also mit eigener Shell aufgerufen) also so aufgerufen:
sh ./iob_diagdann scheint das wohl mit den Steuerbefehlen nicht mehr zu funktionieren. Du kannst das sicher besser erklären. ;) Formatierte Ausgabe funzt auch im Terminalfenster des Debian Desktops.
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun sagte in iob diag - Skript:
Und jetzt kannste auch @simatec fragen, ob man so eine Abfrage nach dem Dateityp nicht auch in JavaScript machen kann und dich der BAckitup-Adapter dann nicht mehr 'nervt' mit dem Hinweis auf lokales Speichern. g
Na ja so schlimm ist das ja nicht - und solange man sowas wegdrücken kann und sich nicht verunsichern lässt, weil man auch nicht alles für bare Münze nimmt, was ein Programm ausspuckt ...
@simatec hätte in meinen Augen mehr am Backup von NodeRed zu tun. Das Issue ist mE viel wichtiger. ;)
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun Das Problem - was passiert war, dass ich den chmod nicht ausgeführt hatte und deshalb natürlich, das Skript nicht direkt ausführbar war.
Ich hatte das Skript (also mit eigener Shell aufgerufen) also so aufgerufen:
sh ./iob_diagdann scheint das wohl mit den Steuerbefehlen nicht mehr zu funktionieren. Du kannst das sicher besser erklären. ;) Formatierte Ausgabe funzt auch im Terminalfenster des Debian Desktops.
Das ist klar... Das ist ja bei mir ein Skript für die sog. 'bash'
Bash (auch BASH oder bash), die Bourne-again shell
die ist etwas 'mächtiger' als die 'sh' shell (die originale Bourne shell).
Wenn mein skript einfach nur ausgeführt wird, dann sorgt die allererste Zeile, die sog. 'shebang' dafür, dass das skript in die richtige shell gekippt wird:
#!/bin/bashschüttet den Code also in /bin/bash rein. Wenn du aber explizit sagst, liebe 'sh' shell, führ mal den folgenden Code aus, dann kann die arme kleine Oma da nicht immer was mit anfangen, mit dem neumodischen Zeug und versucht ihr Bestes...
Und dann kommt da sowas rudimentäres wie bei deinem ersten Aufruf ums Eck. -
@thomas-braun sagte in iob diag - Skript:
Und jetzt kannste auch @simatec fragen, ob man so eine Abfrage nach dem Dateityp nicht auch in JavaScript machen kann und dich der BAckitup-Adapter dann nicht mehr 'nervt' mit dem Hinweis auf lokales Speichern. g
Na ja so schlimm ist das ja nicht - und solange man sowas wegdrücken kann und sich nicht verunsichern lässt, weil man auch nicht alles für bare Münze nimmt, was ein Programm ausspuckt ...
@simatec hätte in meinen Augen mehr am Backup von NodeRed zu tun. Das Issue ist mE viel wichtiger. ;)@mickym Wobei die Aussage bzgl. des lokalen Dateisystems auch bei einem symlink weiterhin richtig ist. Wenn da der Stromausfällt, während die Backup-Datei gerade beackert wird kann die auch über den Jordan gehen. Die Gefahr ist allerdings geringer als bei direktem schreiben in das backups-Verzeichnis.
-
Das ist klar... Das ist ja bei mir ein Skript für die sog. 'bash'
Bash (auch BASH oder bash), die Bourne-again shell
die ist etwas 'mächtiger' als die 'sh' shell (die originale Bourne shell).
Wenn mein skript einfach nur ausgeführt wird, dann sorgt die allererste Zeile, die sog. 'shebang' dafür, dass das skript in die richtige shell gekippt wird:
#!/bin/bashschüttet den Code also in /bin/bash rein. Wenn du aber explizit sagst, liebe 'sh' shell, führ mal den folgenden Code aus, dann kann die arme kleine Oma da nicht immer was mit anfangen, mit dem neumodischen Zeug und versucht ihr Bestes...
Und dann kommt da sowas rudimentäres wie bei deinem ersten Aufruf ums Eck.@thomas-braun Ja das habe ich schon mal gehört, dass man die Shell in der 1. Zeile des Skripts angibt. Aber da habe ich natürlich nicht dran gedacht, dass ich das damit außer Kraft gesetzt habe. Aber vielleicht hilft es ja, wenn mancher in Zukunft, der Dein Skript ausführt, den gleichen Fehler wie ich macht. ;)
-
@mickym Wobei die Aussage bzgl. des lokalen Dateisystems auch bei einem symlink weiterhin richtig ist. Wenn da der Stromausfällt, während die Backup-Datei gerade beackert wird kann die auch über den Jordan gehen. Die Gefahr ist allerdings geringer als bei direktem schreiben in das backups-Verzeichnis.
@thomas-braun sagte in iob diag - Skript:
@mickym Wobei die Aussage bzgl. des lokalen Dateisystems auch bei einem symlink weiterhin richtig ist. Wenn da der Stromausfällt, während die Backup-Datei gerade beackert wird kann die auch über den Jordan gehen. Die Gefahr ist allerdings geringer als bei direktem schreiben in das backups-Verzeichnis.
Der Vorteil ist halt auch, wenn ich die SD-karten wechsle (Ich arbeite ja mit Images) - dann habe ich trotzdem immer die aktuellen Backups zur Verfügung. ;) Und die Gefahr, dass es gerade in den 10 Minuten des backups kaputt geht, ist eher unwahrscheinlich. Allerdings hat der Stick schon manchmal Dateisystemfehler, aber das checke ich halt hin und wieder.
Im Prinzip ist das Backup doch immer kaputt, wenn der Strom während des Backups ausfällt - deswegen geht aber nicht gleich das Dateisystem kaputt.
Wichtig ist doch, dass selbst wenn ich ein neues System aufbauen müsste, dass ich mit einem Link/Mount sofort wieder Zugriff auf die Backups habe.Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun sagte in iob diag - Skript:
@mickym Wobei die Aussage bzgl. des lokalen Dateisystems auch bei einem symlink weiterhin richtig ist. Wenn da der Stromausfällt, während die Backup-Datei gerade beackert wird kann die auch über den Jordan gehen. Die Gefahr ist allerdings geringer als bei direktem schreiben in das backups-Verzeichnis.
Der Vorteil ist halt auch, wenn ich die SD-karten wechsle (Ich arbeite ja mit Images) - dann habe ich trotzdem immer die aktuellen Backups zur Verfügung. ;) Und die Gefahr, dass es gerade in den 10 Minuten des backups kaputt geht, ist eher unwahrscheinlich. Allerdings hat der Stick schon manchmal Dateisystemfehler, aber das checke ich halt hin und wieder.
Im Prinzip ist das Backup doch immer kaputt, wenn der Strom während des Backups ausfällt - deswegen geht aber nicht gleich das Dateisystem kaputt.
Wichtig ist doch, dass selbst wenn ich ein neues System aufbauen müsste, dass ich mit einem Link/Mount sofort wieder Zugriff auf die Backups habe.Wenn der Stick allerdings exklusiv für iob-Backups vorgesehen ist würde ich den direkt nach /opt/iobroker/backups hängen und nicht verlinken.
-
Wenn der Stick allerdings exklusiv für iob-Backups vorgesehen ist würde ich den direkt nach /opt/iobroker/backups hängen und nicht verlinken.
@thomas-braun Nee - da sind auch andere Daten drauf - Also MariaDB, NodeRed Resourcen - also einfach Dinge, die nicht so zeitkritisch sind und aber die SD karte sowohl von den Schreibzugriffen entlastet. Ich bin ja nach wie vor ein Anhänger die root Partition klein zu halten, damit ich meine Images schnell ziehen kann und diese auch nicht so viel Speicherplatz auf den Backup-Medien beanprucht.
Das sind dann die Dinge, warum ich einen Neuaufbau nicht mag, weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben, immer wieder neu machen muss und das ist nicht immer trivial. Hab das auch mit einer influx gemacht - aber ich finde es halt besser, Daten nicht auf der "System-Partition" zu halten. Das war schon immer eine Maxime in meiner "IT-" Karriere oder Erfahrung.
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun Nee - da sind auch andere Daten drauf - Also MariaDB, NodeRed Resourcen - also einfach Dinge, die nicht so zeitkritisch sind und aber die SD karte sowohl von den Schreibzugriffen entlastet. Ich bin ja nach wie vor ein Anhänger die root Partition klein zu halten, damit ich meine Images schnell ziehen kann und diese auch nicht so viel Speicherplatz auf den Backup-Medien beanprucht.
Das sind dann die Dinge, warum ich einen Neuaufbau nicht mag, weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben, immer wieder neu machen muss und das ist nicht immer trivial. Hab das auch mit einer influx gemacht - aber ich finde es halt besser, Daten nicht auf der "System-Partition" zu halten. Das war schon immer eine Maxime in meiner "IT-" Karriere oder Erfahrung.
@mickym sagte in iob diag - Skript:
weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben,
Eigentlich macht man genau das ja nicht (zumidenst nicht unter Unix/Linux).
Da lege ich den file tree über die Partitionen einfach drüber. Deswegen gibt es ja hier auch nicht sowas wie Laufwerksbuchstaben drüben bei den Fenstern. Da muss ich wissen, ach, das liegt ja auf dem XYZ-Laufwerk, stimmt ja.
Bei einem 'file tree' ist das wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware unten drunter. -
@mickym sagte in iob diag - Skript:
weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben,
Eigentlich macht man genau das ja nicht (zumidenst nicht unter Unix/Linux).
Da lege ich den file tree über die Partitionen einfach drüber. Deswegen gibt es ja hier auch nicht sowas wie Laufwerksbuchstaben drüben bei den Fenstern. Da muss ich wissen, ach, das liegt ja auf dem XYZ-Laufwerk, stimmt ja.
Bei einem 'file tree' ist das wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware unten drunter.@thomas-braun sagte in iob diag - Skript:
Bei einem 'file tree' ist da wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware untendrunter.
Na ja - das ist ja auch gut und ich mag das ja auch alles unter einem Baum zu haben. So sind halt alle meine Daten bei mir unter /data und das ist halt ein externer Datenträger und belastet somit die Systempartition nicht.
Die /var/xx directories auf externe Datenträger zu verlinken, in das die Programme oft standardmäßig ihre Daten reinschreiben, das mag ich halt nicht, weil da halt auch viele systemrelevante Daten und Logs liegen.
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun sagte in iob diag - Skript:
Bei einem 'file tree' ist da wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware untendrunter.
Na ja - das ist ja auch gut und ich mag das ja auch alles unter einem Baum zu haben. So sind halt alle meine Daten bei mir unter /data und das ist halt ein externer Datenträger und belastet somit die Systempartition nicht.
Die /var/xx directories auf externe Datenträger zu verlinken, in das die Programme oft standardmäßig ihre Daten reinschreiben, das mag ich halt nicht, weil da halt auch viele systemrelevante Daten und Logs liegen.
Ich weiß ja nicht wie groß der Stick ist, aber ich würde den in entsprechende Partitionen einteilen und die dann an passender Stelle einhängen.
- Partition für /wo/auch/immer/mariadb-daten liegen
- Partition für /wo/auch/immer/node-red/sein/zeug/hinwirft
- Partionen für /opt/iobroker/backups
Dann brauchste nur die /etc/fstab sichern und hast direkt wieder den Lageplan wie das alles zusammengehört. Muss man sich nur einmal überlegen.
-
Ich weiß ja nicht wie groß der Stick ist, aber ich würde den in entsprechende Partitionen einteilen und die dann an passender Stelle einhängen.
- Partition für /wo/auch/immer/mariadb-daten liegen
- Partition für /wo/auch/immer/node-red/sein/zeug/hinwirft
- Partionen für /opt/iobroker/backups
Dann brauchste nur die /etc/fstab sichern und hast direkt wieder den Lageplan wie das alles zusammengehört. Muss man sich nur einmal überlegen.
@thomas-braun Ok ja das ist auch ein Lösung. Allerdings haben verschiedene Partitionen auch den Nachteil, dass Du halt den Speicherplatz sehr genau planen musst. So teilen sich die verschiedenen Systeme, den Platz dynamisch. (Natürlich können sich dann die verschiedenen Systeme auch gegenseitig negativ beeinflussen. ;) )
Aber das wird etwas philosophisch.
Aber wichtig bleibt, dass die Daten den Systemdatenträger nicht belasten. Wir kennen doch beide Kandidaten, dessen Backups die Systempartition so zugemüllt haben, dass das System bald nicht mehr hochgekommen ist. Jedenfalls kann mir das nicht passieren. Aber ich hab auch nicht alle Daten ausgelagert. Die Objekte und States des iob sind ja weiterhin auf dem Systemdatenträger.
Im Moment siehst ja wie die Auslastung der Datenträger ist:
*** FILESYSTEM *** Filesystem Type Size Used Avail Use% Mounted on /dev/root ext4 14G 9.3G 4.0G 71% / /dev/mmcblk0p1 vfat 253M 31M 222M 13% /boot /dev/sda ext4 29G 3.6G 24G 14% /dataIch nutze die Datenbanken im Moment auch nicht richtig - geschweige denn produktiv. Das steht noch auf meiner Agenda, aber da muss ich noch bissi lernen und die Frage ist halt auch immer, was man mit diesen Graphen und Daten macht. Zieht man daraus wirklich Schlußfolgerungen oder freut man sich nur an dem Zick-Zack. ;)
Ich glaube aber - wir diskutieren hier - an dem Threadthema etwas vorbei. ;) - Aber man kann ja mal so einen allgemeinen Diskussionsthread machen, um verschiedene Ansichten auszutauschen. Ich weiß, wir sind da nicht immer einer Meinung. ;)
Jeder Flow bzw. jedes Script, das ich hier poste implementiert jeder auf eigene Gefahr. Flows und Scripts können Fehler aufweisen und weder der Seitenbetreiber noch ich persönlich können hierfür haftbar gemacht werden. Das gleiche gilt für Empfehlungen aller Art.
-
@thomas-braun Ok ja das ist auch ein Lösung. Allerdings haben verschiedene Partitionen auch den Nachteil, dass Du halt den Speicherplatz sehr genau planen musst. So teilen sich die verschiedenen Systeme, den Platz dynamisch. (Natürlich können sich dann die verschiedenen Systeme auch gegenseitig negativ beeinflussen. ;) )
Aber das wird etwas philosophisch.
Aber wichtig bleibt, dass die Daten den Systemdatenträger nicht belasten. Wir kennen doch beide Kandidaten, dessen Backups die Systempartition so zugemüllt haben, dass das System bald nicht mehr hochgekommen ist. Jedenfalls kann mir das nicht passieren. Aber ich hab auch nicht alle Daten ausgelagert. Die Objekte und States des iob sind ja weiterhin auf dem Systemdatenträger.
Im Moment siehst ja wie die Auslastung der Datenträger ist:
*** FILESYSTEM *** Filesystem Type Size Used Avail Use% Mounted on /dev/root ext4 14G 9.3G 4.0G 71% / /dev/mmcblk0p1 vfat 253M 31M 222M 13% /boot /dev/sda ext4 29G 3.6G 24G 14% /dataIch nutze die Datenbanken im Moment auch nicht richtig - geschweige denn produktiv. Das steht noch auf meiner Agenda, aber da muss ich noch bissi lernen und die Frage ist halt auch immer, was man mit diesen Graphen und Daten macht. Zieht man daraus wirklich Schlußfolgerungen oder freut man sich nur an dem Zick-Zack. ;)
Ich glaube aber - wir diskutieren hier - an dem Threadthema etwas vorbei. ;) - Aber man kann ja mal so einen allgemeinen Diskussionsthread machen, um verschiedene Ansichten auszutauschen. Ich weiß, wir sind da nicht immer einer Meinung. ;)
https://de.wikipedia.org/wiki/Logical_Volume_Manager
Da biste dann auch aus den Partitionsgrößen raus. Spielt dann nämlich keine Rolle mehr. Gut, bei einem USB-Stick wäre das mit einem Schlachtschiff auf Spatzen geschossen...
-
@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.
-
@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.
Stimmt. Ich überlege das auch wieder rauszunehmen.
Aber es sind bewusst nur die letzten 25 Zeilen, damit man da auch nochmal drüberschauen kann. -
@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.
@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!
-
Wenn euch so etwas auffällt bitte diesen Post über die Melden Funktion melden. wir nehmen so etwas dann raus.
@apollon77 sagte in iob diag - Skript:
@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!
äääähhhmm, ja aber!
Viele verstehen so ein log nicht und versuchen es dann auch gar nicht zu lesen.
Vielleicht wäre ein zusätzlicher Hinweis: "please remove private data in the last 25 lines" o.ä. hilfreich, wobei dann wieder user, die mit der angelsächsischen Sprache nicht vertraut sind im Nachteil wären.
-
Wenn euch so etwas auffällt bitte diesen Post über die Melden Funktion melden. wir nehmen so etwas dann raus.
@apollon77 sagte in iob diag - Skript:
@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!
äääähhhmm, ja aber!
Viele verstehen so ein log nicht und versuchen es dann auch gar nicht zu lesen.
Vielleicht wäre ein zusätzlicher Hinweis: "please remove private data in the last 25 lines" o.ä. hilfreich, wobei dann wieder user, die mit der angelsächsischen Sprache nicht vertraut sind im Nachteil wären.
erstmal zu Deinem Skript:
eine Supersache, die vielen hilfreich sein wird.
Dann die Frage, ob es sinnvoll wäre, Informationen zu einer multihost-Umgebung zu ermitteln?
Dazu gefunden habe ich nur dieses:
Ausgeführt auf dem iob Master:iobroker multihost browse
No Multihost server found. Make sure iobroker is running on the host where you enabled multihost discovery (and it is not this host)!Ausgeführt auf einem Slave:
iobroker multihost browse1 | 10.10.10.8 | host | 10.10.10.8 | "authentication required"
wobei das auch nur bedingt weiterhilft, denn darüber erhält man keine Informationen welcher Master & Slave verbunden sind.
Über iob selber gibt es nur grundsätzliches dazu:
Ausgeführt auf dem iob Master:
iob status all zeigt u.a.iobroker is running on this host.
At least one iobroker host is running.MULTIHOSTSERVICE/enabled: true
MULTIHOSTSERVICE/secure: trueVielleicht hat ja jemand eine Idee dazu, ob/wie sich diese Infos abfragen lassen?
Und würde das auch andere interessieren?, sodass sich der Aufwand zur Skriptänderung lohnt? -
Ich habe selber kein Multihost in Betrieb, kann das also nicht testen.
Die Identifizierung ist aber etwas tricky, ich habe hier schon diverse 'false positives' gesehen, was Multihost angeht. Daher würde ich da selber die Finger von lassen. Aber auf github nehme ich gerne PRs an. -
Ich habe selber kein Multihost in Betrieb, kann das also nicht testen.
Die Identifizierung ist aber etwas tricky, ich habe hier schon diverse 'false positives' gesehen, was Multihost angeht. Daher würde ich da selber die Finger von lassen. Aber auf github nehme ich gerne PRs an.Eine Bitte an die Tester die mit LXCs, Docker und anderem virtuellem Zeuch ;-) unterwegs sind:
Könnt ihr nochmal das Skript wie oben im ersten Posting lokal installieren und zurückmelden, was an der Stelle "FILESYSTEM" bei diesen Systemen passiert und was da zu journalctl zurückgemeldet wird?Files in neuralgic directories: /var: 570M /var/ 203M /var/cache 195M /var/cache/apt 164M /var/lib 130M /var/lib/apt ********* HIER WIRDS INTERESSANT ******** Archived and active journals take up 93.1M in the file system. /opt/iobroker/backups: 4.0K /opt/iobroker/backups/Danke schön!
968
Online32.4k
Benutzer81.5k
Themen1.3m
Beiträge