iob diag - Skript

mickym

@thomas-braun Nee - da sind auch andere Daten drauf - Also MariaDB, NodeRed Resourcen - also einfach Dinge, die nicht so zeitkritisch sind und aber die SD karte sowohl von den Schreibzugriffen entlastet. Ich bin ja nach wie vor ein Anhänger die root Partition klein zu halten, damit ich meine Images schnell ziehen kann und diese auch nicht so viel Speicherplatz auf den Backup-Medien beanprucht.

Das sind dann die Dinge, warum ich einen Neuaufbau nicht mag, weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben, immer wieder neu machen muss und das ist nicht immer trivial. Hab das auch mit einer influx gemacht - aber ich finde es halt besser, Daten nicht auf der "System-Partition" zu halten. Das war schon immer eine Maxime in meiner "IT-" Karriere oder Erfahrung.

Thomas Braun

@mickym sagte in iob diag - Skript:

weil man all die Schritte, um die Daten auf anderen Partitionen zu schieben,

Eigentlich macht man genau das ja nicht (zumidenst nicht unter Unix/Linux).
Da lege ich den file tree über die Partitionen einfach drüber. Deswegen gibt es ja hier auch nicht sowas wie Laufwerksbuchstaben drüben bei den Fenstern. Da muss ich wissen, ach, das liegt ja auf dem XYZ-Laufwerk, stimmt ja.
Bei einem 'file tree' ist das wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware unten drunter.

mickym

@thomas-braun sagte in iob diag - Skript:

Bei einem 'file tree' ist da wurscht, da kippe ich immer in den gleichen Pfad, es ändert sich ggf. nur die Hardware untendrunter.

Na ja - das ist ja auch gut und ich mag das ja auch alles unter einem Baum zu haben. So sind halt alle meine Daten bei mir unter /data und das ist halt ein externer Datenträger und belastet somit die Systempartition nicht.

Die /var/xx directories auf externe Datenträger zu verlinken, in das die Programme oft standardmäßig ihre Daten reinschreiben, das mag ich halt nicht, weil da halt auch viele systemrelevante Daten und Logs liegen.

Thomas Braun

@mickym

Ich weiß ja nicht wie groß der Stick ist, aber ich würde den in entsprechende Partitionen einteilen und die dann an passender Stelle einhängen.

Partition für /wo/auch/immer/mariadb-daten liegen
Partition für /wo/auch/immer/node-red/sein/zeug/hinwirft
Partionen für /opt/iobroker/backups

Dann brauchste nur die /etc/fstab sichern und hast direkt wieder den Lageplan wie das alles zusammengehört. Muss man sich nur einmal überlegen.

mickym

@thomas-braun Ok ja das ist auch ein Lösung. Allerdings haben verschiedene Partitionen auch den Nachteil, dass Du halt den Speicherplatz sehr genau planen musst. So teilen sich die verschiedenen Systeme, den Platz dynamisch. (Natürlich können sich dann die verschiedenen Systeme auch gegenseitig negativ beeinflussen. )

Aber das wird etwas philosophisch.

Aber wichtig bleibt, dass die Daten den Systemdatenträger nicht belasten. Wir kennen doch beide Kandidaten, dessen Backups die Systempartition so zugemüllt haben, dass das System bald nicht mehr hochgekommen ist. Jedenfalls kann mir das nicht passieren. Aber ich hab auch nicht alle Daten ausgelagert. Die Objekte und States des iob sind ja weiterhin auf dem Systemdatenträger.

Im Moment siehst ja wie die Auslastung der Datenträger ist:

*** FILESYSTEM ***
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/root      ext4       14G  9.3G  4.0G  71% /
/dev/mmcblk0p1 vfat      253M   31M  222M  13% /boot
/dev/sda       ext4       29G  3.6G   24G  14% /data

Ich nutze die Datenbanken im Moment auch nicht richtig - geschweige denn produktiv. Das steht noch auf meiner Agenda, aber da muss ich noch bissi lernen und die Frage ist halt auch immer, was man mit diesen Graphen und Daten macht. Zieht man daraus wirklich Schlußfolgerungen oder freut man sich nur an dem Zick-Zack.

Ich glaube aber - wir diskutieren hier - an dem Threadthema etwas vorbei. - Aber man kann ja mal so einen allgemeinen Diskussionsthread machen, um verschiedene Ansichten auszutauschen. Ich weiß, wir sind da nicht immer einer Meinung.

Thomas Braun

@mickym

https://de.wikipedia.org/wiki/Logical_Volume_Manager

Da biste dann auch aus den Partitionsgrößen raus. Spielt dann nämlich keine Rolle mehr. Gut, bei einem USB-Stick wäre das mit einem Schlachtschiff auf Spatzen geschossen...

OstfrieseUnterwegs

@Thomas-Braun Ich hab gerade in einem anderen thread gesehen, dass das script inzwischen die letzten Zeilen aus dem log mit ausgibt und die Benutzer die dann hier auch pasten. Aber da stehen manchmal sensible Daten drin, in dem Fall der ical key. Keine Ahnung wie damit umgehen, aber ideal ist das so nicht.

Thomas Braun

@ostfrieseunterwegs

Stimmt. Ich überlege das auch wieder rauszunehmen.
Aber es sind bewusst nur die letzten 25 Zeilen, damit man da auch nochmal drüberschauen kann.

apollon77

@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!

Homoran

Wenn euch so etwas auffällt bitte diesen Post über die Melden Funktion melden. wir nehmen so etwas dann raus.

@apollon77 sagte in iob diag - Skript:

@ostfrieseunterwegs Am Ende postet das aber der User selbst und somit sollte er sehen was er tut und ggf anonymisieren, oder?!

äääähhhmm, ja aber!

Viele verstehen so ein log nicht und versuchen es dann auch gar nicht zu lesen.

Vielleicht wäre ein zusätzlicher Hinweis: "please remove private data in the last 25 lines" o.ä. hilfreich, wobei dann wieder user, die mit der angelsächsischen Sprache nicht vertraut sind im Nachteil wären.

Fritz 0

@Thomas-Braun

erstmal zu Deinem Skript:

eine Supersache, die vielen hilfreich sein wird.

Dann die Frage, ob es sinnvoll wäre, Informationen zu einer multihost-Umgebung zu ermitteln?

Dazu gefunden habe ich nur dieses:
Ausgeführt auf dem iob Master:

iobroker multihost browse
No Multihost server found. Make sure iobroker is running on the host where you enabled multihost discovery (and it is not this host)!

Ausgeführt auf einem Slave:
iobroker multihost browse

1 | 10.10.10.8 | host | 10.10.10.8 | "authentication required"

wobei das auch nur bedingt weiterhilft, denn darüber erhält man keine Informationen welcher Master & Slave verbunden sind.

Über iob selber gibt es nur grundsätzliches dazu:

Ausgeführt auf dem iob Master:
iob status all zeigt u.a.

iobroker is running on this host.
At least one iobroker host is running.

MULTIHOSTSERVICE/enabled: true
MULTIHOSTSERVICE/secure: true

Vielleicht hat ja jemand eine Idee dazu, ob/wie sich diese Infos abfragen lassen?
Und würde das auch andere interessieren?, sodass sich der Aufwand zur Skriptänderung lohnt?

Thomas Braun

@fritz-0

Ich habe selber kein Multihost in Betrieb, kann das also nicht testen.
Die Identifizierung ist aber etwas tricky, ich habe hier schon diverse 'false positives' gesehen, was Multihost angeht. Daher würde ich da selber die Finger von lassen. Aber auf github nehme ich gerne PRs an.

Thomas Braun

Eine Bitte an die Tester die mit LXCs, Docker und anderem virtuellem Zeuch unterwegs sind:
Könnt ihr nochmal das Skript wie oben im ersten Posting lokal installieren und zurückmelden, was an der Stelle "FILESYSTEM" bei diesen Systemen passiert und was da zu journalctl zurückgemeldet wird?

Files in neuralgic directories:

/var:
570M    /var/
203M    /var/cache
195M    /var/cache/apt
164M    /var/lib
130M    /var/lib/apt
********* HIER WIRDS INTERESSANT ********
Archived and active journals take up 93.1M in the file system.

/opt/iobroker/backups:
4.0K    /opt/iobroker/backups/

Danke schön!

Glasfaser

@thomas-braun

Files in neuralgic directories:

/var:
sudo: unable to resolve host iobrokerv6: Name or service not known
32M     /var/
30M     /var/lib
18M     /var/lib/apt/lists
18M     /var/lib/apt
13M     /var/lib/dpkg

./iob_diag: line 118: journalctl: command not found

/opt/iobroker/backups:
582M    /opt/iobroker/backups/

Edit :

/var:
sudo: unable to resolve host iobrokerv6: Name or service not known

nicht beachten das liegt an der Host installation ... im Bridge ist diese Meldung nicht !

Thomas Braun

@glasfaser

Thx. Und welche Konservenform ist das?

Glasfaser

@thomas-braun

Siehe Signatur

Synology 918+ 16GB

Negalein

@thomas-braun sagte in iob diag - Skript:

LXCs

bekomm leider nur die Endauswertung

======================= SUMMARY =======================
                     v.2023-04-02


Operatingsystem:        Ubuntu 20.04.5 LTS
Kernel:                 5.15.30-2-pve
Installation:           lxc
Timezone:               Europe/Vienna (CEST, +0200)
User-ID:                1001
X-Server:               false
Boot Target:            graphical.target

Pending OS-Updates:     50
Pending iob updates:    2

Nodejs-Installation:    /usr/bin/nodejs         v16.19.0
                        /usr/bin/node           v16.19.0
                        /usr/bin/npm            8.19.3
                        /usr/bin/npx            8.19.3

Recommended versions are nodejs 18.x.y and npm 9.x.y

MEMORY:
              total        used        free      shared  buff/cache   available
Mem:            10G        5.4G        2.9G        0.0K        1.7G        4.6G
Swap:          2.0G        1.3G        731M
Total:          12G        6.8G        3.7G

Active iob-Instances:   58
Active repo(s): Beta (latest)

ioBroker Core:          js-controller           4.0.24
                        admin                   6.4.3

ioBroker Status:        iobroker is running on this host.


Objects type: jsonl
States  type: jsonl

Status admin and web instance:
+ system.adapter.admin.0                  : admin                 : ioBroker                                 -  enabled, port: 8081, bind: 0.0.0.0 (SSL), run as: admin
+ system.adapter.web.0                    : web                   : ioBroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin

Objects:                49391
States:                 45491

Size of iob-Database:

58M     /opt/iobroker/iobroker-data/objects.jsonl
29M     /opt/iobroker/iobroker-data/objects.json.migrated
29M     /opt/iobroker/iobroker-data/objects.json.bak.migrated
0       /opt/iobroker/iobroker-data/objects.json.broken
148M    /opt/iobroker/iobroker-data/states.jsonl
9.4M    /opt/iobroker/iobroker-data/states.json.migrated
9.4M    /opt/iobroker/iobroker-data/states.json.bak.migrated
0       /opt/iobroker/iobroker-data/states.json.broken



=================== END OF SUMMARY ====================

Thomas Braun

@negalein sagte in iob diag - Skript:

bekomm leider nur die Endauswertung

Das ist aber auch das im iobroker inkludierte Skript. Aus meinem Repo kommt die Version von heute. 2023-04-04

Negalein

@thomas-braun sagte in iob diag - Skript:

Das ist aber auch das im iobroker inkludierte Skript. Aus meinem Repo kommt die Version von heute. 2023-04-04

ich hab das vom 1. Post gemacht

curl https://raw.githubusercontent.com/Grothesk242/iob_diag/main/iob_diag > iob_diag
chmod 744 iob_diag
./iob_diag

Glasfaser

@negalein

Jipp ich auch

das kommt :

Skript v.2023-04-02

NEWS

iob diag - Skript

iob diag - Skript

Support us

606

32.4k

81.3k

1.3m