Neues YouTube-Video: Visualisierung im Devices-Adapter

[Thomas Braun]

@babl
Da wüde ich in den Skripten mal schauen.

Wie äußern sich denn konkret die 'Performance-Probleme'?

Zigbee macht mir ja nach jedem reboot auch das rebuilden andauernd.

Das liest sich wie eine unsaubere Installation von Zigbee.

[babl]

@thomas-braun Naja, so richtig Probleme, habe ich mit dem load eigentlich nicht es ist schon alles sehr gut erreichbar (vis und Admin) ich habe nur einen Webserver für eine Webseite die ich betreibe und da weiß ich halt daß der load über 1 eigentlich nciht gut ist.

Das mit dem Zigbee wüßte ich eigentlich nicht was ich hier falsch gemacht habe, dies ist seit dem letzten Update so wenn ich den iobroker neu starte oder den Raspi reboot mache dann wird das Zigbee 3 mal "regebuilded" und dann läuft es aber problemlos Tagelang.

In Github meinte der Ersteller vom Zigbee Adapter eventuell das da

Please check if you have the serial port library installed multiple times.

Aber da weiß ich auch nicht weiter. 1. wie man das überprüfen könnte und 2. woher hier eine weitere installation kommen sollte.

Aber auf jeden Fall schon mal herzlichen Danke für eure Mühen.

[babl]

@haselchen die USV ist abgenommen, macht vom Load her keinen Unterschied.

[Homoran]

@homoran sagte in Performance Probleme raspi p4:

Heisst das, dass da ausser ioBroker noch was auf dem RasPi läuft?

da fehlt noch ne Antwort.

und SQL scheint auch noch zu laufen.
Auf dem Raspi selber oder extern?

[babl]

@homoran ja das Nut Server Script läuft noch zusätzlich auf dem Raspi

nach dieser Anleitung:

https://haus-automatisierung.com/projekt/2018/06/03/projekt-nut-server.html

und ja SQL läuft intern auf dem Raspi mit eigener Datenbank, sollte man das mit der Datenbank anders machen?

[Homoran]

@homoran sagte in Performance Probleme raspi p4:

Heisst das, dass da ausser ioBroker noch was auf dem RasPi läuft?

@babl sagte in Performance Probleme raspi p4:

ja das Nut Server Script läuft noch

@babl sagte in Performance Probleme raspi p4:

ja SQL läuft intern auf dem Raspi

Wenn ich jetzt noch was im log finde muss ich dann nochmal fragen oder war das jetzt alles?

@babl sagte in Performance Probleme raspi p4:

sollte man das mit der Datenbank anders machen?

Das ist jetzt nicht das Thema, ich suche im Moment nur Dinge, die die Load "hochtreiben" könnten

[babl]

@homoran sorry, ich bin davon ausgegangen daß sql eigentlich klar sein sollte, daß dies dabei ist und als ich den nut server eingerichtet habe stieg der load ja nicht, darum habe ich daß jetzt auch nicht mit angegeben, aber du hast schon recht sowas ist "schei....." wenn man Hilfe erwartet und nicht alles angibt, sorry dafür.

[Thomas Braun]

@babl sagte in Performance Probleme raspi p4:

In Github meinte der Ersteller vom Zigbee Adapter eventuell das da
Please check if you have the serial port library installed multiple times.

Ja, da ist vermutlich was doppelt / verschachtelt installiert. Ich hatte das mal mit dem ble-Adapter, der wollte auch bei jedem Neustart des ioBroker gebaut werden. Lag aber daran, dass der doppelt installiert war. Hatte die Doublette denn gelöscht, dann war Ruhe.

[Homoran]

@babl sagte in Performance Probleme raspi p4:

sorry, ich bin davon ausgegangen daß sql eigentlich klar sein sollte, daß dies dabei ist

Wo ist SQL dabei?
hast du mySQL/SQLite oder MariaDB auf dem RasPi installiert?

@babl sagte in Performance Probleme raspi p4:

als ich den nut server eingerichtet habe stieg der load ja nicht,

daran liegt ist es auch wahrscheinlich nicht

Aber in der load average ist auch einen großer Anteil an I/O-Vorgängen enthalten.
und wenn eine SQL-Database, in die im Sekundentakt geschrieben wird auf der SD-Karte ist, ist eine so geringe Load average von 1.5 überhaupt nicht verwunderlich.

Also fassen wir mal zusammen. Auf em Raspi läuft

• ioBroker
• mySQL
• NUT-Server
• Zigbee über USB (da weiß ich nicht wie sehr das die I/O belastet)

sonst noch was????

[babl]

@homoran sagte in Performance Probleme raspi p4:

@babl sagte in Performance Probleme raspi p4:

sorry, ich bin davon ausgegangen daß sql eigentlich klar sein sollte, daß dies dabei ist

Wo ist SQL dabei?
hast du mySQL/SQLite oder MariaDB auf dem RasPi installiert?
My SQL auf dem Raspi installiert

@babl sagte in Performance Probleme raspi p4:

als ich den nut server eingerichtet habe stieg der load ja nicht,

daran liegt ist es auch wahrscheinlich nicht
Ok Gut

Aber in der load average ist auch einen großer Anteil an I/O-Vorgängen enthalten.
und wenn eine SQL-Database, in die im Sekundentakt geschrieben wird auf der SD-Karte ist, ist eine so geringe Load average von 1.5 überhaupt nicht verwunderlich.
SD Karte ist falsch ich schreibe auf eine SSD über USB 3, hier habe ich mir ja auch gedacht daß das besser werden sollte mit der SSD Platte als mit der SD Karte

Also fassen wir mal zusammen. Auf em Raspi läuft

• ioBroker Ja
• mySQL
• NUT-Server
• Zigbee über USB (da weiß ich nicht wie sehr das die I/O belastet)

sonst noch was????

IO Broker = Ja
MySQL = Ja
Nut-Server = Ja
Zigbee über Conbee Stick = Ja

USB 3. SSD von Samsung mit 300mb/s
USB 2 Conbee Stick
USB 2 Nut Server USB der USV

Und Natürlich einiges an Visualisierungen

[Homoran]

@babl sagte in Performance Probleme raspi p4:

IO Broker = Ja
MySQL = Ja
Nut-Server = Ja
Zigbee über Conbee Stick = Ja

da ist die Load average nicht ungewöhnlich.

@babl sagte in Performance Probleme raspi p4:

Und Natürlich einiges an Visualisierungen

bei denen findet die Rechenarbeit nicht auf dem RasPi statt, sondern auf dem Frontend.
Wenn du natürlich hochauflösende flot-Charts, die im Sekundentakt aktualisieren hast, sieht das anders aus.

Aber noch mal:
eine load Average von 1.5 ist schon vollkommen mit deinen Anwendungen erklärt.

Das sollte aber den RasPi nicht in die Knie zwingen, das geht erst bei >4 los

[babl]

@homoran ok dann bin ich beruhigt,

wie könnte ich das problem mit dem zigbee jetzt in erfahrung bringen, kannst du mir da vielleicht eventuell auch helfen?

[Homoran]

@babl sagte in Performance Probleme raspi p4:

kannst du mir da vielleicht eventuell auch helfen?

nein, ich nutze zigbee nicht und kenne mich da gar nicht aus.
aber @Thomas-Braun hat doch schon einiges geschrieben.
Hast du das schon ausprobiert?

[babl]

@homoran ok danke, werde ich mal schauen, übrigens so sehen meine VIS aus, sind alle nach dem gleichen Schema.

[Homoran]

@babl sagte in Performance Probleme raspi p4:

übroigens so sehen meine VIS aus, sind alle nach dem gleichen Schema.

was willst du mir damit sagen?
Da ist doch alles in Ordnung, wie ich bereits schrieb:

@homoran sagte in Performance Probleme raspi p4:

eine load Average von 1.5 ist schon vollkommen mit deinen Anwendungen erklärt.
Das sollte aber den RasPi nicht in die Knie zwingen, das geht erst bei >4 los

@babl sagte in Performance Probleme raspi p4:

ich habe nur einen Webserver für eine Webseite die ich betreibe und da weiß ich halt daß der load über 1 eigentlich nciht gut ist.

woher hast du dieses Wissen?
oder läuft die Website auf einem single core?
dann könnte das stimmern

[babl]

woher hast du dieses Wissen?

dies sagte mir der Webhoster, daß bei loads von längerer zeit über 1 die webleistung sinkt und die cpu erhöht werden muß, was ja auch stimmt.

ich habe hier einen v-server mit 6 vcpus und aktuel 12gb ram, die ich jederzeit erweitern oder verringern kann und eine 200gb ssd festplatte

oder läuft die Website auf einem single core?

kann ich dir ehrlich nicht sagen

dann könnte das stimmern

[babl]

@homoran Das mit Zigbee ist nun auch erledigt, vielleicht hilft es jemandem.

Es war tatsächlich so, daß die selben serialen Ports 2 mal verfügbar waren.

Habe es nun laut Beschreibung geregelt.

Zuerst diesen Befehl in der SSh ausgeführt.

ls -l /dev/serial/by-id

Dann dieses in den Zigbee Einstellungen reinkopiert.

/dev/serial/by-id/usb-dresden_elektronik_ingenieurtechnik_GmbH_ConBee_II_DE2255974-if00

Und dann klappt es auch, habe den raspi rebootet und das rebuilden kam nicht mehr.

[OliverIO]

@babl said in Performance Probleme raspi p4:

Hallo Leute,

Ich habe ein paar Probleme mit meinem iobroker und dem dazugehörigen raspi p4 b 4gb.
Habe einen average load zwischen 1 und 1.8.
Es läuft iobroker mit ca. 20 verschiedenen Adaptern drauf darunter zigbee wo bei jedem reboot vom raspi das zigbee neu "rebuilded" werden muss nach dem 3.anlauf ist die Instanz grün.
Raspi ist auf dem neusten softwarestand. Iobroker node 12.22
Habe mir am Wochenende dann eine ssd gegönnt Samsung t5 mit bis zu 350mb schreiben und lesen die hängt am USB 3.
Die Auslastung wird aber nicht besser.
Run Level 3

Ich bin mit meinem Latein am Ende.

Hatte geglaubt dass es mit der ssd besser wäre, aber leider nicht.

Das System ist bei ca. 90% Idle aber was mir Sorgen macht ist der Wert wa bei 0.3

Vielleicht würde jemand So nett sein und mich unterstützen bei meinem Problem

Ich will ungern neu aufsetzen. (Backup wäre vorhanden)

Gruss babl

Solltet ihr noch weitere Infos brauchen kein Problem ich versuche sie euch so weit wie mir möglich zu geben.

darf ich zusammenfassen?

• eigentlich hat dein system gar keine probleme
• vis reagiert annehmbar
• iobroker reagiert annehmbar
• ok da wird immer wieder mal ein build durchgeführt, das scheint aber installation oder software zu sein.

deine einzige annahme ist, das der loadaverage mit 1 bis 1.8 zu hoch ist.

mein system ist ebenfalls bei diesem load average, geht ab und zu mal über 2.
durchschnittliche prozentuale prozessorauslastung ist ca 40%

ich habe einen nuc mit 8gb und einigen docker containern.
mein freier ram ist aktuell an der untergrenze kurz vor dem swappen (das ist meist der größte performance killer),
aber alles ok.

du kannst die prozentwerte der einzelnen prozesse von top mal ein wenig beobachten, aber wenn da keine ausreiser sind und du nix merkst, musst du nix mit neuinstallation machen.

[OliverIO]

@babl said in Performance Probleme raspi p4:

woher hast du dieses Wissen?

dies sagte mir der Webhoster, daß bei loads von längerer zeit über 1 die webleistung sinkt und die cpu erhöht werden muß, was ja auch stimmt.

ich habe hier einen v-server mit 6 vcpus und aktuel 12gb ram, die ich jederzeit erweitern oder verringern kann und eine 200gb ssd festplatte

oder läuft die Website auf einem single core?

kann ich dir ehrlich nicht sagen

dann könnte das stimmern

wie du schreibst hast du 6 virtuelle cpus, dh der rechner kann mindestens 6 verschiedene prozesse gleichzeitig abarbeiten ohne einen kontextwechsel zu einem anderen prozess zu machen. viele cpus haben heute noch hyperthreading wobei der kontextwechsel zwischen prozessen auf einem kern auf hardwareebene optimiert gemacht wird.
ich weiß nicht warum bei webservern das eine spezielle regel sein sollte. selbst apache öffnet intern mehrere parallele prozesse, so das mehrere anfragen gleichzeitig bearbeitet werden können (und auch müssen).
ich gehe nicht davon aus, das du da eine webseite mit 100 gleichzeitigen zugriffen pro sekunde laufen hast. meist langweilen sich webserver eher, da das was sie machen nicht so kompliziert ist (daten lesen und in einen netzwerk port schreiben.

[OliverIO]

@babl
noch eine kleine Ergänzung, wenn du die Prozentuale last deines Rechner errechnen möchtest kannst du das wie folgt:

der folgende befehl gibt die erste zeile aus der prozessor statistik aus

cat /proc/stat | head -n 1

Ergebnis:

cpu  751617006 79683 95862018 3252165113 1730997 0 43411112 0 0 0

Die ersten 4 Zahlen sind die Anteile für
User, Nice, System und Idle

Wenn du die 4 Werte zusammenrechnest hast du 100%
751617006+79683+95862018+3252165113 = 4099723820

Wenn du dann bspw idle durch Gesamt teilst
3252165113 / 4099723820 = 0,793264438

Erhält man einen prozentualen Idle-Anteil von knapp 80%
d.h. der Prozessor ist nur zu etwas mehr wie 20% ausgelastet.

Wer macht daraus ein blockly? :)