Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. ioBroker sehr hohe Diskwrites in Proxmox

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    ioBroker sehr hohe Diskwrites in Proxmox

    This topic has been deleted. Only users with topic management privileges can see it.
    • amg_666
      amg_666 @apollon77 last edited by

      @apollon77 Hallo, das ist jetzt vlt etwas off-topic aber ich lese diesen thread mit und bei deiner Antwort zu den "state changes" bin ich etwas stutzig geworden.
      Mein System (proxmox container mit debian 10) läuft stabil aber ich habe beim Sonoff Adapter sehr hohe Werte:
      bdbc8ee0-f9e6-41f7-bf67-b99f9fd9c3e7-grafik.png

      Muss ich mir da Sorgen machen oder ist das eben so, wenn man viele (ca 70) Geräte an dem Adapter hat. die auch viele Status-Updates senden?

      apollon77 1 Reply Last reply Reply Quote 0
      • AlCalzone
        AlCalzone Developer @apollon77 last edited by

        @apollon77 Öhhhm, geht das? 😅

        1 Reply Last reply Reply Quote 0
        • apollon77
          apollon77 @amg_666 last edited by apollon77

          @amg_666 naja hast dir die Frage an sich selbst beantwortet. Wenn es viele state changes gibt dann willst du das ja haben also …. Viel state changes der Geräte die beim Adapter ankommen ergeben (logischerweise) auch die gleiche Anzahl States changes in iobroker. ;-))

          Am Ende ist das doch auch nicht schlimm und genau das was du willst.

          1 Reply Last reply Reply Quote 0
          • Dr. Bakterius
            Dr. Bakterius Most Active @apollon77 last edited by

            @apollon77 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

            @AlCalzone vllt willst Du hier sagen wie man das jetzt schon in der iobroker.json konfigurieren kann?

            Wäre genau meine nächste Frage gewesen. 😉

            apollon77 1 Reply Last reply Reply Quote 0
            • apollon77
              apollon77 @Dr. Bakterius last edited by

              @dr-bakterius kk haben geschaut… geht nicht so easy

              1 Reply Last reply Reply Quote 0
              • A
                alexmi last edited by

                Hallo Zusammen,

                vorab erstmal vielen Dank für diese ganzen Infos die man hier im Forum findet.

                Im Bezug auf das Thema Diskwrites habe ich folgendes Problem:

                Ich habe den ioBroker erstmal auf *.jsonl laufen lassen.
                Dabei habe ich festgestellt, dass mehr als 30GB pro Tag auf die SSD geschrieben wurden.
                Ich habe dann testweise man auf Redis umgestellt und habe jetzt 1GB/h also 24GB pro Tag.
                Das finde ich einfach zu viel. Es laufen nur 20 Adapter. Ich kann einfach nicht nachvollziehen wieso so viele Daten geschrieben werden.

                Vielleicht kann mir jemand helfen? Wenn ja, sagt mir bitte, welche Infos ihr von meinem System benötigt.

                Vielen Dank

                apollon77 1 Reply Last reply Reply Quote 0
                • apollon77
                  apollon77 @alexmi last edited by

                  @alexmi hm … naja was ist deine Erwartung wenn es mal einen Crash gibt? Ist Datenverlust ok oder nicht? Wie lang das set Datenverlust sein?

                  20 Adapter ist ohne Angabe welche das sind mit wie vielen Objekten und Anzahl an state changes pro Zeiteinheit auch eine schlechte messgrundlage.

                  Am Ende ist jsonl auf eine Balance zwischen Schreibaktionen und Datenverlust-Zeit optimiert welche für die Erwartungen der User unserer Erfahrung nach kompatibel ist. Am Ende lassen sich hier settings ändern damit es zu deinen Vorstellungen passt.

                  Bei redis sind die standard persistenz settings recht suboptimal und sollten nach deinen Vorstellungen angepasst werden. Muss man sich mit den persistentoptionen beschäftigen und sinnvoll customized einstellen. Es gibt einen redis thread hier im Forum von mir wo zu redis einiges beschrieben ist. Hast du den gelesen?

                  Am Ende hast du ein Smart Home System welches die Haupt Aufgabe hat Daten zu verarbeiten. Ich finde das 24-30gb am Tag nicht viel mit der Sicherheit das ich auch bei einem Crash idealerweise keine bzw. wenige Daten verliere. Sonst gehen nämlich ggf bei einem restart logiken nicht mehr korrekt bis ein wert aktualisiert wurde. Alles eine Frage der Balance …

                  Was ist denn deine Erwartung und Vorstellung?

                  Ingo

                  1 Reply Last reply Reply Quote 0
                  • A
                    alexmi last edited by alexmi

                    Vielen Dank für deine schnelle Antwort Ingo

                    Das was bei mir an Datenverlust entstehen kann, ist für mich in Ordnung. Ich mache täglich ein ioBroker und Redis Backup mit dem Backitup Adapter und habe auch schon ein Backup wieder einspielen müssen, da ich Probleme mit VIS hatte, dass nichts mehr geladen wurde.

                    Ja, ich habe den Redis Beitrag komplett gelesen und mich daraufhin auch erst dort ran getraut. Hat alles problemlos funktioniert.
                    Hab mich mit den persistenoptionen auch auseinandergesetzt.
                    Die CPU Last hat sich mit Redis auf jeden Fall verringert und daher auch die Betriebstemperatur.
                    Ein zurück auf jsonl ist ja wieder jederzeit möglich.

                    Ich habe mit den Datenmengen bisher keine Erfahrungen, mir kam es nur sehr viel vor für das "bisschen" was bei mir läuft.
                    Aber ich bin jetzt erstmal etwas beruhigter, wenn du sagst, dass die Datenmenge in Ordnung ist.

                    Hier kann man mal erkennen, was ich für Adapter installiert habe.
                    Bildschirmfoto 2022-09-05 um 20.07.00.png

                    Objekte: 4858, Zustände: 4170

                    CPU: 0,13 %
                    RAM: 81,1 %
                    Betriebszeit: 4d3h
                    Verfügbar: 4.0.23
                    Installiert: 4.0.23
                    Ereignisse: ⇥18 / ↦13
                    Plattform: linux
                    Betriebssystem: linux
                    Architektur: arm
                    CPUs: 4
                    Geschwindigkeit: 800 MHz
                    Modell: ARMv7 Processor rev 3 (v7l)
                    RAM: 7.2 GB
                    System-Betriebszeit: 4 T. 00:56:47
                    Node.js: v16.17.0
                    time: 1662391338722
                    timeOffset: -120
                    Adapter-Anzahl: 510
                    NPM: 8.18.0
                    Datenträgergröße: 439.8 GB
                    Freier Festplattenspeicher: 422.4 GB
                    Betriebszeit: 4 T. 00:56:51
                    Aktive Instanzen: 17
                    Pfad: /opt/iobroker/

                    Alex

                    Thomas Braun apollon77 2 Replies Last reply Reply Quote 0
                    • Thomas Braun
                      Thomas Braun Most Active @alexmi last edited by

                      @alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                      NPM: 8.18.0

                      Die Version ist aber auch nicht die von nodejs 16.17.0.
                      Da haste mal von Hand dran rumgefummelt.

                      A 1 Reply Last reply Reply Quote 0
                      • A
                        alexmi @Thomas Braun last edited by

                        @thomas-braun Ja das kann sein, bin relativ neu mit dieser Umgebug. Kann dies zu Problemen führen? Dann kann ich ja sicher wieder auf npm 8.15.0 zurück.

                        Thomas Braun 1 Reply Last reply Reply Quote 0
                        • Thomas Braun
                          Thomas Braun Most Active @alexmi last edited by

                          @alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                          Kann dies zu Problemen führen?

                          Aus der Erfahrung: Früher oder später schon. Kommt drauf an wo und wie du diese Version ins System gekleistert hast.

                          A 1 Reply Last reply Reply Quote 0
                          • A
                            alexmi @Thomas Braun last edited by

                            @thomas-braun vor ein paar Tagen über sudo npm install -g npm@latest
                            Sollte ich deiner Meinung zurück auf npm 8.15.0 ?

                            Thomas Braun 1 Reply Last reply Reply Quote 0
                            • Thomas Braun
                              Thomas Braun Most Active @alexmi last edited by

                              @alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                              sudo npm install -g npm@latest

                              Ist Quark.
                              Gewöhn dir das gleich ab.

                              iob stop
                              sudo apt update
                              sudo apt full-upgrade
                              sudo apt install --reinstall nodejs
                              sudo reboot
                              
                              A 1 Reply Last reply Reply Quote 0
                              • A
                                alexmi @Thomas Braun last edited by

                                @thomas-braun ok werde ich tun 🙂
                                hab alles ausgeführt. die npm Version ist aber bei 8.18.0 geblieben.

                                Thomas Braun 2 Replies Last reply Reply Quote 0
                                • Thomas Braun
                                  Thomas Braun Most Active @alexmi last edited by

                                  @alexmi

                                  sudo ln -s /usr/bin/node /usr/bin/nodejs
                                  uname -m && type -P nodejs node npm && nodejs -v && node -v && npm -v && whoami && pwd && sudo apt update &> /dev/null && sudo apt update && apt policy nodejs
                                  

                                  anschauen. Da dürfte der Pfad zu npm dann falsch sein.

                                  A 1 Reply Last reply Reply Quote 0
                                  • A
                                    alexmi @Thomas Braun last edited by

                                    @thomas-braun da wird mir das ausgegeben:
                                    Bildschirmfoto 2022-09-05 um 21.00.03.png

                                    Thomas Braun 1 Reply Last reply Reply Quote 0
                                    • Thomas Braun
                                      Thomas Braun Most Active @alexmi last edited by

                                      @alexmi

                                      Bitte keine Urlaubsbildchen aus der Konsole. So schön ist es da auch nun nicht.
                                      Text in Textform (in CodeTags eingebettet) hier reinkopieren.

                                      A 1 Reply Last reply Reply Quote 0
                                      • Thomas Braun
                                        Thomas Braun Most Active @alexmi last edited by

                                        @alexmi sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                                        die npm Version ist aber bei 8.18.0 geblieben.

                                        Ist sie nicht.

                                        A 1 Reply Last reply Reply Quote 0
                                        • A
                                          alexmi @Thomas Braun last edited by

                                          @thomas-braun

                                          ok kein Problem, sorry 🙂

                                          das bekomme ich dann ausgegeben

                                          armv7l
                                          /usr/bin/nodejs
                                          /usr/bin/node
                                          /usr/bin/npm
                                          v16.17.0
                                          v16.17.0
                                          8.15.0
                                          raspi
                                          /home/raspi
                                          OK:1 http://raspbian.raspberrypi.org/raspbian bullseye InRelease
                                          OK:2 http://archive.raspberrypi.org/debian bullseye InRelease              
                                          OK:3 https://deb.nodesource.com/node_16.x bullseye InRelease               
                                          Paketlisten werden gelesen… Fertig
                                          Abhängigkeitsbaum wird aufgebaut… Fertig
                                          Statusinformationen werden eingelesen… Fertig
                                          Alle Pakete sind aktuell.
                                          nodejs:
                                            Installiert:           16.17.0-deb-1nodesource1
                                            Installationskandidat: 16.17.0-deb-1nodesource1
                                            Versionstabelle:
                                           *** 16.17.0-deb-1nodesource1 500
                                                  500 https://deb.nodesource.com/node_16.x bullseye/main armhf Packages
                                                  100 /var/lib/dpkg/status
                                               12.22.12~dfsg-1~deb11u1 500
                                                  500 http://raspbian.raspberrypi.org/raspbian bullseye/main armhf Packages
                                          
                                          1 Reply Last reply Reply Quote 0
                                          • A
                                            alexmi @Thomas Braun last edited by

                                            @thomas-braun ja, sehe ich auch gerade. Ich hab nur im ioBroker unter Hosts geschaut, da steht sie noch drin.

                                            Thomas Braun 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate
                                            FAQ Cloud / IOT
                                            HowTo: Node.js-Update
                                            HowTo: Backup/Restore
                                            Downloads
                                            BLOG

                                            817
                                            Online

                                            31.9k
                                            Users

                                            80.2k
                                            Topics

                                            1.3m
                                            Posts

                                            35
                                            405
                                            54353
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo