Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. ioBroker sehr hohe Diskwrites in Proxmox

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    ioBroker sehr hohe Diskwrites in Proxmox

    This topic has been deleted. Only users with topic management privileges can see it.
    • BBTown
      BBTown @Marty56 last edited by BBTown

      @marty56
      ich habe eher den Eindruck, dass Du dich aufgrund eines Wertes der dir aufgefallen ist (Wearout) künstlich verrückt machst, ohne dass irgend etwas los ist.

      [EDIT]
      auflschlussreich https://forum.iobroker.net/post/566162

      M 1 Reply Last reply Reply Quote 0
      • apollon77
        apollon77 @Marty56 last edited by

        @marty56 an sich muss auch mit file dB niemand an dem Wert etwa ändern. Mit js Controller 3.2/3 haben wir hier optimiert. Und für Controller 3.4 stellen wir Vorauss auf jsonl um was dann nochmals optimiert.

        Am Ende ist die Standardeinstellung ein Kompromiss zwischen wrong Datenverlust im Crash Fall und nicht Zuviel Schreiblast. Also auch wer an dem Wert rumdreht (und das „muss“ keiner) sollte verstehen was er da tut weil es Konsequenzen haben kann.

        Von daher sieh es doch mal so: vllt gibt es ja einen Grund das bestimmte Einstellungen explizit nicht so einfach änderbar sind. ;-))

        M 1 Reply Last reply Reply Quote 0
        • M
          Marty56 @apollon77 last edited by

          @apollon77 Ok. Dann freue ich mich auf die Updates.

          Nachdem ich redis etwas wenig schreiben lasse, ist mein Disk IO auf ca. 500 KB pro Stunde gesunken.

          Diese 500 KB kann ich fast vollständig der SQLite3 DB zuordnen. Wenn ich die ausschalte, dann liegt das Disk IO bei 0 Byte (was auch schon wieder komisch ist, weil das Log ja noch geschrieben wird).

          Kann ich statt SQLite3 eine andere Datenbank nehmen, die so ähnlich wie redis jetzt bei mir nur einmal pro Stunde schreibt?

          paul53 1 Reply Last reply Reply Quote 0
          • paul53
            paul53 @Marty56 last edited by

            @marty56 sagte: wie redis jetzt bei mir nur einmal pro Stunde schreibt?

            Hast Du eine USV? Falls nicht, ist eine Stunde sehr lang.

            M 1 Reply Last reply Reply Quote 0
            • M
              Marty56 @paul53 last edited by

              @paul53 @paul53 Ist schon klar, dass eine Stunde lang ist. Auf der anderen Seite sind meine Zuverlässigkeitsanforderung an meine Homeautomation auch nicht extrem und die Stabilität war bisher tadellos.

              Kann ich eigentlich die SQLlite3 DB in Redis ablegen?
              Vermutlich eine blöde Frage.

              apollon77 1 Reply Last reply Reply Quote 0
              • M
                Marty56 @BBTown last edited by Marty56

                @bbtown keine Ahnung. Ich hatte nach 16 Tagen 5 TByte geschrieben. Das erschien mir schon relativ viel

                1 Reply Last reply Reply Quote 0
                • apollon77
                  apollon77 @Marty56 last edited by

                  @marty56 naja eine Datenbank schreibt Daten die gespeichert werden sollen. Wenn primär Daten dazu kommen sollte es an sich fast egal sein ob alles einmal pro Stunde oder direkt geschrieben wird. Bei SQLite wär ich mir da nicht gaaaanz so sicher ob das equivalent ist aber so weit auseinander sollte es auch wider nicht sein.

                  Datenbanken haben von Natur aus die Anforderung keine Daten zu verlieren 😉 also ob Du eine dB findest die das „bricht“ weiß ich nicht 😉

                  Dr. Bakterius 1 Reply Last reply Reply Quote 0
                  • Dr. Bakterius
                    Dr. Bakterius Most Active @apollon77 last edited by

                    @apollon77 Hat sich denn im controller etwas geändert? Ich habe ja schon seit Monaten 'jsonl' in Betrieb und die geschriebene Datenmenge war seitdem erfreulich gering. Doch seit Ende Juli als die ganzen Updates aufschlugen habe ich wieder eine extreme Schreiblast laut Proxmox (etwa hundertfach!). Laut htop ist es der Prozess iobroker.js-controller. Mit deutlichem Abstand folgt io.backitup.0. Ich habe mal alle Instanzen gruppenweise deaktiviert. Da hat sich nichts geändert. Erst wenn iobroker gestoppt wird, fallen die Schreibzugriffe wieder auf faktisch Null.

                    apollon77 FredF 2 Replies Last reply Reply Quote 0
                    • apollon77
                      apollon77 @Dr. Bakterius last edited by

                      @dr-bakterius Geändert hat sich nichts. Der controller 3.3 hat ne neue Version der jsonl mitgebracht und wenn Du immer noch jsonl nutzt dann sollte das auch weiterhin so sein. AUch bei jsonl hat sich nicht wirklich was geändert.

                      Also checke mal "iobroker setup custom" zuerst. ansonsten muss irgendein adapter "schuld" sein. Den müsstest Du dann finden denke ich

                      Dr. Bakterius 1 Reply Last reply Reply Quote 0
                      • Dr. Bakterius
                        Dr. Bakterius Most Active @apollon77 last edited by

                        @apollon77 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                        Also checke mal "iobroker setup custom"

                        Current configuration:
                        - Objects database:
                          - Type: jsonl
                          - Host/Unix Socket: 127.0.0.1
                          - Port: 9001
                        - States database:
                          - Type: jsonl
                          - Host/Unix Socket: 127.0.0.1
                          - Port: 9000
                        - Data Directory: ../../iobroker-data/
                        

                        Sieht soweit okay aus. Und wie gesagt, ich habe alle Instanzen gestoppt und trotzdem kommt es etwa alle drei Minuten zu einem hohen Diskwrite.

                        'htop' zeigt:
                        htop.png

                        Und unter Proxmox sieht man den gewaltigen Anstieg:
                        proxmox.png

                        Weiß echt nicht was ich noch prüfen könnte...

                        JLeg 1 Reply Last reply Reply Quote 0
                        • FredF
                          FredF Most Active Forum Testing @Dr. Bakterius last edited by FredF

                          @dr-bakterius seitdem jsonl angeboten wird, habe ich ioBroker umgestellt, habe die Diskwrites aber nicht weiter beobachtet.. Controller update habe ich auch schon eine Zeit lang gemacht.
                          So schaut es derzeit aus:
                          6ae4e69a-288e-4eb6-9aec-622d78cf4569-grafik.png
                          iobroker setup custom:

                          Current configuration:
                          - Objects database:
                            - Type: jsonl
                            - Host/Unix Socket: 0.0.0.0
                            - Port: 9001
                          - States database:
                            - Type: jsonl
                            - Host/Unix Socket: 0.0.0.0
                            - Port: 9000
                          - Data Directory: ../../iobroker-data/
                          

                          Was ich am 17.8. um 20 Uhr gemacht habe, das die Werte seit dem wieder höher sind muss ich mal recherchieren...

                          Edit: hmm nichts spannendes passiert, außer das wie vorher auch so ein paar Adapter abfragen starten..

                          K 1 Reply Last reply Reply Quote 0
                          • K
                            Kueppert @FredF last edited by

                            @fredf sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                            iobroker setup custom

                            hab auch mal gerade geschaut, hab auch jsonl bei beidem drin seit langem. Disk io sieht bei mir unauffällig aus:
                            3b9ef98d-5672-4d19-920f-efbb694b3d39-image.png

                            PS: wie komme ich aus dem setup custom wieder raus? ^^ will nichts ändern...

                            FredF Dr. Bakterius 2 Replies Last reply Reply Quote 0
                            • FredF
                              FredF Most Active Forum Testing @Kueppert last edited by FredF

                              @kueppert sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                              PS: wie komme ich aus dem setup custom wieder raus? ^^ will nichts ändern...

                              Einfach alles mit Enter bestätigen

                              Edit: Bzw. mit Strg + c abbrechen

                              K 1 Reply Last reply Reply Quote 1
                              • K
                                Kueppert @FredF last edited by

                                @fredf war in der Proxmox Konsole, da geht kein STRG + C. Hab einfach alles bestätigt ✊

                                1 Reply Last reply Reply Quote 0
                                • Dr. Bakterius
                                  Dr. Bakterius Most Active @Kueppert last edited by

                                  @kueppert sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                                  Disk io sieht bei mir unauffällig aus

                                  Also ich war vor dem Anstieg noch wesentlich weiter unten als du - jetzt habe ich mehr als das doppelte von dir.

                                  Und wie gesagt, alle drei Minuten der Zugriff:
                                  proxmox.png

                                  Wird jetzt sicher nicht gleich meine SSD schrotten, aber interessieren würde mich doch was das ist...

                                  1 Reply Last reply Reply Quote 0
                                  • apollon77
                                    apollon77 last edited by

                                    Dann wiederhole ich was ich oben geschrieben habe: da müsste ein Adapter „schuld“ sein. Finde raus welcher.

                                    Alternativ schau was die jsonl files in iobroker-data machen. Sie müssten ja dann zu dem genannten Zeitpunkt neu komprimiert werden - ergo kleiner werden. Dann schau welches file es ist.

                                    Dr. Bakterius 1 Reply Last reply Reply Quote 0
                                    • Dr. Bakterius
                                      Dr. Bakterius Most Active @apollon77 last edited by

                                      @apollon77 Ich habe jetzt über eine Stunde gesucht. Alle Instanzen beendet und dann der Reihe nach gestartet. Irgendwann sind die Schreibzugriffe angestiegen und häufiger geworden. Einen speziellen Adapter konnte ich dabei nicht ausmachen.

                                      Die 'states.jsonl' steigt laufend in der Größe an, und wird wenn sie ungefähr die doppelte Größe erreicht hat neu geschrieben. Ich steh an... 😕

                                      apollon77 1 Reply Last reply Reply Quote 0
                                      • apollon77
                                        apollon77 @Dr. Bakterius last edited by

                                        @dr-bakterius Ok, also states.jsonl ... und passt das zu "alle 3 Minuten"? Dann hast DU einfach viele state updates ...

                                        Dr. Bakterius 1 Reply Last reply Reply Quote 0
                                        • Dr. Bakterius
                                          Dr. Bakterius Most Active @apollon77 last edited by

                                          @apollon77 Ja, und doch frage ich mich warum das plötzlich so ist. Gäbe es eine Möglichkeit darzustellen wie oft und bei wie vielen Datenpunkten welcher Adapter aktualisiert (in Admin oder Info)?

                                          M apollon77 2 Replies Last reply Reply Quote 0
                                          • M
                                            Marty56 @Dr. Bakterius last edited by

                                            Bei mir läuft in 2-3 Wochen der Swap Speicher voll. Ganz langsam.

                                            Promox PVE Webui öffnet sich dann immer langsamer und am Schluss muss ich die iobroker LVC neu starten.

                                            Es hängt bei mir am History Adapter. Ähnliches Verhalten habe ich auch aber noch schneller beim SQL Adapter beobachtet.

                                            Ich benutze json.l

                                            apollon77 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate
                                            FAQ Cloud / IOT
                                            HowTo: Node.js-Update
                                            HowTo: Backup/Restore
                                            Downloads
                                            BLOG

                                            791
                                            Online

                                            31.8k
                                            Users

                                            80.0k
                                            Topics

                                            1.3m
                                            Posts

                                            35
                                            405
                                            53748
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo