Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. ioBroker sehr hohe Diskwrites in Proxmox

    NEWS

    • Wir empfehlen: Node.js 22.x

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker goes Matter ... Matter Adapter in Stable

    ioBroker sehr hohe Diskwrites in Proxmox

    This topic has been deleted. Only users with topic management privileges can see it.
    • apollon77
      apollon77 @saeft_2003 last edited by

      @saeft_2003 naja weilendes von der redis konfig bezüglich persistent abhängt. Ich glaube mit Standard konfig speichert redis Die dB alle 5 mins ... schau Größe des dump.rdb file an und rechne hoch. Sonst die Save Einstellungen anpassen oder sich hier gibt es eine aof persistentoption. Also dann wie die jsonl dB ;-))

      1 Reply Last reply Reply Quote 0
      • crunchip
        crunchip Forum Testing Most Active @saeft_2003 last edited by crunchip

        @saeft_2003 ich habe im anderen Thread noch nen Spoiler der aktiven Instanzen hinzugefügt, vllt hilft es als Vergleich, so das du raus finden könntest, welchen Adapter ich nicht habe, der eventuell bei dir soviel diskwrite verursacht.

        1 Reply Last reply Reply Quote 0
        • S
          saeft_2003 Most Active last edited by

          Ich habe jetzt den js-controller geupdatet auf 3.2.16 und mein diskwirte, hat sich fast halbiert auf ca. 700 kB. 😊 👍

          Meister Mopper 1 Reply Last reply Reply Quote 0
          • Meister Mopper
            Meister Mopper @saeft_2003 last edited by

            @saeft_2003 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

            Ich habe jetzt den js-controller geupdatet auf 3.2.16 und mein diskwirte, hat sich fast halbiert auf ca. 700 kB.

            Bei mir herrscht nach dem Update auf 3.2.16 auch Ruhe. Vielen Dank an @apollon77 @Bluefox und all die anderen Entwickler. Ihr seid ein tolles Team! 👍

            1 Reply Last reply Reply Quote 1
            • A
              Adnim last edited by Adnim

              Hi,
              lese hier auch von Anfang an mit. Habe ca 2,8 TB Write Volumen in 24h. Macht in der Woche etwas Mehr als 20TB. Bekomme das auch einfach nicht runter. Benutzte zur Zeit Redis für States und Object. Und ein paar Gig zu sparen ist auch nicht ausreichend. Es muss ja massiv weniger werden, habe nicht so richtig Ahnung wo Anfangen zu suchen wo der Load herkommt.

              Habe aber schon mit den Adaptern etwas rumgespielt und habe so im Gefühl das der Hue-Extendend Adapter riesigen Load produziert. konnte hier noch jemand etwas beobachten, bringt Umstellung auf den normalen Hue adapter eine Besserung?

              So brauch ich meinen Iobroker nicht weiter zu betreiben, kann ja nicht andauernd neue Festplatten kaufen...

              Edith: habe aktuellen Stand aus dem Latest alles.

              Meister Mopper S Dr. Bakterius JLeg 4 Replies Last reply Reply Quote 0
              • Meister Mopper
                Meister Mopper @Adnim last edited by

                @adnim Na ja, latest ist beta. Wer weiß, was Dir da die Platte zumüllt.

                1 Reply Last reply Reply Quote 0
                • S
                  saeft_2003 Most Active @Adnim last edited by

                  @adnim

                  Wow das wären ja 2GB pro Minute 😳

                  Zeig mal dein diskwrite chart von proxmox.

                  1 Reply Last reply Reply Quote 0
                  • Dr. Bakterius
                    Dr. Bakterius Most Active @Adnim last edited by

                    @adnim Schon mal https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller getestet? Hat bei mir die Writes praktisch auf Null gesenkt und läuft jetzt seit knapp einer Woche ohne Probleme.

                    1 Reply Last reply Reply Quote 0
                    • JLeg
                      JLeg @Adnim last edited by

                      @adnim wenn du Redis schon benutzt für objects/states - wie gross ist denn die dump.rdb? Und wie oft speichert Redis das auf Disk (Default ist ja eher "minimal alle 60s"...)?

                      apollon77 1 Reply Last reply Reply Quote 0
                      • apollon77
                        apollon77 @JLeg last edited by

                        @jleg Genau das ist auch meine Frage!

                        Der Default würde dir alle 5 Minuten die ganze DB speichern. Wenn states und objects in einer Redis sind dann passiert das auch. bei mir wären das 225MB.

                        An der Stelle macht es sehr grossen sinn mal mindestens Redis persistenz auf "appendonly" umzustellen, dann sollte die Compaction seltener passieren, aber bissl mehr platz brauchen.

                        Ich habe bei mir (wie auch im Redis Forum Artikel von mir vorgeschlagen) STates und Objects in getrennte Redis gepackt und hier States lasse ich nach änderungen schreiben und objekt lasse ich aof schreiben

                        1 Reply Last reply Reply Quote 0
                        • A
                          Adnim last edited by

                          Mein Diskwrite sieht so aus:
                          diskwrite.JPG

                          gesamt.JPG

                          meine Dumb.rdb

                          christoph@iobroker1:/opt/iobroker$ sudo du /var/lib/redis/dump.rdb
                          202988  /var/lib/redis/dump.rdb
                          

                          habe alles auf Standart damals gelassen, nur Installiert.

                          Überlege nun auf die JsonL Datenbank Umzustellen.
                          Wenns da so gute Rückmeldungen gibt, geh ich mal ans Backup und stelle danach um.
                          Gebe Rückmeldung wie es sich danach verhält.

                          apollon77 1 Reply Last reply Reply Quote 0
                          • apollon77
                            apollon77 @Adnim last edited by

                            @adnim sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                            habe alles auf Standart damals gelassen, nur Installiert.

                            (nicht persönlich nehmen) Das ist genau das Problem mit "Ich stell mal eben alles auf Redis um" ... ohne drüber nachzudenken passiert sowas.
                            Hattest Du das vorher gelesen? https://forum.iobroker.net/topic/26327/redis-in-iobroker-überblick

                            A 1 Reply Last reply Reply Quote 0
                            • A
                              Adnim @apollon77 last edited by

                              @apollon77 sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                              nicht persönlich nehmen) Das ist genau das Problem mit "Ich stell mal eben alles auf Redis um" ... ohne drüber nachzudenken passiert sowas.
                              Hattest Du das vorher gelesen? https://forum.iobroker.net/topic/26327/redis-in-iobroker-überblick

                              Hi,
                              nee nehme nix persönlich, bin ja froh das es noch aufgefallen ist und ich was dagegen machen kann, bzw. Ihr mir hier versucht zu helfen!

                              War der Meinung ich hätte mir das damals durchgelesen. Aber so schlau daraus zu Lesen das ich meine Festplatte innerhalb kürzester Zeit mit Standard Einstellungen Schrotte war ich damals nicht!

                              Vg

                              1 Reply Last reply Reply Quote 0
                              • Diginix
                                Diginix last edited by Diginix

                                Hab genau 0 Uhr auch mal auf festen Schreibzyklus alle 60 min für die objects.json umgestellt und die Auswirkung ist recht deutlich. Meine Datei hat 28 MB und wurde vorher zT alle 1-2 Minuten geschrieben, aber aller spätestens alle 5 min wenn ical und dwd liefen.

                                Tag (max)
                                cf3e29f7-a035-40e4-8f73-f62d5f0ac000-image.png

                                Tag (Durchsch.)
                                f5e34a15-9f12-415c-96c9-2079d4f8dd72-image.png

                                Promox läuft noch keine 2 Tage. In den ersten 27 h hatte ich 70 GB total disk write. Da war aber wahrs. auch Aufsetzen, Snapshot usw dabei. In den letzten 8 h kamen nur noch 2 GB hinzu. Ergäbe 250 MB/Stunde.

                                Dr. Bakterius 1 Reply Last reply Reply Quote 0
                                • Dr. Bakterius
                                  Dr. Bakterius Most Active @Diginix last edited by

                                  @diginix sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                                  In den letzten 8 h kamen nur noch 2 GB hinzu. Ergäbe 250 MB/Stunde.

                                  Also 6 GB am Tag. Je nach Größe der ioBroker-Installation ein guter Wert. Ich hatte mit redis für die States, den neuen Controller und die Objects nur alle 60 Minuten etwa 12 GB am Tag.

                                  Mit JSONL komme ich aber auf nur noch auf <80 MB am Tag. Also nochmals um über 99% reduziert!

                                  1 Reply Last reply Reply Quote 3
                                  • S
                                    stenmic @Kalle Blomquist last edited by

                                    Mein Diskwrite hat sich mit JS 3.2 und redis halbiert!
                                    von 40 auf 18GB/Tag. Habe nichts an Config's geändert.
                                    Habt ihr dafür eine Erklärung?
                                    Image 084.jpg

                                    Dr. Bakterius apollon77 2 Replies Last reply Reply Quote 0
                                    • Dr. Bakterius
                                      Dr. Bakterius Most Active @stenmic last edited by

                                      @stenmic sagte in ioBroker sehr hohe Diskwrites in Proxmox:

                                      Habt ihr dafür eine Erklärung?

                                      Was möchtest du denn wissen?

                                      1 Reply Last reply Reply Quote 0
                                      • apollon77
                                        apollon77 @stenmic last edited by

                                        @stenmic Alles auf redis oder sind nur States auf Redis und objects weiterhin "file"? Wenn zweiteres dann ja, der controller hat was optimiert

                                        S 1 Reply Last reply Reply Quote 0
                                        • S
                                          stenmic @apollon77 last edited by

                                          @apollon77 nur die States sind redis.
                                          Danke für die Erklärung.

                                          1 Reply Last reply Reply Quote 0
                                          • S
                                            saeft_2003 Most Active last edited by

                                            Ich habe heute noch was herausgefunden. Ich habe das loglevel vom host in der iobroker.json von info auf warn gestellt. Das hat mein dikwrite von 500k auf 100k verringert 😨

                                            Unbenannt.png

                                            Zugegeben ich habe gleichzeitig noch ein paar Adapter von info auf warn umgestellt, aber erfahrungsgemäß war doch der größte Teil im log vom host (info).

                                            @apollon77 Könnte man es nicht einfacher gestalten den loglevel des host zu verändern? Weil ich denke nicht das der Standart User in der iobroker.json rumfummelt und ich denke auch das würde bei dem ein oder anderen die Lebenszeit der SD Karte verlängern. Was meinst du?

                                            foxriver76 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate
                                            FAQ Cloud / IOT
                                            HowTo: Node.js-Update
                                            HowTo: Backup/Restore
                                            Downloads
                                            BLOG

                                            475
                                            Online

                                            32.0k
                                            Users

                                            80.4k
                                            Topics

                                            1.3m
                                            Posts

                                            35
                                            405
                                            57308
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo