Skip to content
  • Home
  • Aktuell
  • Tags
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

  1. ioBroker Community Home
  2. Deutsch
  3. Tester
  4. EXPERIMENTELL: JsonL Datenbank für js-controller

NEWS

  • UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?
    apollon77A
    apollon77
    48
    3
    8.2k

  • Monatsrückblick – September 2025
    BluefoxB
    Bluefox
    13
    1
    1.9k

  • Neues Video "KI im Smart Home" - ioBroker plus n8n
    BluefoxB
    Bluefox
    15
    1
    2.3k

EXPERIMENTELL: JsonL Datenbank für js-controller

Geplant Angeheftet Gesperrt Verschoben Tester
187 Beiträge 20 Kommentatoren 29.1k Aufrufe 28 Watching
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • AlCalzoneA AlCalzone

    @dr-bakterius sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

    Hieß es nicht doppelte Größe und 1.000 Zeilen? Es hat die dreifache Größe und über 10.000 Zeilen mehr!

    Mit doppelte Größe war die Anzahl der Zeilen gemeint. @apollon77 hat das schon richtig wieder gegeben.

    Komprimiert wird, wenn die Anzahl der Zeilen (d.h. Schreib- und Löschoperationen) in der Datei doppelt so hoch ist wie nötig und nur dann wenn diese Anzahl mindestens 1000 beträgt.
    Es wäre also tatsächlich nach weiteren 287 Updates passiert. An den Zahlen können wir durchaus noch schrauben - das war ein erster Wurf.

    Und ja, es kann sein, dass das Starten länger dauert, weil mehr geparsed wird. Ich hab ne Idee wie man das optimieren könnte. Kannst du deine (recht große) Objects DB teilen (auch gerne privat per E-Mail) oder stehen da zu viele Geheimnisse drin?

    Dr. BakteriusD Online
    Dr. BakteriusD Online
    Dr. Bakterius
    Most Active
    schrieb am zuletzt editiert von
    #57

    @alcalzone Okay, danke für die Erklärung. Dann habe ich dich beim ersten Mal falsch verstanden. Alles gut. Nachdem das ganze noch experimentell ist, vermutet man hinter jeder Sache gleich einen Bug. :blush:

    Ich denke, mit 10.700 Objekten bin ich eher im Durchschnitt.

    1 Antwort Letzte Antwort
    0
    • A Offline
      A Offline
      Adnim
      schrieb am zuletzt editiert von
      #58

      Hi!
      habe heute morgen umgestellt. Master läuft auf den ersten Blick einwandfrei. Disk I/o scheint nun in einer andern Welt zu sein.

      Mein Slave bekomme ich aber noch nicht ins Rennen.

      Bekomme nur die Fehlermeldung dort:
      No Connection to Database Possible...

      Current configuration:
      - Objects database:
        - Type: jsonl
        - Host/Unix Socket: 192.165.175.15
        - Port: 9001
      - States database:
        - Type: jsonl
        - Host/Unix Socket: 192.165.175.15
        - Port: 9000
      - Data Directory: ../../iobroker-data/
      

      Muss ich hier noch was anpassen?
      Iobroker Log des Slaves hat auch nur die Fehlermeldung drinne, verbunden mit Restarts deswegen.

      apollon77A 1 Antwort Letzte Antwort
      0
      • A Adnim

        Hi!
        habe heute morgen umgestellt. Master läuft auf den ersten Blick einwandfrei. Disk I/o scheint nun in einer andern Welt zu sein.

        Mein Slave bekomme ich aber noch nicht ins Rennen.

        Bekomme nur die Fehlermeldung dort:
        No Connection to Database Possible...

        Current configuration:
        - Objects database:
          - Type: jsonl
          - Host/Unix Socket: 192.165.175.15
          - Port: 9001
        - States database:
          - Type: jsonl
          - Host/Unix Socket: 192.165.175.15
          - Port: 9000
        - Data Directory: ../../iobroker-data/
        

        Muss ich hier noch was anpassen?
        Iobroker Log des Slaves hat auch nur die Fehlermeldung drinne, verbunden mit Restarts deswegen.

        apollon77A Offline
        apollon77A Offline
        apollon77
        schrieb am zuletzt editiert von
        #59

        @adnim wie sieht die Master konfig aus?

        Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

        • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
        • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
        A 1 Antwort Letzte Antwort
        0
        • apollon77A apollon77

          @adnim wie sieht die Master konfig aus?

          A Offline
          A Offline
          Adnim
          schrieb am zuletzt editiert von
          #60

          @apollon77

          Current configuration:
          - Objects database:
            - Type: jsonl
            - Host/Unix Socket: 127.0.0.1
            - Port: 9001
          - States database:
            - Type: jsonl
            - Host/Unix Socket: 127.0.0.1
            - Port: 9000
          - Data Directory: ../../iobroker-data/
          
          
          apollon77A 1 Antwort Letzte Antwort
          0
          • A Adnim

            @apollon77

            Current configuration:
            - Objects database:
              - Type: jsonl
              - Host/Unix Socket: 127.0.0.1
              - Port: 9001
            - States database:
              - Type: jsonl
              - Host/Unix Socket: 127.0.0.1
              - Port: 9000
            - Data Directory: ../../iobroker-data/
            
            
            apollon77A Offline
            apollon77A Offline
            apollon77
            schrieb am zuletzt editiert von
            #61

            @adnim Jupp der Master erlaubt nur lokale Verbindungen. Schreib in die konfig beim Master mal 0.0.0.0 als ip rein bei beiden dbs. Dann klappt’s auch.

            Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

            • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
            • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
            A ? 2 Antworten Letzte Antwort
            0
            • apollon77A apollon77

              @adnim Jupp der Master erlaubt nur lokale Verbindungen. Schreib in die konfig beim Master mal 0.0.0.0 als ip rein bei beiden dbs. Dann klappt’s auch.

              A Offline
              A Offline
              Adnim
              schrieb am zuletzt editiert von Adnim
              #62

              @apollon77

              Ja dann klappts auch :) Danke!

              Datenbank läuft Stabil, Write Load ist komplett verschwunden super Sache.

              1 Antwort Letzte Antwort
              0
              • FredFF Online
                FredFF Online
                FredF
                Most Active Forum Testing
                schrieb am zuletzt editiert von
                #63

                @apollon77 @AlCalzone
                Angeregt durchs mitlesen des Disk Write Beitrags und auch schon längeren Überlegungen ob ich mein System auf redis umstellen soll oder nicht, habe ich mich nun mal getraut auf jsonl umzustellen.

                Bilder sagen oft mehr als tausend Worte:


                Diskwrites.PNG


                DiskwritesJSONI.PNG

                Einfach Toll wie mit euren stetigen Optimierungen und Verbesserungen die ihr anscheinend aus dem Nichts zaubert (kommt mir nicht wissenden zumindest so vor) ioBroker so weiter entwickelt wird.

                Weiter so!

                1 Antwort Letzte Antwort
                2
                • apollon77A apollon77

                  @adnim Jupp der Master erlaubt nur lokale Verbindungen. Schreib in die konfig beim Master mal 0.0.0.0 als ip rein bei beiden dbs. Dann klappt’s auch.

                  ? Offline
                  ? Offline
                  Ein ehemaliger Benutzer
                  schrieb am zuletzt editiert von
                  #64

                  @apollon77

                  sieht ja echt interessant aus, lohnt es sich von Redis auf jsonl umzustellen??

                  Ich betreibe auf dem iobroker auch ein Redisserver und n Slave auf der Syno..

                  apollon77A 1 Antwort Letzte Antwort
                  0
                  • ? Ein ehemaliger Benutzer

                    @apollon77

                    sieht ja echt interessant aus, lohnt es sich von Redis auf jsonl umzustellen??

                    Ich betreibe auf dem iobroker auch ein Redisserver und n Slave auf der Syno..

                    apollon77A Offline
                    apollon77A Offline
                    apollon77
                    schrieb am zuletzt editiert von
                    #65

                    @ilovegym das musst du wissen. Am Ende kann redis genau so sparsam sein wenn man ihn richtig einrichtet ;-))

                    Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                    • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                    • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                    ? 1 Antwort Letzte Antwort
                    0
                    • apollon77A apollon77

                      @ilovegym das musst du wissen. Am Ende kann redis genau so sparsam sein wenn man ihn richtig einrichtet ;-))

                      ? Offline
                      ? Offline
                      Ein ehemaliger Benutzer
                      schrieb am zuletzt editiert von
                      #66

                      @apollon77

                      Danke, ok, ich wart mal ab, was die Erfahrungen in den nächsten Wochen so zeigen, und wenn ich Zeit habe, teste ich das mit nem Clone mal aus.

                      Denke aber, mein Redis ist schon echt flott.

                      Bin gerade fertig mit der Umstellung von den Xiaomi-Gateways auf n CC26X2R, und hab 140 Sensoren neu angelernt.. :D

                      S 1 Antwort Letzte Antwort
                      1
                      • ? Ein ehemaliger Benutzer

                        @apollon77

                        Danke, ok, ich wart mal ab, was die Erfahrungen in den nächsten Wochen so zeigen, und wenn ich Zeit habe, teste ich das mit nem Clone mal aus.

                        Denke aber, mein Redis ist schon echt flott.

                        Bin gerade fertig mit der Umstellung von den Xiaomi-Gateways auf n CC26X2R, und hab 140 Sensoren neu angelernt.. :D

                        S Offline
                        S Offline
                        saeft_2003
                        Most Active
                        schrieb am zuletzt editiert von
                        #67

                        @ilovegym sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                        Bin gerade fertig mit der Umstellung von den Xiaomi-Gateways auf n CC26X2R, und hab 140 Sensoren neu angelernt.. :D

                        Wow 140... das Gleiche hatte ich vor ca. einem Jahr gemacht und da waren es „nur“ 50 Sensoren und das war schon eine große Arbeit 🙈

                        1 Antwort Letzte Antwort
                        0
                        • ScroungerS Offline
                          ScroungerS Offline
                          Scrounger
                          Developer
                          schrieb am zuletzt editiert von
                          #68

                          @apollon77 @AlCalzone
                          Anbei meine Erfahrungen mit jsonl, einfach nur top, super Arbeit :+1:

                          9dcde5ce-51f8-4d16-8c1f-3c674d9e18af-grafik.png

                          Disk IO pro Stunden liegt jetzt bei 260MiB, statt ursprünglich 35 GiB :-)

                          Weiter ist mir aufgefallen, dass die CPU Last mit jsonl ebenfalls runter gegangen ist:
                          eec939b6-59c0-4fa7-897e-fa692d9790c0-grafik.png

                          <a href="https://github.com/Scrounger/ioBroker.linkeddevices">LinkedDevices Adapter</a>

                          <a href="https://github.com/Scrounger/ioBroker.vis-materialdesign">Material Design Widgets</a>

                          crunchipC L 2 Antworten Letzte Antwort
                          2
                          • ScroungerS Scrounger

                            @apollon77 @AlCalzone
                            Anbei meine Erfahrungen mit jsonl, einfach nur top, super Arbeit :+1:

                            9dcde5ce-51f8-4d16-8c1f-3c674d9e18af-grafik.png

                            Disk IO pro Stunden liegt jetzt bei 260MiB, statt ursprünglich 35 GiB :-)

                            Weiter ist mir aufgefallen, dass die CPU Last mit jsonl ebenfalls runter gegangen ist:
                            eec939b6-59c0-4fa7-897e-fa692d9790c0-grafik.png

                            crunchipC Abwesend
                            crunchipC Abwesend
                            crunchip
                            Forum Testing Most Active
                            schrieb am zuletzt editiert von
                            #69

                            @scrounger sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                            Weiter ist mir aufgefallen, dass die CPU Last mit jsonl ebenfalls runter gegangen ist:

                            bei mir genau das Gegenteil
                            77dcfd91-2071-4051-aa78-fa99f79a4d2a-image.png

                            umgestiegen von Proxmox auf Unraid

                            Dr. BakteriusD 1 Antwort Letzte Antwort
                            0
                            • crunchipC crunchip

                              @scrounger sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                              Weiter ist mir aufgefallen, dass die CPU Last mit jsonl ebenfalls runter gegangen ist:

                              bei mir genau das Gegenteil
                              77dcfd91-2071-4051-aa78-fa99f79a4d2a-image.png

                              Dr. BakteriusD Online
                              Dr. BakteriusD Online
                              Dr. Bakterius
                              Most Active
                              schrieb am zuletzt editiert von Dr. Bakterius
                              #70

                              @crunchip sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                              bei mir genau das Gegenteil

                              Bei mir ist die CPU-Last auch gestiegen. Jedoch nicht ganz so extrem sondern "nur" um ~65% (6,2% > 10,2%). Damit liegt sie etwas höher als zu Beginn mit file|file (9,7%).

                              1 Antwort Letzte Antwort
                              0
                              • A Offline
                                A Offline
                                Adnim
                                schrieb am zuletzt editiert von Adnim
                                #71

                                Meine CPU last hat sich auch um ca.2% erhöht, dafür keinerlei Schreibload mehr. Läuft Spitze. Maybee sollte das der neue StandartStandard werden mit JsonL!?

                                cpu.JPG
                                jsonl.JPG

                                Dr. BakteriusD O 2 Antworten Letzte Antwort
                                0
                                • A Adnim

                                  Meine CPU last hat sich auch um ca.2% erhöht, dafür keinerlei Schreibload mehr. Läuft Spitze. Maybee sollte das der neue StandartStandard werden mit JsonL!?

                                  cpu.JPG
                                  jsonl.JPG

                                  Dr. BakteriusD Online
                                  Dr. BakteriusD Online
                                  Dr. Bakterius
                                  Most Active
                                  schrieb am zuletzt editiert von
                                  #72

                                  @adnim
                                  a) Standard ist keine Standart. :-)

                                  b) In deinem Fall sehe ich einen Anstieg wie bei mir um ~65% (von 2% auf 3,5%) oder 1,5%-Punkte.

                                  A 1 Antwort Letzte Antwort
                                  0
                                  • Dr. BakteriusD Dr. Bakterius

                                    @adnim
                                    a) Standard ist keine Standart. :-)

                                    b) In deinem Fall sehe ich einen Anstieg wie bei mir um ~65% (von 2% auf 3,5%) oder 1,5%-Punkte.

                                    A Offline
                                    A Offline
                                    Adnim
                                    schrieb am zuletzt editiert von
                                    #73

                                    @dr-bakterius
                                    :D danke für den Hinweis! :)

                                    Ja Prozentual ist der Anstieg schon heftig. Aber da bin ich ganz entspannt das kostet mich etwas Strom, CPU hat ja keinen Verschleiß wie eine Festplatte. Wenn man das noch in den Griff bekommt umso besser, lüppt aber auch so...

                                    Dr. BakteriusD 1 Antwort Letzte Antwort
                                    0
                                    • A Adnim

                                      @dr-bakterius
                                      :D danke für den Hinweis! :)

                                      Ja Prozentual ist der Anstieg schon heftig. Aber da bin ich ganz entspannt das kostet mich etwas Strom, CPU hat ja keinen Verschleiß wie eine Festplatte. Wenn man das noch in den Griff bekommt umso besser, lüppt aber auch so...

                                      Dr. BakteriusD Online
                                      Dr. BakteriusD Online
                                      Dr. Bakterius
                                      Most Active
                                      schrieb am zuletzt editiert von
                                      #74

                                      @adnim Stimme dir eh zu - finde das neue Konzept bisher auch toll. Wobei eine CPU und die anderen Komponenten natürlich auch schneller altern je höher sie belastet werden. Doch das ist bei diesen Werten und im Vergleich zu den Datenträgern wirklich zu vernachlässigen.

                                      1 Antwort Letzte Antwort
                                      0
                                      • ScroungerS Scrounger

                                        @apollon77 @AlCalzone
                                        Anbei meine Erfahrungen mit jsonl, einfach nur top, super Arbeit :+1:

                                        9dcde5ce-51f8-4d16-8c1f-3c674d9e18af-grafik.png

                                        Disk IO pro Stunden liegt jetzt bei 260MiB, statt ursprünglich 35 GiB :-)

                                        Weiter ist mir aufgefallen, dass die CPU Last mit jsonl ebenfalls runter gegangen ist:
                                        eec939b6-59c0-4fa7-897e-fa692d9790c0-grafik.png

                                        L Offline
                                        L Offline
                                        lonsimbt
                                        schrieb am zuletzt editiert von
                                        #75

                                        @scrounger @crunchip

                                        Bei mir sieht es bzgl. der Diskwrites sehr ähnlich aus:
                                        bild2.jpg
                                        bild1.jpg

                                        Nach der Einstellung geringerer Schreibzyklen für redis (States und Objects) ist die Schreiblast deutlich runtergegangen. Mit der Umstellung auf die aktuelle Version des js-controller und jsonl (erst nur Objects dann States und Objects) ist ein weiterer spürbarer Rückgang zu verzeichnen.

                                        Die CPU-Auslastung geht - insbesondere seit auch die States in der jsonl-DB liegen - spürbar nach oben (~+40 % von 3,25% auf 4,5%).

                                        Gruß Marco

                                        iobroker im Container (debian Bullseye) unter proxmox 7.1
                                        debmatic in VM (debian Buster) unter proxmox 7.1 mit HB-RF-USB und RPI-RF-MOD
                                        40 HomeMatic Geräte, Phillips Hue, Ikea Tradfri, Logitech Harmony Hub, Botvac Connected, Robonect

                                        AlCalzoneA apollon77A 2 Antworten Letzte Antwort
                                        0
                                        • A Adnim

                                          Meine CPU last hat sich auch um ca.2% erhöht, dafür keinerlei Schreibload mehr. Läuft Spitze. Maybee sollte das der neue StandartStandard werden mit JsonL!?

                                          cpu.JPG
                                          jsonl.JPG

                                          O Abwesend
                                          O Abwesend
                                          oFbEQnpoLKKl6mbY5e13
                                          schrieb am zuletzt editiert von oFbEQnpoLKKl6mbY5e13
                                          #76

                                          @adnim sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                                          Maybee sollte das der neue Standard werden mit JsonL!?

                                          Wieviele hatten denn seit ihrer Umstellung Situationen, in denen das neue Schreibverfahren seine Robustheit unter Beweis stellen konnte?

                                          1 Antwort Letzte Antwort
                                          0
                                          Antworten
                                          • In einem neuen Thema antworten
                                          Anmelden zum Antworten
                                          • Älteste zuerst
                                          • Neuste zuerst
                                          • Meiste Stimmen


                                          Support us

                                          ioBroker
                                          Community Adapters
                                          Donate

                                          624

                                          Online

                                          32.4k

                                          Benutzer

                                          81.4k

                                          Themen

                                          1.3m

                                          Beiträge
                                          Community
                                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                                          ioBroker Community 2014-2025
                                          logo
                                          • Anmelden

                                          • Du hast noch kein Konto? Registrieren

                                          • Anmelden oder registrieren, um zu suchen
                                          • Erster Beitrag
                                            Letzter Beitrag
                                          0
                                          • Home
                                          • Aktuell
                                          • Tags
                                          • Ungelesen 0
                                          • Kategorien
                                          • Unreplied
                                          • Beliebt
                                          • GitHub
                                          • Docu
                                          • Hilfe