Skip to content
  • Home
  • Aktuell
  • Tags
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. Tester
  4. EXPERIMENTELL: JsonL Datenbank für js-controller

NEWS

  • UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?
    apollon77A
    apollon77
    48
    3
    8.5k

  • Monatsrückblick – September 2025
    BluefoxB
    Bluefox
    13
    1
    2.0k

  • Neues Video "KI im Smart Home" - ioBroker plus n8n
    BluefoxB
    Bluefox
    15
    1
    2.6k

EXPERIMENTELL: JsonL Datenbank für js-controller

Geplant Angeheftet Gesperrt Verschoben Tester
187 Beiträge 20 Kommentatoren 29.4k Aufrufe 28 Watching
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • ? Offline
    ? Offline
    Ein ehemaliger Benutzer
    schrieb am zuletzt editiert von
    #176

    @apollon77 ah ok, Danke, dann schau ich mal genauer, was viel frisst.. sind 75000 objects oder so.
    Zur Zeit hab ich Multihost, der Master laeuft in einem lxc mit Debian 10(von 8 auf 9 auf 10 gezogen), dazu 4 Raspi's mit jeweils 1-3 Instanzen..

    Mein Plan ist, die Raspi's auf 1 zu minimieren, und Multihost mit mindestens 3 lxc auf mindestens 3 Nodes verteilt zu erstellen, um eben die Last zu verteilen und auch bei einem Ausfall einer Node/lxc nur ein Teilausfall zu haben.

    Im Moment ist Zeit das groesste Problem, laufen tuts ja ..

    apollon77A 1 Antwort Letzte Antwort
    0
    • ? Ein ehemaliger Benutzer

      @apollon77 ah ok, Danke, dann schau ich mal genauer, was viel frisst.. sind 75000 objects oder so.
      Zur Zeit hab ich Multihost, der Master laeuft in einem lxc mit Debian 10(von 8 auf 9 auf 10 gezogen), dazu 4 Raspi's mit jeweils 1-3 Instanzen..

      Mein Plan ist, die Raspi's auf 1 zu minimieren, und Multihost mit mindestens 3 lxc auf mindestens 3 Nodes verteilt zu erstellen, um eben die Last zu verteilen und auch bei einem Ausfall einer Node/lxc nur ein Teilausfall zu haben.

      Im Moment ist Zeit das groesste Problem, laufen tuts ja ..

      apollon77A Offline
      apollon77A Offline
      apollon77
      schrieb am zuletzt editiert von
      #177

      @ilovegym Die reine Anzahl (die interessant hoch ist) ist nicht das Thema ... am Ende kommt die Last von Aktionen auf die DB ... und da schau mal welche Instanz da Daten "spammt" ... aber wenn Redis so "am Limit" ist dann ist eher die Farge ob die ne bessere CPU findest für den Redis LXC :-) Aber da bringt jsonl nicht viel denke ich.

      PS: Was sinds denn für Nucs? Ehere die "Nuc6 ecke" mit Pentiums/Celerons oder Nuc8 mit i5?

      Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

      • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
      • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
      ? 1 Antwort Letzte Antwort
      0
      • apollon77A apollon77

        @ilovegym Die reine Anzahl (die interessant hoch ist) ist nicht das Thema ... am Ende kommt die Last von Aktionen auf die DB ... und da schau mal welche Instanz da Daten "spammt" ... aber wenn Redis so "am Limit" ist dann ist eher die Farge ob die ne bessere CPU findest für den Redis LXC :-) Aber da bringt jsonl nicht viel denke ich.

        PS: Was sinds denn für Nucs? Ehere die "Nuc6 ecke" mit Pentiums/Celerons oder Nuc8 mit i5?

        ? Offline
        ? Offline
        Ein ehemaliger Benutzer
        schrieb am zuletzt editiert von
        #178

        @apollon77

        ah, deshalb.. redis laeuft im lxc von iobroker... und den hab ich zum Jahreswechsel vom HP DL380 G8 mit 2x Xeon E5-2680 128GB Ram 12TB SAS auf n NUC I 5 G8 mit 16GB gezogen.. er zeigt 30% CPU Last, braucht ca. 6GB Ram, hat keine nennenswerte I/O delays.. ( also alles mit Proxmox )
        Hatte eigentlich vor, den HP Server zu verkaufen, da mit 200W / 45 Euro Strom im Monat schon n Unterschied zu den NUC's, da braucht einer 18W, hab davon mal 3 geholt..

        Wenn ich dadurch Performance Probleme bekomm, werf ich den HP wieder an.. Leistung sollte fuern Redis Container ausreichen :-)
        Sonoff-Adapter mit ca 140 Tasmota Devices, Zigbee Adapter mit 195 devices..

        apollon77A 1 Antwort Letzte Antwort
        0
        • ? Ein ehemaliger Benutzer

          @apollon77

          ah, deshalb.. redis laeuft im lxc von iobroker... und den hab ich zum Jahreswechsel vom HP DL380 G8 mit 2x Xeon E5-2680 128GB Ram 12TB SAS auf n NUC I 5 G8 mit 16GB gezogen.. er zeigt 30% CPU Last, braucht ca. 6GB Ram, hat keine nennenswerte I/O delays.. ( also alles mit Proxmox )
          Hatte eigentlich vor, den HP Server zu verkaufen, da mit 200W / 45 Euro Strom im Monat schon n Unterschied zu den NUC's, da braucht einer 18W, hab davon mal 3 geholt..

          Wenn ich dadurch Performance Probleme bekomm, werf ich den HP wieder an.. Leistung sollte fuern Redis Container ausreichen :-)
          Sonoff-Adapter mit ca 140 Tasmota Devices, Zigbee Adapter mit 195 devices..

          apollon77A Offline
          apollon77A Offline
          apollon77
          schrieb am zuletzt editiert von
          #179

          @ilovegym Ok, laaaaangsam!! Ich glaube Du hast es falsch verstanden.

          Die Benchmark Tests die wir gemacht haben in den letzten Wochen zeigen interessante Dinge. Siehe auch https://www.iobroker.net/#de/blog/2021_12_15

          Vor allem das die ganze "NUC5/6/7" Ecke mit Celeron/Pentium im Vergleich zu den i5 zB ab NUC8 aufwärts ein Mega Durchsatz Unterschied ist. Wie diesbezüglich Xeons abscheiden weiss ich nicht ... könntest mal Benchmark Adapter laufen lassen dann können wir es einordnen :-)

          Von daher ist der i5 schon gut

          Anaonsten: Dein Redis braucht 6GB RAM????? Oder hab ich das gerade falsch verstanden? Dann solltest DU mal schauen ob nicht irgendein Adapter hier den ioBroker storage zumüllt (gabs letztens wo ein Adapter immer neue Bilder von ner Tür Kamera abgelegthat aber nie gelsöcht hat ... ergo x GB an "Bildern".

          Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

          • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
          • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
          ? 1 Antwort Letzte Antwort
          0
          • apollon77A apollon77

            @ilovegym Ok, laaaaangsam!! Ich glaube Du hast es falsch verstanden.

            Die Benchmark Tests die wir gemacht haben in den letzten Wochen zeigen interessante Dinge. Siehe auch https://www.iobroker.net/#de/blog/2021_12_15

            Vor allem das die ganze "NUC5/6/7" Ecke mit Celeron/Pentium im Vergleich zu den i5 zB ab NUC8 aufwärts ein Mega Durchsatz Unterschied ist. Wie diesbezüglich Xeons abscheiden weiss ich nicht ... könntest mal Benchmark Adapter laufen lassen dann können wir es einordnen :-)

            Von daher ist der i5 schon gut

            Anaonsten: Dein Redis braucht 6GB RAM????? Oder hab ich das gerade falsch verstanden? Dann solltest DU mal schauen ob nicht irgendein Adapter hier den ioBroker storage zumüllt (gabs letztens wo ein Adapter immer neue Bilder von ner Tür Kamera abgelegthat aber nie gelsöcht hat ... ergo x GB an "Bildern".

            ? Offline
            ? Offline
            Ein ehemaliger Benutzer
            schrieb am zuletzt editiert von
            #180

            @apollon77 ok, das mit den Benchmarks schau ich mir mal in Ruhe an.

            Nee Redis laeuft auf dem gleichen Host wie der ioBroker, das werde ich mal trennen, ist vielleicht ne gute Idee..
            meinte der ganze Host braucht um die 6 GB Ram. Influx ist auf nem eigenen Host installiert.
            So siehts zur Zeit aus, gerade mal connected, sieht doch ganz gechillt aus.. :
            ed4d1269-613f-4299-94b6-bb9d5e378f50-image.png

            AlCalzoneA apollon77A 2 Antworten Letzte Antwort
            0
            • ? Ein ehemaliger Benutzer

              @apollon77 ok, das mit den Benchmarks schau ich mir mal in Ruhe an.

              Nee Redis laeuft auf dem gleichen Host wie der ioBroker, das werde ich mal trennen, ist vielleicht ne gute Idee..
              meinte der ganze Host braucht um die 6 GB Ram. Influx ist auf nem eigenen Host installiert.
              So siehts zur Zeit aus, gerade mal connected, sieht doch ganz gechillt aus.. :
              ed4d1269-613f-4299-94b6-bb9d5e378f50-image.png

              AlCalzoneA Offline
              AlCalzoneA Offline
              AlCalzone
              Developer
              schrieb am zuletzt editiert von
              #181

              @ilovegym Wie viel ackern deine Skripte denn? Wenn das die permanente CPU-Last von Sonoff/Javascript/Redis ist, dann kommt mir das verdammt viel vor.
              Ich mag zwar nicht ganz so viele aktive Adapter haben, aber das hier ist meine CPU-Last auf nem Pi3, der nicht so viel auf dem Kasten hat:
              99e03df8-57fd-4b2a-aac7-31334a0abe74-grafik.png

              Warum `sudo` böse ist: https://forum.iobroker.net/post/17109

              1 Antwort Letzte Antwort
              0
              • apollon77A Offline
                apollon77A Offline
                apollon77
                schrieb am zuletzt editiert von
                #182

                Jo interessant ... also mein System liegt bei redis so bei 2-3% und auch javascript liegt in dem Rahmen.

                Aber ja wenn bei dir ggf der sonoff seeehr viele Daten reinbekommt (solltest du im Admin sehen können unter "Instanzen" im expertenmodus) dann hat es javascritp und redis auch weil JavaScript abonniert im Standard "alles".

                Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                1 Antwort Letzte Antwort
                0
                • ? Ein ehemaliger Benutzer

                  @apollon77 ok, das mit den Benchmarks schau ich mir mal in Ruhe an.

                  Nee Redis laeuft auf dem gleichen Host wie der ioBroker, das werde ich mal trennen, ist vielleicht ne gute Idee..
                  meinte der ganze Host braucht um die 6 GB Ram. Influx ist auf nem eigenen Host installiert.
                  So siehts zur Zeit aus, gerade mal connected, sieht doch ganz gechillt aus.. :
                  ed4d1269-613f-4299-94b6-bb9d5e378f50-image.png

                  apollon77A Offline
                  apollon77A Offline
                  apollon77
                  schrieb am zuletzt editiert von
                  #183

                  @ilovegym sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                  @apollon77 ok, das mit den Benchmarks schau ich mir mal in Ruhe an.

                  Schreib mich an dann geb ich dir alle infos

                  Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                  • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                  • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                  1 Antwort Letzte Antwort
                  0
                  • P Offline
                    P Offline
                    peterfido
                    schrieb am zuletzt editiert von
                    #184

                    @apollon77

                    ich habe mal spaßeshalber die States type von Redis auf jsonl umgestellt.

                    Danach dauert es eine gefühlte Ewigkeit, bis nach einem Neustart Adapter wie VIS wieder oben sind. Zurück auf Redis kann ich nach wenigen Sekunden die VIS-Seiten schon wieder im Browser betrachten.

                    Die Objects type ist bei mir auf jsonl. Da wurde beim Update wohl automatisch von File her umgestellt. Ist es ratsam für höhere Geschwindigkeit die Objekte auf Redis umzustellen?

                    Gruß

                    Peterfido


                    Proxmox auf Intel NUC12WSHi5
                    ioBroker: Debian (VM)
                    CCU: Debmatic (VM)
                    Influx: Debian (VM)
                    Grafana: Debian (VM)
                    eBus: Debian (VM)
                    Zigbee: Debian (VM) mit zigbee2mqtt

                    apollon77A 1 Antwort Letzte Antwort
                    0
                    • P peterfido

                      @apollon77

                      ich habe mal spaßeshalber die States type von Redis auf jsonl umgestellt.

                      Danach dauert es eine gefühlte Ewigkeit, bis nach einem Neustart Adapter wie VIS wieder oben sind. Zurück auf Redis kann ich nach wenigen Sekunden die VIS-Seiten schon wieder im Browser betrachten.

                      Die Objects type ist bei mir auf jsonl. Da wurde beim Update wohl automatisch von File her umgestellt. Ist es ratsam für höhere Geschwindigkeit die Objekte auf Redis umzustellen?

                      apollon77A Offline
                      apollon77A Offline
                      apollon77
                      schrieb am zuletzt editiert von
                      #185

                      @peterfido sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

                      Danach dauert es eine gefühlte Ewigkeit, bis nach einem Neustart Adapter wie VIS wieder oben sind. Zurück auf Redis kann ich nach wenigen Sekunden die VIS-Seiten schon wieder im Browser betrachten.

                      Was genau meinst du? Meinst du "bis die Vis gestartet ist" oder meinst du "Bis die Adapter gestartet sind"?

                      Wie "groß" sind denn deine Visus so? Je nachdem wieviele Daten geladen werden müssen kann das schon einen Unterschied machen. Redis hat da halt einen größeren Durchsatz.

                      Die Objects type ist bei mir auf jsonl. Da wurde beim Update wohl automatisch von File her umgestellt. Ist es ratsam für höhere Geschwindigkeit die Objekte auf Redis umzustellen?

                      --> https://forum.iobroker.net/topic/26327/redis-in-iobroker-überblick

                      Bitte dort lesen und ggf diskutieren ... Da gibt es keine klare Ja oder Nein Antwort

                      Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                      • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                      • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                      1 Antwort Letzte Antwort
                      0
                      • P Offline
                        P Offline
                        peterfido
                        schrieb am zuletzt editiert von
                        #186

                        @apollon77

                        ich meine die Zeit nach einem Neustart der ioBroker VM bis die Clienten die VIS wieder darstellen können. Bei Redis geht das unter einer Minute. Bei jsonl dauert es mehrere Minuten, bis die Clienten die VIS wieder erreichen.

                        Gruß

                        Peterfido


                        Proxmox auf Intel NUC12WSHi5
                        ioBroker: Debian (VM)
                        CCU: Debmatic (VM)
                        Influx: Debian (VM)
                        Grafana: Debian (VM)
                        eBus: Debian (VM)
                        Zigbee: Debian (VM) mit zigbee2mqtt

                        apollon77A 1 Antwort Letzte Antwort
                        0
                        • P peterfido

                          @apollon77

                          ich meine die Zeit nach einem Neustart der ioBroker VM bis die Clienten die VIS wieder darstellen können. Bei Redis geht das unter einer Minute. Bei jsonl dauert es mehrere Minuten, bis die Clienten die VIS wieder erreichen.

                          apollon77A Offline
                          apollon77A Offline
                          apollon77
                          schrieb am zuletzt editiert von
                          #187

                          @peterfido Da müsste man jetzt mal logfiles anschauen und exakt vergleichen ... Aber ja, wie gesagt - je nach Anzahl der Objekte und States kann das schon sein das hier ein Durchsatz Unterschied existiert. Redis hat generell gegenüber file/jsonl einen vorteil von 30-50% mehr Durchsatz

                          Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                          • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                          • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                          1 Antwort Letzte Antwort
                          0
                          Antworten
                          • In einem neuen Thema antworten
                          Anmelden zum Antworten
                          • Älteste zuerst
                          • Neuste zuerst
                          • Meiste Stimmen


                          Support us

                          ioBroker
                          Community Adapters
                          Donate

                          310

                          Online

                          32.4k

                          Benutzer

                          81.4k

                          Themen

                          1.3m

                          Beiträge
                          Community
                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                          ioBroker Community 2014-2025
                          logo
                          • Anmelden

                          • Du hast noch kein Konto? Registrieren

                          • Anmelden oder registrieren, um zu suchen
                          • Erster Beitrag
                            Letzter Beitrag
                          0
                          • Home
                          • Aktuell
                          • Tags
                          • Ungelesen 0
                          • Kategorien
                          • Unreplied
                          • Beliebt
                          • GitHub
                          • Docu
                          • Hilfe