Skip to content
  • Home
  • Aktuell
  • Tags
  • 0 Ungelesen 0
  • Kategorien
  • Unreplied
  • Beliebt
  • GitHub
  • Docu
  • Hilfe
Skins
  • Light
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
ioBroker Logo

Community Forum

donate donate
  1. ioBroker Community Home
  2. Deutsch
  3. Tester
  4. Test ioBroker Fixer mit JSONL-Compression

NEWS

  • UPDATE 31.10.: Amazon Alexa - ioBroker Skill läuft aus ?
    apollon77A
    apollon77
    48
    3
    8.5k

  • Monatsrückblick – September 2025
    BluefoxB
    Bluefox
    13
    1
    2.0k

  • Neues Video "KI im Smart Home" - ioBroker plus n8n
    BluefoxB
    Bluefox
    16
    1
    2.7k

Test ioBroker Fixer mit JSONL-Compression

Geplant Angeheftet Gesperrt Verschoben Tester
84 Beiträge 15 Kommentatoren 7.8k Aufrufe 15 Watching
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Antworten
  • In einem neuen Thema antworten
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • ChaotC Offline
    ChaotC Offline
    Chaot
    schrieb am zuletzt editiert von
    #3

    Bei mir:

    haus@ioBroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
    -rw-rw-r--+ 1 iobroker iobroker 35794383 Nov 20 00:31 /opt/iobroker/iobroker-data/objects.jsonl
    
    

    Der Fixer lief normal:

        Database maintenance (3/4)
    ==========================================================================
    
    Checking for uncompressed JSONL databases... This might take a while!
    
    Compressing /opt/iobroker/iobroker-data/objects.jsonl
    Compressed 1 JSONL files. Done
    
    

    Nachher:

    haus@ioBroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
    -rw-rw-r--+ 1 iobroker iobroker 24611926 Nov 20 00:37 /opt/iobroker/iobroker-data/objects.jsonl
    

    Und der Vollständigkeit halber:

    haus@ioBroker:~$ npm -v
    8.19.2
    

    ioBroker auf NUC unter Proxmox; VIS: 12" Touchscreen und 17" Touch; Lichtsteuerung, Thermometer und Sensoren: Tasmota (39); Ambiente Beleuchtung: WLED (9); Heizung: DECT Thermostate (9) an Fritz 6690; EMS-ESP; 1 Echo V2; 3 Echo DOT; 1 Echo Connect; 2 Echo Show 5; Unifi Ap-Ac Lite.

    1 Antwort Letzte Antwort
    1
    • apollon77A apollon77

      Hey All,

      ich habe heute mal etwas anderes zum testen.

      Es gibt aktuell ein Problem das JSONL Files manchmal zu große werden. Ein die Tage kommender js-controller 4.0.24 wird die Ursache beheben, aber wir wissen nicht wie viele User betroffen sind.

      Das Problem tritt meistens bei der objects.jsonl Datei auf, wenn JSONL genutzt wird und sich selten Objekte ändern. Dann kann es durchaus zu 1 GB großen Dateien kommen.
      Um sicherzustellen das es beim Update des js-controller dann zu keinen Probleme kommt weil Files zu groß geworden sind haben wir entschieden den Fixer zu erweitern das dieser die Datenbank-Files komprimiert. Vielen Dank an @Thomas-Braun für die Unterstützung beim Bash-en :-)

      Das würde ich gern mit Euch kurz testen bevor wir es offiziell ausrollen, weil es dann aufgrund von npm Versionen ggf doch kleine Unterschiede geben kann.

      Was ist zu tun?

      Zuerst Bitte ioBroker auf dem Host stoppen iob stop.

      Wer es genau wissen will macht jetzt und später nach der Optimierung ein ls -la /opt/iobroker/iobroker-data/*.jsonl um zu sehen wie die Filegrößen waren und ob die Komprimierung funktioniert hat.

      Dann den Test-Fixer über folgendes Kommando ausführen.

      curl -sLf https://raw.githubusercontent.com/ioBroker/ioBroker/dbcompress/fix_installation.sh | bash -
      

      Wenn alles klappt gibt es einen neuen Schritt 3/4 namens "Database maintenance".

      Wenn JSONL als Datenbank genutzt wird dann sieht es ungefähr so aus wenn alles durch ist:

      Bildschirm­foto 2022-11-19 um 21.48.52.png

      Wenn keine JSONL genutzt wird zB so:

      Bildschirm­foto 2022-11-19 um 21.49.41.png

      Wenn npm 5 oder 6 noch auf dem System ist kann es sein das zusätzlich noch 1-2 Zeilen mehr ausgegeben werden. Aber generell muss es das gleiche sein.

      Welches Ergebnis ist interessant

      Primär ob es getan hat bzw ob der Fixer ohne komische Zusatz-Fehlermeldungen getan hat was er soll ... und idealerweise, wenn JSONL in Benutzung ist, ob die Kompression getan hat.

      Rückmeldungen gern (am besten mit npm -v Ausgabe - also NPM Version) hier im Thread.

      Danke für Eure Unterstützung!

      Ingo

      LatziL Offline
      LatziL Offline
      Latzi
      schrieb am zuletzt editiert von
      #4

      @apollon77

      lief sauber durch!

      latzi@ioBroker:~$ npm -v
      8.19.2
      

      vorher:

      latzi@ioBroker:~$ ls -lah /opt/iobroker/iobroker-data/*.jsonl
      -rw-rw-r--+ 1 iobroker iobroker 38M 20. Nov 05:03 /opt/iobroker/iobroker-data/objects.jsonl
      -rw-rw-r--+ 1 iobroker iobroker 12M 20. Nov 05:03 /opt/iobroker/iobroker-data/states.jsonl
      

      nachher:

      latzi@ioBroker:~$ ls -lah /opt/iobroker/iobroker-data/*.jsonl
      -rw-rw-r--+ 1 iobroker iobroker  25M 20. Nov 05:04 /opt/iobroker/iobroker-data/objects.jsonl
      -rw-rw-r--+ 1 iobroker iobroker 7,5M 20. Nov 05:04 /opt/iobroker/iobroker-data/states.jsonl
      
      1 Antwort Letzte Antwort
      1
      • apollon77A apollon77

        Hey All,

        ich habe heute mal etwas anderes zum testen.

        Es gibt aktuell ein Problem das JSONL Files manchmal zu große werden. Ein die Tage kommender js-controller 4.0.24 wird die Ursache beheben, aber wir wissen nicht wie viele User betroffen sind.

        Das Problem tritt meistens bei der objects.jsonl Datei auf, wenn JSONL genutzt wird und sich selten Objekte ändern. Dann kann es durchaus zu 1 GB großen Dateien kommen.
        Um sicherzustellen das es beim Update des js-controller dann zu keinen Probleme kommt weil Files zu groß geworden sind haben wir entschieden den Fixer zu erweitern das dieser die Datenbank-Files komprimiert. Vielen Dank an @Thomas-Braun für die Unterstützung beim Bash-en :-)

        Das würde ich gern mit Euch kurz testen bevor wir es offiziell ausrollen, weil es dann aufgrund von npm Versionen ggf doch kleine Unterschiede geben kann.

        Was ist zu tun?

        Zuerst Bitte ioBroker auf dem Host stoppen iob stop.

        Wer es genau wissen will macht jetzt und später nach der Optimierung ein ls -la /opt/iobroker/iobroker-data/*.jsonl um zu sehen wie die Filegrößen waren und ob die Komprimierung funktioniert hat.

        Dann den Test-Fixer über folgendes Kommando ausführen.

        curl -sLf https://raw.githubusercontent.com/ioBroker/ioBroker/dbcompress/fix_installation.sh | bash -
        

        Wenn alles klappt gibt es einen neuen Schritt 3/4 namens "Database maintenance".

        Wenn JSONL als Datenbank genutzt wird dann sieht es ungefähr so aus wenn alles durch ist:

        Bildschirm­foto 2022-11-19 um 21.48.52.png

        Wenn keine JSONL genutzt wird zB so:

        Bildschirm­foto 2022-11-19 um 21.49.41.png

        Wenn npm 5 oder 6 noch auf dem System ist kann es sein das zusätzlich noch 1-2 Zeilen mehr ausgegeben werden. Aber generell muss es das gleiche sein.

        Welches Ergebnis ist interessant

        Primär ob es getan hat bzw ob der Fixer ohne komische Zusatz-Fehlermeldungen getan hat was er soll ... und idealerweise, wenn JSONL in Benutzung ist, ob die Kompression getan hat.

        Rückmeldungen gern (am besten mit npm -v Ausgabe - also NPM Version) hier im Thread.

        Danke für Eure Unterstützung!

        Ingo

        da_WoodyD Offline
        da_WoodyD Offline
        da_Woody
        schrieb am zuletzt editiert von
        #5

        @apollon77

        woody@ioBroker:~$ npm -v
        8.19.2
        woody@ioBroker:~$ iob stop
        [sudo] Passwort für woody:
        woody@ioBroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
        -rw-rw-r--+ 1 iobroker iobroker 26161720 20. Nov 06:32 /opt/iobroker/iobroker-data/objects.jsonl
        -rw-rw-r--+ 1 iobroker iobroker 17136842 20. Nov 06:32 /opt/iobroker/iobroker-data/states.jsonl
        
        
        ==========================================================================
            Database maintenance (3/4)
        ==========================================================================
        
        Checking for uncompressed JSONL databases... This might take a while!
        
        Compressing /opt/iobroker/iobroker-data/states.jsonl
        Compressing /opt/iobroker/iobroker-data/objects.jsonl
        Compressed 2 JSONL files. Done
        
        

        gruß vom Woody
        HAPPINESS is not a DESTINATION, it's a WAY of LIFE!

        LatziL 1 Antwort Letzte Antwort
        0
        • da_WoodyD da_Woody

          @apollon77

          woody@ioBroker:~$ npm -v
          8.19.2
          woody@ioBroker:~$ iob stop
          [sudo] Passwort für woody:
          woody@ioBroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
          -rw-rw-r--+ 1 iobroker iobroker 26161720 20. Nov 06:32 /opt/iobroker/iobroker-data/objects.jsonl
          -rw-rw-r--+ 1 iobroker iobroker 17136842 20. Nov 06:32 /opt/iobroker/iobroker-data/states.jsonl
          
          
          ==========================================================================
              Database maintenance (3/4)
          ==========================================================================
          
          Checking for uncompressed JSONL databases... This might take a while!
          
          Compressing /opt/iobroker/iobroker-data/states.jsonl
          Compressing /opt/iobroker/iobroker-data/objects.jsonl
          Compressed 2 JSONL files. Done
          
          
          LatziL Offline
          LatziL Offline
          Latzi
          schrieb am zuletzt editiert von
          #6

          @da_woody
          und wie war die Größe nach dem Fix?

          da_WoodyD 1 Antwort Letzte Antwort
          0
          • LatziL Latzi

            @da_woody
            und wie war die Größe nach dem Fix?

            da_WoodyD Offline
            da_WoodyD Offline
            da_Woody
            schrieb am zuletzt editiert von
            #7

            @latzi sorry, hab ich vergessen zu kopieren... lauft schon wieder...

            gruß vom Woody
            HAPPINESS is not a DESTINATION, it's a WAY of LIFE!

            apollon77A 1 Antwort Letzte Antwort
            0
            • da_WoodyD da_Woody

              @latzi sorry, hab ich vergessen zu kopieren... lauft schon wieder...

              apollon77A Offline
              apollon77A Offline
              apollon77
              schrieb am zuletzt editiert von
              #8

              @da_woody alles gut. Bei euren Größen seidige alle vom „große files“ problem nicht betroffen. Aber log sie ja gut aus. Danke

              Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

              • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
              • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
              M 1 Antwort Letzte Antwort
              1
              • apollon77A apollon77

                Hey All,

                ich habe heute mal etwas anderes zum testen.

                Es gibt aktuell ein Problem das JSONL Files manchmal zu große werden. Ein die Tage kommender js-controller 4.0.24 wird die Ursache beheben, aber wir wissen nicht wie viele User betroffen sind.

                Das Problem tritt meistens bei der objects.jsonl Datei auf, wenn JSONL genutzt wird und sich selten Objekte ändern. Dann kann es durchaus zu 1 GB großen Dateien kommen.
                Um sicherzustellen das es beim Update des js-controller dann zu keinen Probleme kommt weil Files zu groß geworden sind haben wir entschieden den Fixer zu erweitern das dieser die Datenbank-Files komprimiert. Vielen Dank an @Thomas-Braun für die Unterstützung beim Bash-en :-)

                Das würde ich gern mit Euch kurz testen bevor wir es offiziell ausrollen, weil es dann aufgrund von npm Versionen ggf doch kleine Unterschiede geben kann.

                Was ist zu tun?

                Zuerst Bitte ioBroker auf dem Host stoppen iob stop.

                Wer es genau wissen will macht jetzt und später nach der Optimierung ein ls -la /opt/iobroker/iobroker-data/*.jsonl um zu sehen wie die Filegrößen waren und ob die Komprimierung funktioniert hat.

                Dann den Test-Fixer über folgendes Kommando ausführen.

                curl -sLf https://raw.githubusercontent.com/ioBroker/ioBroker/dbcompress/fix_installation.sh | bash -
                

                Wenn alles klappt gibt es einen neuen Schritt 3/4 namens "Database maintenance".

                Wenn JSONL als Datenbank genutzt wird dann sieht es ungefähr so aus wenn alles durch ist:

                Bildschirm­foto 2022-11-19 um 21.48.52.png

                Wenn keine JSONL genutzt wird zB so:

                Bildschirm­foto 2022-11-19 um 21.49.41.png

                Wenn npm 5 oder 6 noch auf dem System ist kann es sein das zusätzlich noch 1-2 Zeilen mehr ausgegeben werden. Aber generell muss es das gleiche sein.

                Welches Ergebnis ist interessant

                Primär ob es getan hat bzw ob der Fixer ohne komische Zusatz-Fehlermeldungen getan hat was er soll ... und idealerweise, wenn JSONL in Benutzung ist, ob die Kompression getan hat.

                Rückmeldungen gern (am besten mit npm -v Ausgabe - also NPM Version) hier im Thread.

                Danke für Eure Unterstützung!

                Ingo

                Kalle BlomquistK Offline
                Kalle BlomquistK Offline
                Kalle Blomquist
                schrieb am zuletzt editiert von
                #9

                @apollon77

                kalle@iobrokerct:~$ npm -v
                8.19.2
                
                Vorher
                kalle@iobrokerct:~$ kalle@iobrokerct:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
                -rw-rw-r--+ 1 iobroker iobroker 20807087 20. Nov 09:17 /opt/iobroker/iobroker-data/objects.jsonl
                -rw-rw-r--+ 1 iobroker iobroker  4919960 20. Nov 09:18 /opt/iobroker/iobroker-data/states.jsonl
                
                Nacher
                
                kalle@iobrokerct:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
                -rw-rw-r--+ 1 iobroker iobroker 18449470 20. Nov 09:19 /opt/iobroker/iobroker-data/objects.jsonl
                -rw-rw-r--+ 1 iobroker iobroker  4181835 20. Nov 09:19 /opt/iobroker/iobroker-data/states.jsonl
                
                ==========================================================================
                    Database maintenance (3/4)
                ==========================================================================
                
                Checking for uncompressed JSONL databases... This might take a while!
                
                Compressing /opt/iobroker/iobroker-data/states.jsonl
                Compressing /opt/iobroker/iobroker-data/objects.jsonl
                Compressed 2 JSONL files. Done
                
                Gruß Kalle
                
                1 Antwort Letzte Antwort
                1
                • apollon77A apollon77

                  @da_woody alles gut. Bei euren Größen seidige alle vom „große files“ problem nicht betroffen. Aber log sie ja gut aus. Danke

                  M Online
                  M Online
                  mrjeschke
                  schrieb am zuletzt editiert von
                  #10

                  @apollon77

                  Moin,
                  Ich hoffe das ist groß genug.

                  pi@iobroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
                  -rw-rwxr--+ 1 iobroker iobroker 145665583 Nov 20 02:40 /opt/iobroker/iobroker-data/objects.jsonl
                  -rw-rw-r--+ 1 iobroker iobroker    801992 Nov 20 09:25 /opt/iobroker/iobroker-data/states.jsonl
                  pi@iobroker:~$
                  
                  ==========================================================================
                      Database maintenance (3/4)
                  ==========================================================================
                  
                  Checking for uncompressed JSONL databases... This might take a while!
                  
                  Compressing /opt/iobroker/iobroker-data/states.jsonl
                  Compressing /opt/iobroker/iobroker-data/objects.jsonl
                  Compressed 2 JSONL files. Done
                  
                  pi@iobroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl 
                  -rw-rw-r--+ 1 iobroker iobroker 6821778 Nov 20 09:29 /opt/iobroker/iobroker-data/objects.jsonl
                  -rw-rw-r--+ 1 iobroker iobroker  302548 Nov 20 09:29 /opt/iobroker/iobroker-data/states.jsonl
                  pi@iobroker:~$ 
                  
                  
                  apollon77A 1 Antwort Letzte Antwort
                  0
                  • M mrjeschke

                    @apollon77

                    Moin,
                    Ich hoffe das ist groß genug.

                    pi@iobroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl
                    -rw-rwxr--+ 1 iobroker iobroker 145665583 Nov 20 02:40 /opt/iobroker/iobroker-data/objects.jsonl
                    -rw-rw-r--+ 1 iobroker iobroker    801992 Nov 20 09:25 /opt/iobroker/iobroker-data/states.jsonl
                    pi@iobroker:~$
                    
                    ==========================================================================
                        Database maintenance (3/4)
                    ==========================================================================
                    
                    Checking for uncompressed JSONL databases... This might take a while!
                    
                    Compressing /opt/iobroker/iobroker-data/states.jsonl
                    Compressing /opt/iobroker/iobroker-data/objects.jsonl
                    Compressed 2 JSONL files. Done
                    
                    pi@iobroker:~$ ls -la /opt/iobroker/iobroker-data/*.jsonl 
                    -rw-rw-r--+ 1 iobroker iobroker 6821778 Nov 20 09:29 /opt/iobroker/iobroker-data/objects.jsonl
                    -rw-rw-r--+ 1 iobroker iobroker  302548 Nov 20 09:29 /opt/iobroker/iobroker-data/states.jsonl
                    pi@iobroker:~$ 
                    
                    
                    apollon77A Offline
                    apollon77A Offline
                    apollon77
                    schrieb am zuletzt editiert von
                    #11

                    @mrjeschke 145 mb auf 6 wenn ich grad aufm Handy nicht verzählt hab ;-)) aber ja cool. Tut. Dann kann das später raus.

                    Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                    • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                    • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                    1 Antwort Letzte Antwort
                    0
                    • apollon77A apollon77

                      Hey All,

                      ich habe heute mal etwas anderes zum testen.

                      Es gibt aktuell ein Problem das JSONL Files manchmal zu große werden. Ein die Tage kommender js-controller 4.0.24 wird die Ursache beheben, aber wir wissen nicht wie viele User betroffen sind.

                      Das Problem tritt meistens bei der objects.jsonl Datei auf, wenn JSONL genutzt wird und sich selten Objekte ändern. Dann kann es durchaus zu 1 GB großen Dateien kommen.
                      Um sicherzustellen das es beim Update des js-controller dann zu keinen Probleme kommt weil Files zu groß geworden sind haben wir entschieden den Fixer zu erweitern das dieser die Datenbank-Files komprimiert. Vielen Dank an @Thomas-Braun für die Unterstützung beim Bash-en :-)

                      Das würde ich gern mit Euch kurz testen bevor wir es offiziell ausrollen, weil es dann aufgrund von npm Versionen ggf doch kleine Unterschiede geben kann.

                      Was ist zu tun?

                      Zuerst Bitte ioBroker auf dem Host stoppen iob stop.

                      Wer es genau wissen will macht jetzt und später nach der Optimierung ein ls -la /opt/iobroker/iobroker-data/*.jsonl um zu sehen wie die Filegrößen waren und ob die Komprimierung funktioniert hat.

                      Dann den Test-Fixer über folgendes Kommando ausführen.

                      curl -sLf https://raw.githubusercontent.com/ioBroker/ioBroker/dbcompress/fix_installation.sh | bash -
                      

                      Wenn alles klappt gibt es einen neuen Schritt 3/4 namens "Database maintenance".

                      Wenn JSONL als Datenbank genutzt wird dann sieht es ungefähr so aus wenn alles durch ist:

                      Bildschirm­foto 2022-11-19 um 21.48.52.png

                      Wenn keine JSONL genutzt wird zB so:

                      Bildschirm­foto 2022-11-19 um 21.49.41.png

                      Wenn npm 5 oder 6 noch auf dem System ist kann es sein das zusätzlich noch 1-2 Zeilen mehr ausgegeben werden. Aber generell muss es das gleiche sein.

                      Welches Ergebnis ist interessant

                      Primär ob es getan hat bzw ob der Fixer ohne komische Zusatz-Fehlermeldungen getan hat was er soll ... und idealerweise, wenn JSONL in Benutzung ist, ob die Kompression getan hat.

                      Rückmeldungen gern (am besten mit npm -v Ausgabe - also NPM Version) hier im Thread.

                      Danke für Eure Unterstützung!

                      Ingo

                      BananaJoeB Offline
                      BananaJoeB Offline
                      BananaJoe
                      Most Active
                      schrieb am zuletzt editiert von
                      #12

                      @apollon77

                      So aus technischer Neugier - *.jsonl ist doch im Prinzip eine schnöde Textdatei.
                      Wie/was komprimiert er da - also wie schafft er es da Platz zu schaffen? Oder lässt er "nur die Luft raus" und entfernt ungenuztes?

                      ioBroker@Ubuntu 24.04 LTS (VMware) für: >260 Geräte, 5 Switche, 7 AP, 9 IP-Cam, 1 NAS 42TB, 1 ESXi 15TB, 4 Proxmox 1TB, 1 Hyper-V 48TB, 14 x Echo, 5x FireTV, 5 x Tablett/Handy VIS || >=160 Tasmota/Shelly || >=95 ZigBee || PV 8.1kW / Akku 14kWh || 2x USV 750W kaskadiert || Creality CR-10 SE 3D-Drucker

                      WolfgangDW apollon77A 2 Antworten Letzte Antwort
                      0
                      • BananaJoeB BananaJoe

                        @apollon77

                        So aus technischer Neugier - *.jsonl ist doch im Prinzip eine schnöde Textdatei.
                        Wie/was komprimiert er da - also wie schafft er es da Platz zu schaffen? Oder lässt er "nur die Luft raus" und entfernt ungenuztes?

                        WolfgangDW Offline
                        WolfgangDW Offline
                        WolfgangD
                        schrieb am zuletzt editiert von
                        #13

                        @apollon77 Ich habe nach Systemcrash und Neuaufbau und Rücksicherung der states und objects.jsonl auch gerade "Effekte", die nach kaputter Datenbankstruktur riechen. Objecte tauchen mehrfach auf, alte Werte kommen irgendwie immer wieder hervor. Da kommt mir ein Werkzeug zur Reparatur der Datenbank gerade recht!

                        diverse Raspis, ESPs, ioBroker, Alexas, Sensoren, Heizungsregelung, Solaranlage mit Speicher, RTK-Rasenroboter

                        apollon77A 1 Antwort Letzte Antwort
                        0
                        • BananaJoeB BananaJoe

                          @apollon77

                          So aus technischer Neugier - *.jsonl ist doch im Prinzip eine schnöde Textdatei.
                          Wie/was komprimiert er da - also wie schafft er es da Platz zu schaffen? Oder lässt er "nur die Luft raus" und entfernt ungenuztes?

                          apollon77A Offline
                          apollon77A Offline
                          apollon77
                          schrieb am zuletzt editiert von
                          #14

                          @bananajoe Das Konzept von der jsonl Datenbank ist das pro Zeile ein Objekt drin steht und zuerst mal neue Daten ans file angehängt werden. Die standard „Komprimierung“ (also einen stand komplett neu zu schreiben bei dem für jeden key der aktuellste Wert drin steht) passiert an sich mit unseren Einstellungen wenn doppelt so viele Zeilen wie unique Objekte sind.

                          Und ja die Komprimierung räumt da auf. Vor allem da sich Objekte eher selten ändern halbes da Auswirkungen.

                          Der fixer kann so mit aufräumen und so Probleme beim iobroker start falls mal eine date groß wird und die sd Karte langsam ist zu vermeiden

                          Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                          • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                          • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                          1 Antwort Letzte Antwort
                          0
                          • WolfgangDW WolfgangD

                            @apollon77 Ich habe nach Systemcrash und Neuaufbau und Rücksicherung der states und objects.jsonl auch gerade "Effekte", die nach kaputter Datenbankstruktur riechen. Objecte tauchen mehrfach auf, alte Werte kommen irgendwie immer wieder hervor. Da kommt mir ein Werkzeug zur Reparatur der Datenbank gerade recht!

                            apollon77A Offline
                            apollon77A Offline
                            apollon77
                            schrieb am zuletzt editiert von
                            #15

                            @wolfgangd wobei sowas an sich damit weniger was zu tun haben kann. Aber ja „Schaden kann’s auch nicht“ ;-) aber wenn die Probleme anhalten dann mal in eigenen thread „vorstellen“ ;-)

                            Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                            • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                            • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                            mcm1957M 1 Antwort Letzte Antwort
                            0
                            • apollon77A apollon77

                              @wolfgangd wobei sowas an sich damit weniger was zu tun haben kann. Aber ja „Schaden kann’s auch nicht“ ;-) aber wenn die Probleme anhalten dann mal in eigenen thread „vorstellen“ ;-)

                              mcm1957M Online
                              mcm1957M Online
                              mcm1957
                              schrieb am zuletzt editiert von
                              #16

                              @apollon77

                              Skript gestartet. Keine Probleme.

                              Werte
                              VORHER
                              pi@pi4:~ $ ls -la /opt/iobroker/iobroker-data/*.jsonl
                              -rw-r--r-- 1 iobroker iobroker 20202339 Nov 21 20:24 /opt/iobroker/iobroker-data/objects.jsonl
                              -rw-r--r-- 1 iobroker iobroker 3889023 Nov 21 20:24 /opt/iobroker/iobroker-data/states.jsonl
                              pi@pi4:~ $

                              NACHHER
                              pi@pi4:~ $ ls -la /opt/iobroker/iobroker-data/*.jsonl
                              -rw-rw-r--+ 1 iobroker iobroker 8740574 Nov 21 20:27 /opt/iobroker/iobroker-data/objects.jsonl
                              -rw-rw-r--+ 1 iobroker iobroker 956049 Nov 21 20:27 /opt/iobroker/iobroker-data/states.jsonl
                              pi@pi4:~ $

                              Entwicklung u Betreuung: envertech-pv, hoymiles-ms, ns-client, pid, snmp Adapter;
                              Support Repositoryverwaltung.

                              Wer Danke sagen will, kann nen Kaffee spendieren: https://paypal.me/mcm1957atiobroker

                              LESEN - gute Forenbeitrage

                              1 Antwort Letzte Antwort
                              0
                              • apollon77A Offline
                                apollon77A Offline
                                apollon77
                                schrieb am zuletzt editiert von
                                #17

                                Hallo alle miteinander,

                                Für Linux

                                die Version des Fixers, die wir hier im Thread getestet hatten, ist seid gestern auch Live. Wäre cool wenn Ihr nochmal mit checken könntet das es auch mit einem "iob fix" immer noch tut.

                                Und wenn Ihr schon dabei seid wäre cool wenn Ihr auch (nachdem Ihr einmal iob fix gemacht habt!!) danach ein "iob diag" versuchen könntet. Geht das? Da ist bestimmt @Thomas-Braun interessiert ob es da noch Fehler gibt :-)

                                Für Windows

                                Der Fixer ist jetzt auch unter Windows verfügbar! Wäre cool wenn ich da ggf auch Tester finden ...

                                Im ioBroker Verzeichnis wäre dies das Ausführen von npx @iobroker/fix ... (bei gestopptem ioBroker natürlich).

                                Danke für Euer Feedback

                                Ingo

                                Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                                • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                                • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                                Dr. BakteriusD 1 Antwort Letzte Antwort
                                0
                                • apollon77A apollon77

                                  Hallo alle miteinander,

                                  Für Linux

                                  die Version des Fixers, die wir hier im Thread getestet hatten, ist seid gestern auch Live. Wäre cool wenn Ihr nochmal mit checken könntet das es auch mit einem "iob fix" immer noch tut.

                                  Und wenn Ihr schon dabei seid wäre cool wenn Ihr auch (nachdem Ihr einmal iob fix gemacht habt!!) danach ein "iob diag" versuchen könntet. Geht das? Da ist bestimmt @Thomas-Braun interessiert ob es da noch Fehler gibt :-)

                                  Für Windows

                                  Der Fixer ist jetzt auch unter Windows verfügbar! Wäre cool wenn ich da ggf auch Tester finden ...

                                  Im ioBroker Verzeichnis wäre dies das Ausführen von npx @iobroker/fix ... (bei gestopptem ioBroker natürlich).

                                  Danke für Euer Feedback

                                  Ingo

                                  Dr. BakteriusD Online
                                  Dr. BakteriusD Online
                                  Dr. Bakterius
                                  Most Active
                                  schrieb am zuletzt editiert von Dr. Bakterius
                                  #18

                                  @apollon77 sagte in Test ioBroker Fixer mit JSONL-Compression:

                                  iob fix

                                  Funktioniert! objects.jsonl von 32751637 -> 20090424, states.jsonl von 20246420 -> 3260086

                                  iob diag

                                  Da bekomme ich folgenden Fehler:

                                  bash: line 1: syntax error near unexpected token `<'
                                  bash: line 1: `<!doctype html><html lang="en"><head><meta charset="utf-8"/><link rel="icon" href="/www/favicon.ico"/><meta name="viewport" content="width=device-width,initial-scale=1"/><meta name="theme-color" content="#2196F3"><meta name="description" content="Remote access to personal ioBroker server via ioBroker.cloud"/><link rel="apple-touch-icon" href="/www/logo192.png"/><link rel="manifest" href="/www/manifest.json"/><title>ioBroker Cloud</title><style>#root,body,html{height:100%;width:100%;display:flex;overflow:hidden}</style><script defer="defer" src="/www/static/js/main.ae982c84.js"></script><link href="/www/static/css/main.59da0ebb.css" rel="stylesheet"></head><body><noscript>You need to enable JavaScript to run this app.</noscript><div id="root"></div></body></html>'
                                  
                                  
                                  apollon77A 1 Antwort Letzte Antwort
                                  0
                                  • Dr. BakteriusD Dr. Bakterius

                                    @apollon77 sagte in Test ioBroker Fixer mit JSONL-Compression:

                                    iob fix

                                    Funktioniert! objects.jsonl von 32751637 -> 20090424, states.jsonl von 20246420 -> 3260086

                                    iob diag

                                    Da bekomme ich folgenden Fehler:

                                    bash: line 1: syntax error near unexpected token `<'
                                    bash: line 1: `<!doctype html><html lang="en"><head><meta charset="utf-8"/><link rel="icon" href="/www/favicon.ico"/><meta name="viewport" content="width=device-width,initial-scale=1"/><meta name="theme-color" content="#2196F3"><meta name="description" content="Remote access to personal ioBroker server via ioBroker.cloud"/><link rel="apple-touch-icon" href="/www/logo192.png"/><link rel="manifest" href="/www/manifest.json"/><title>ioBroker Cloud</title><style>#root,body,html{height:100%;width:100%;display:flex;overflow:hidden}</style><script defer="defer" src="/www/static/js/main.ae982c84.js"></script><link href="/www/static/css/main.59da0ebb.css" rel="stylesheet"></head><body><noscript>You need to enable JavaScript to run this app.</noscript><div id="root"></div></body></html>'
                                    
                                    
                                    apollon77A Offline
                                    apollon77A Offline
                                    apollon77
                                    schrieb am zuletzt editiert von
                                    #19

                                    @dr-bakterius Danke, lasse es Bluefox nochmal prüfen

                                    Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                                    • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                                    • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                                    B 1 Antwort Letzte Antwort
                                    0
                                    • apollon77A apollon77

                                      @dr-bakterius Danke, lasse es Bluefox nochmal prüfen

                                      B Nicht stören
                                      B Nicht stören
                                      bommel_030
                                      schrieb am zuletzt editiert von
                                      #20

                                      @apollon77
                                      für iob diag wie @Dr-Bakterius

                                      bash: Zeile 1: Syntaxfehler beim unerwarteten Symbol »<«
                                      bash: Zeile 1: `<!doctype html><html lang="en"><head><meta charset="utf-8"/><link rel="icon" href="/www/favicon.ico"/><meta name="viewport" content="width=device-width,initial-scale=1"/><meta name="theme-color" content="#2196F3"><meta name="description" content="Remote access to personal ioBroker server via ioBroker.cloud"/><link rel="apple-touch-icon" href="/www/logo192.png"/><link rel="manifest" href="/www/manifest.json"/><title>ioBroker Cloud</title><style>#root,body,html{height:100%;width:100%;display:flex;overflow:hidden}</style><script defer="defer" src="/www/static/js/main.ae982c84.js"></script><link href="/www/static/css/main.59da0ebb.css" rel="stylesheet"></head><body><noscript>You need to enable JavaScript to run this app.</noscript><div id="root"></div></body></html>'
                                      
                                      

                                      für iob fix auf meinem vermanschten System
                                      vorher:

                                      bommel@iobroker:~$ ls -lah /opt/iobroker/iobroker-data/*.jsonl
                                      -rw-rw-r--+ 1 iobroker iobroker  54M 13. Dez 10:52 /opt/iobroker/iobroker-data/objects.jsonl
                                      -rw-rw-r--+ 1 iobroker iobroker 218M 13. Dez 10:52 /opt/iobroker/iobroker-data/states.jsonl
                                      

                                      nachher:

                                      bommel@iobroker:/opt/iobroker$ ls -lah /opt/iobroker/iobroker-data/*.jsonl
                                      -rw-rw-r--+ 1 iobroker iobroker 31M 13. Dez 10:53 /opt/iobroker/iobroker-data/objects.jsonl
                                      -rw-rw-r--+ 1 iobroker iobroker 15M 13. Dez 10:53 /opt/iobroker/iobroker-data/states.jsonl
                                      
                                      1 Antwort Letzte Antwort
                                      0
                                      • apollon77A Offline
                                        apollon77A Offline
                                        apollon77
                                        schrieb am zuletzt editiert von
                                        #21

                                        So, "iob diag" sollte jetzt gefixt sein!!

                                        Beitrag hat geholfen? Votet rechts unten im Beitrag :-) https://paypal.me/Apollon77 / https://github.com/sponsors/Apollon77

                                        • Debug-Log für Instanz einschalten? Admin -> Instanzen -> Expertenmodus -> Instanz aufklappen - Loglevel ändern
                                        • Logfiles auf Platte /opt/iobroker/log/… nutzen, Admin schneidet Zeilen ab
                                        LatziL 1 Antwort Letzte Antwort
                                        0
                                        • apollon77A apollon77

                                          So, "iob diag" sollte jetzt gefixt sein!!

                                          LatziL Offline
                                          LatziL Offline
                                          Latzi
                                          schrieb am zuletzt editiert von Latzi
                                          #22

                                          @apollon77 sagte in Test ioBroker Fixer mit JSONL-Compression:

                                          So, "iob diag" sollte jetzt gefixt sein!!

                                          jup, so ist es! :clap:

                                          Edit: Leider wird alles vor der summary in meiner putty-session gelöscht (ich kann zumindest nicht mehr hochscrollen), ist das so gewollt?

                                          M 1 Antwort Letzte Antwort
                                          0
                                          Antworten
                                          • In einem neuen Thema antworten
                                          Anmelden zum Antworten
                                          • Älteste zuerst
                                          • Neuste zuerst
                                          • Meiste Stimmen


                                          Support us

                                          ioBroker
                                          Community Adapters
                                          Donate

                                          827

                                          Online

                                          32.4k

                                          Benutzer

                                          81.4k

                                          Themen

                                          1.3m

                                          Beiträge
                                          Community
                                          Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen | Einwilligungseinstellungen
                                          ioBroker Community 2014-2025
                                          logo
                                          • Anmelden

                                          • Du hast noch kein Konto? Registrieren

                                          • Anmelden oder registrieren, um zu suchen
                                          • Erster Beitrag
                                            Letzter Beitrag
                                          0
                                          • Home
                                          • Aktuell
                                          • Tags
                                          • Ungelesen 0
                                          • Kategorien
                                          • Unreplied
                                          • Beliebt
                                          • GitHub
                                          • Docu
                                          • Hilfe