Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[Rico Sander]

Moin
Nach langer Zeit mal ein echtes (?) Problem:
Weiter unter liefere ich vorsichtshalber alles Notwenige mit. Doch zunächst Folgendes.

Beim Restore der history DB gab es einen Fehler (Wortlaut inzwischen nicht mehr bekannt). Dann stellte sich heraus, dass die letzten 10 Sicherungen (10 Tage) offenbar fehlerhaft sind und seit Mitte Juli 2024 Daten fehlen. Die Tagesverzeichnisse des betreffenden Zeitraumes sind leer. Wie weit das zurück reicht - unklar...

Das Entpacken der historyDB unter Windows für zu einer Fehlermeldung:

Invalid compressed Data -- unable to inflate

Die täglichen Tagessicherungen nebst Mail-Benachrichtigung und das manuelle BackUp laufen ohne Fehler durch.

Das Entpacken des BackUp der z.B Scripte klappt problemlos. Ebenso der jarvis-Sicherung.
Auch ein Restore von ioB funktionierte auf einem frisch aufgesetzten OS.

Daher würde ich jetzt Fehler auf den beim BackUp beteiligten Datenträgern ausschließen.

Das tägliche BackUp (ioB, js, history, jarvis) erfolgt auf die NAS. Auch in dem Zusammenhang sind keine Probleme erkennbar.
Auch das log lieferte bislang keine Hinweise auf vorhandne Probleme und die täglichen Kontrollen am Morgen waren auch ohne Befund.

Daher:
Ist dazu irgend etwas schon mal bekannt geworden?
Liegt der Fehler bei mir? Verständnsiproblem?
Lässt sich das historyDB-Archiv überhaupt unter Windows entpacken?
Und wo kann der Fehler, wenn nicht im BackItUp-Adapter, noch liegen?
Hat Jemand eine Idee, wo ich weitersuchen kann?
Wie wird sicher gestellt, dass das Packen der History DB fehlerfrei erfolgt bzw. wie kann man das periodisch überprüfen?

Für mich im Moment alles sehr verwirrend.

Danke

• Adaptername: BackItUp
• Link zu Adapterrepository: www.github.com...
• Adapterversion: 3.0.31
• js-controller Version: 7.0.6
• Admin Version: 7.4.10
• Hardwaresystem: Pi4
• Arbeitsspeicher: 8GB
• Festplattenart: SD-Karte (für OS und ioB, USB-Stick für history DB)
• Betriebssystem: Bookworm
• Nodejs-Version: 20.18.2
• NPM-Version: 10.8.2
• Installationsart: script (?)
• Image, Docker genutzt: Nein
• Ort, Name der Imagedatei: ?

Script v.2025-02-02

*** BASE SYSTEM ***
 Static hostname: Master_oif_Disaster
       Icon name: computer
Operating System: Debian GNU/Linux 12 (bookworm)
          Kernel: Linux 6.6.74+rpt-rpi-v8
    Architecture: arm64
OS is similar to:

Model           : Raspberry Pi 4 Model B Rev 1.5
Docker          : false
Virtualization  : none
Kernel          : aarch64
Userland        : 64 bit

Systemuptime and Load:
 11:26:31 up 14:00,  2 users,  load average: 0.36, 0.37, 0.40
CPU threads: 4


*** LIFE CYCLE STATUS ***
Operating System is the current Debian stable version codenamed 'bookworm'!

*** RASPBERRY THROTTLING ***
Current issues:
No throttling issues detected.

Previously detected issues:
No throttling issues detected.

*** TIME AND TIMEZONES ***
               Local time: Wed 2025-02-05 11:26:32 CET
           Universal time: Wed 2025-02-05 10:26:32 UTC
                 RTC time: n/a
                Time zone: Europe/Berlin (CET, +0100)
System clock synchronized: yes
              NTP service: active
          RTC in local TZ: no

*** Users and Groups ***
User that called 'iob diag':
pi
HOME=/home/pi
GROUPS=pi adm dialout cdrom sudo audio video plugdev games users input render netdev gpio i2c spi iobroker

User that is running 'js-controller':
iobroker
HOME=/home/iobroker
GROUPS=iobroker tty dialout audio video plugdev bluetooth gpio i2c

*** DISPLAY-SERVER SETUP ***
Display-Server: false
Desktop:
Terminal:       tty

*** MEMORY ***
               total        used        free      shared  buff/cache   available
Mem:            8.2G        1.9G        3.1G        1.2M        3.3G        6.3G
Swap:           536M          0B        536M
Total:          8.7G        1.9G        3.6G

Active iob-Instances:   22

         7809 M total memory
         1821 M used memory
         1765 M active memory
         2853 M inactive memory
         2954 M free memory
          159 M buffer memory
         2996 M swap cache
          511 M total swap
            0 M used swap
          511 M free swap

*** top - Table Of Processes  ***
top - 11:26:32 up 14:00,  2 users,  load average: 0.36, 0.37, 0.40
Tasks: 200 total,   1 running, 199 sleeping,   0 stopped,   0 zombie
%Cpu(s): 50.0 us, 16.7 sy,  0.0 ni, 33.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :   7809.9 total,   2953.2 free,   1822.7 used,   3155.9 buff/cache
MiB Swap:    512.0 total,    512.0 free,      0.0 used.   5987.2 avail Mem

*** FAILED SERVICES ***

  UNIT LOAD ACTIVE SUB DESCRIPTION
0 loaded units listed.


*** DMESG CRITICAL ERRORS ***
No critical errors detected

*** FILESYSTEM ***
Filesystem     Type      Size  Used Avail Use% Mounted on
udev           devtmpfs  3.6G     0  3.6G   0% /dev
tmpfs          tmpfs     781M  1.2M  780M   1% /run
/dev/mmcblk0p2 ext4       29G  9.6G   18G  36% /
tmpfs          tmpfs     3.9G     0  3.9G   0% /dev/shm
tmpfs          tmpfs     5.0M   16K  5.0M   1% /run/lock
/dev/mmcblk0p1 vfat      510M   57M  454M  12% /boot/firmware
/dev/sda5      ext4       27G  2.2G   24G   9% /media/USBintern
tmpfs          tmpfs     781M     0  781M   0% /run/user/1000

Messages concerning ext4 filesystem in dmesg:
[Tue Feb  4 21:26:31 2025] Kernel command line: coherent_pool=1M 8250.nr_uarts=1 snd_bcm2835.enable_headphones=0 cgroup_disable=memory numa_policy=interleave snd_bcm2835.enable_headphones=1 snd_bcm2835.enable_hdmi=1 snd_bcm2835.enable_hdmi=0  smsc95xx.macaddr=2C:CF:67:34:00:F1 vc_mem.mem_base=0x3ec00000 vc_mem.mem_size=0x40000000  console=ttyS0,115200 console=tty1 root=PARTUUID=713f902b-02 rootfstype=ext4 fsck.repair=yes rootwait
[Tue Feb  4 21:26:35 2025] EXT4-fs (mmcblk0p2): mounted filesystem ce208fd3-38a8-424a-87a2-cd44114eb820 ro with ordered data mode. Quota mode: none.
[Tue Feb  4 21:26:36 2025] EXT4-fs (mmcblk0p2): re-mounted ce208fd3-38a8-424a-87a2-cd44114eb820 r/w. Quota mode: none.
[Tue Feb  4 21:26:38 2025] EXT4-fs (sda5): mounted filesystem bfb7e6d7-3877-db01-2026-e6d73877db01 r/w with ordered data mode. Quota mode: none.

Show mounted filesystems:
TARGET             SOURCE         FSTYPE OPTIONS
/                  /dev/mmcblk0p2 ext4   rw,noatime
|-/boot/firmware   /dev/mmcblk0p1 vfat   rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=ascii,shortname=mixed,errors=remount-ro
`-/media/USBintern /dev/sda5      ext4   rw,noatime

Files in neuralgic directories:

/var:
950M    /var/
206M    /var/cache
200M    /var/cache/apt
168M    /var/lib
135M    /var/lib/apt/lists

Archived and active journals take up 63.6M in the file system.

/opt/iobroker/backups:
4.0K    /opt/iobroker/backups/

/opt/iobroker/iobroker-data:
1.7G    /opt/iobroker/iobroker-data/
1.1G    /opt/iobroker/iobroker-data/files
641M    /opt/iobroker/iobroker-data/history
617M    /opt/iobroker/iobroker-data/files/javascript.admin
560M    /opt/iobroker/iobroker-data/files/javascript.admin/static

The five largest files in iobroker-data are:
38M     /opt/iobroker/iobroker-data/files/iot.admin/static/js/main.d3d286bd.js.map
26M     /opt/iobroker/iobroker-data/files/echarts/static/js/main.41cee985.js.map
26M     /opt/iobroker/iobroker-data/files/echarts.admin/chart/static/js/main.41cee985.js.map
24M     /opt/iobroker/iobroker-data/objects.jsonl
24M     /opt/iobroker/iobroker-data/files/web.admin/static/js/main.135279a0.js.map

USB-Devices by-id:
USB-Sticks -  Avoid direct links to /dev/tty* in your adapter setups, please always prefer the links 'by-id':

No Devices found 'by-id'

*** NodeJS-Installation ***

/usr/bin/nodejs         v20.18.2
/usr/bin/node           v20.18.2
/usr/bin/npm            10.8.2
/usr/bin/npx            10.8.2
/usr/bin/corepack       0.29.4

nodejs:
  Installed: 20.18.2-1nodesource1
  Candidate: 20.18.2-1nodesource1
  Version table:
 *** 20.18.2-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
        100 /var/lib/dpkg/status
     20.18.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.18.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.17.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.16.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.15.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.15.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.14.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.13.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.13.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.12.2-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.12.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.12.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.11.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.11.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.10.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.9.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.8.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.8.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.7.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.6.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.6.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.5.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.5.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.4.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.3.1-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.3.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.2.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.1.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     20.0.0-1nodesource1 1001
        500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages
     18.19.0+dfsg-6~deb12u2 500
        500 http://deb.debian.org/debian bookworm/main arm64 Packages
     18.19.0+dfsg-6~deb12u1 500
        500 http://deb.debian.org/debian-security bookworm-security/main arm64 Packages

Temp directories causing deletion problem: 0
No problems detected

Errors in npm tree: 0
No problems detected

*** ioBroker-Installation ***

ioBroker Status
iobroker is running on this host.


Objects type: jsonl
States  type: jsonl

Hosts:
iobroker            iobroker (version: 7.0.6, hostname: iobroker      , alive, uptime: 50393)

Core adapters versions
js-controller:  7.0.6
admin:          7.4.10
javascript:     8.8.3

nodejs modules from github:     0

Adapter State
+ system.adapter.admin.0                  : admin                 : iobroker                                 -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
+ system.adapter.alexa2.0                 : alexa2                : iobroker                                 -  enabled
+ system.adapter.backitup.0               : backitup              : iobroker                                 -  enabled
+ system.adapter.device-watcher.0         : device-watcher        : iobroker                                 -  enabled
+ system.adapter.deyeidc.0                : deyeidc               : iobroker                                 -  enabled, port: 8899
+ system.adapter.echarts.0                : echarts               : iobroker                                 -  enabled
+ system.adapter.email.0                  : email                 : iobroker                                 -  enabled
  system.adapter.flot.0                   : flot                  : iobroker                                 -  enabled
+ system.adapter.fritzdect.0              : fritzdect             : iobroker                                 -  enabled
+ system.adapter.ham.0                    : ham                   : iobroker                                 -  enabled
+ system.adapter.history.0                : history               : iobroker                                 -  enabled
+ system.adapter.hs100.0                  : hs100                 : iobroker                                 -  enabled
+ system.adapter.iot.0                    : iot                   : iobroker                                 -  enabled
+ system.adapter.jarvis.0                 : jarvis                : iobroker                                 -  enabled
+ system.adapter.javascript.0             : javascript            : iobroker                                 -  enabled
+ system.adapter.lovelace.0               : lovelace              : iobroker                                 -  enabled, port: 8091, bind: 0.0.0.0, run as: admin
  system.adapter.mqtt.0                   : mqtt                  : iobroker                                 - disabled, port: 1886, bind: 0.0.0.0
  system.adapter.onvif.0                  : onvif                 : iobroker                                 - disabled, port: 80, 7575, 8000, 8080, 8081, 8899,554,2020
+ system.adapter.ping.0                   : ping                  : iobroker                                 -  enabled
+ system.adapter.rpi2.0                   : rpi2                  : iobroker                                 -  enabled
+ system.adapter.shelly.0                 : shelly                : iobroker                                 -  enabled, port: 1882, bind: 0.0.0.0
+ system.adapter.sonoff.0                 : sonoff                : iobroker                                 -  enabled, port: 1883, bind: 0.0.0.0
+ system.adapter.statistics.0             : statistics            : iobroker                                 -  enabled
+ system.adapter.web.0                    : web                   : iobroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin

+ instance is alive

Enabled adapters with bindings
+ system.adapter.admin.0                  : admin                 : iobroker                                 -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
+ system.adapter.deyeidc.0                : deyeidc               : iobroker                                 -  enabled, port: 8899
+ system.adapter.lovelace.0               : lovelace              : iobroker                                 -  enabled, port: 8091, bind: 0.0.0.0, run as: admin
+ system.adapter.shelly.0                 : shelly                : iobroker                                 -  enabled, port: 1882, bind: 0.0.0.0
+ system.adapter.sonoff.0                 : sonoff                : iobroker                                 -  enabled, port: 1883, bind: 0.0.0.0
+ system.adapter.web.0                    : web                   : iobroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin

ioBroker-Repositories
┌─────────┬────────────────────┬─────────────────────────────────────────────────────────┬──────────────┐
│ (index) │ name               │ url                                                     │ auto upgrade │
├─────────┼────────────────────┼─────────────────────────────────────────────────────────┼──────────────┤
│ 0       │ 'Stable (default)' │ 'http://download.iobroker.net/sources-dist.json'        │ false        │
│ 1       │ 'Beta (latest)'    │ 'http://download.iobroker.net/sources-dist-latest.json' │ false        │
└─────────┴────────────────────┴─────────────────────────────────────────────────────────┴──────────────┘

Active repo(s): Stable (default)
Upgrade policy: none

Installed ioBroker-Instances
Used repository: Stable (default)
Adapter    "admin"        : 7.4.10   , installed 7.4.10
Adapter    "alexa2"       : 3.26.5   , installed 3.26.5
Adapter    "backitup"     : 3.0.31   , installed 3.0.31
Adapter    "device-watcher": 2.12.1  , installed 2.12.1
Adapter    "deyeidc"      : 0.1.1    , installed 0.1.1
Adapter    "echarts"      : 1.9.2    , installed 1.9.2
Adapter    "email"        : 1.3.1    , installed 1.3.1
Adapter    "flot"         : 1.12.0   , installed 1.12.0
Adapter    "fritzdect"    : 2.5.11   , installed 2.5.11
Adapter    "ham"          : 5.3.1    , installed 5.3.1
Adapter    "history"      : 3.0.1    , installed 3.0.1
Adapter    "hs100"        : 2.2.2    , installed 2.2.2
Adapter    "iot"          : 3.3.0    , installed 3.3.0
Adapter    "jarvis"       : 3.1.8    , installed 3.1.8
Adapter    "javascript"   : 8.8.3    , installed 8.8.3
Controller "js-controller": 7.0.6    , installed 7.0.6
Adapter    "lovelace"     : 4.1.10   , installed 4.1.10
Adapter    "mqtt"         : 6.1.2    , installed 6.1.2
Adapter    "onvif"        : 1.1.4    , installed 1.1.4
Adapter    "ping"         : 1.6.2    , installed 1.6.2
Adapter    "rpi2"         : 2.3.1    , installed 2.3.1
Adapter    "shelly"       : 8.5.1    , installed 8.5.1
Adapter    "simple-api"   : 2.8.0    , installed 2.8.0
Adapter    "socketio"     : 6.7.1    , installed 6.7.1
Adapter    "sonoff"       : 3.1.2    , installed 3.1.2
Adapter    "statistics"   : 2.4.0    , installed 2.4.0
Adapter    "web"          : 6.2.5    , installed 6.2.5
Adapter    "ws"           : 2.6.2    , installed 2.6.2

Objects and States
Please stand by - This may take a while
Objects:        5439
States:         4377

*** OS-Repositories and Updates ***
Hit:1 http://deb.debian.org/debian bookworm InRelease
Hit:2 http://deb.debian.org/debian-security bookworm-security InRelease
Hit:3 http://deb.debian.org/debian bookworm-updates InRelease
Hit:4 http://archive.raspberrypi.com/debian bookworm InRelease
Hit:5 https://deb.nodesource.com/node_20.x nodistro InRelease
Reading package lists...
Pending Updates: 0

*** Listening Ports ***
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       User       Inode      PID/Program name
tcp        0      0 0.0.0.0:1883            0.0.0.0:*               LISTEN      1001       19448      3153/io.sonoff.0
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      0          3580       609/sshd: /usr/sbin
tcp        0      0 0.0.0.0:8400            0.0.0.0:*               LISTEN      1001       9340       1086/io.jarvis.0
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      1001       3638       592/iobroker.js-con
tcp        0      0 127.0.0.1:9001          0.0.0.0:*               LISTEN      1001       3631       592/iobroker.js-con
tcp6       0      0 :::22                   :::*                    LISTEN      0          3582       609/sshd: /usr/sbin
tcp6       0      0 :::8091                 :::*                    LISTEN      1001       8406       1101/io.lovelace.0
tcp6       0      0 :::8082                 :::*                    LISTEN      1001       7422       1133/io.web.0
tcp6       0      0 :::8081                 :::*                    LISTEN      1001       6267       684/io.admin.0
udp        0      0 0.0.0.0:52302           0.0.0.0:*                           104        5712       464/avahi-daemon: r
udp        0      0 0.0.0.0:5353            0.0.0.0:*                           1001       8224       924/io.ham.0
udp        0      0 0.0.0.0:5353            0.0.0.0:*                           104        5710       464/avahi-daemon: r
udp        0      0 0.0.0.0:5683            0.0.0.0:*                           1001       8282       996/io.shelly.0
udp6       0      0 :::5353                 :::*                                104        5711       464/avahi-daemon: r
udp6       0      0 :::35214                :::*                                104        5713       464/avahi-daemon: r

*** Log File - Last 25 Lines ***

======================= SUMMARY =======================
                        v.2025-02-02


 Static hostname: iobroker
       Icon name: computer
Operating System: Debian GNU/Linux 12 (bookworm)
          Kernel: Linux 6.6.74+rpt-rpi-v8
    Architecture: arm64

Installation:           native
Kernel:                 aarch64
Userland:               64 bit
Timezone:               Europe/Berlin (CET, +0100)
User-ID:                1000
Display-Server:         false
Boot Target:            multi-user.target

Pending OS-Updates:     0
Pending iob updates:    0

Nodejs-Installation:
/usr/bin/nodejs         v20.18.2
/usr/bin/node           v20.18.2
/usr/bin/npm            10.8.2
/usr/bin/npx            10.8.2
/usr/bin/corepack       0.29.4

Recommended versions are nodejs 20.18.2 and npm 10.8.2
nodeJS installation is correct

MEMORY:
               total        used        free      shared  buff/cache   available
Mem:            8.2G        1.9G        3.1G        1.2M        3.3G        6.3G
Swap:           536M          0B        536M
Total:          8.7G        1.9G        3.6G

Active iob-Instances:   22
Upgrade policy: none

ioBroker Core:          js-controller           7.0.6
                        admin                   7.4.10

ioBroker Status:        iobroker is running on this host.


Objects type: jsonl
States  type: jsonl

Status admin and web instance:
+ system.adapter.admin.0                  : admin                 : iobroker                                 -  enabled, port: 8081, bind: 0.0.0.0, run as: admin
+ system.adapter.web.0                    : web                   : iobroker                                 -  enabled, port: 8082, bind: 0.0.0.0, run as: admin

Objects:                5439
States:                 4377

Size of iob-Database:

24M     /opt/iobroker/iobroker-data/objects.jsonl
6.7M    /opt/iobroker/iobroker-data/states.jsonl


Operating System is the current Debian stable version codenamed 'bookworm'!

=================== END OF SUMMARY ====================

[Homoran]

@wcag22 nimm mal deine privaten Daten aus dem log

[Rico Sander]

@homoran Danke für den Hinweis.

[Rico Sander]

@wcag22
Es war mir schon klar, dass es schwierig sein wird, den Fehler einzugrenzen. An einen Bug im BackItUp-Adapter habe ich eigentlich auch nicht geglaubt.

Nachdem am Vortag 18:00 Uhr eine manuelle Sicherung fehlerfrei war, dachte ich das Problem hätte sich in Luft ausgelöst. Heute die 06:00 Uhr-Sicherung wieder mit Fehler.

Daher habe ich eine Testreihe aufgesetzt, um dem Spuk auf die Spur zu kommen.
Die Archive aus dem BackUp prüfe ich mit 7zip.

Gedanke:

Fehlerhafter Stick "/usbshare1/iobroker_backup" am NAS

Ergebnis:
Alle Sicherungen der historyDB fehlerhaft. iob, jarvis und javascript in Ordnung

1. Lösungsversuch: anderes Speichergerät (anderer Stick)
(Sicherungsziel gewechselt auf "/usbshare2/iobroker_backup" am NAS)

Ergebnis:
Erste Sicherung um 10:59 Uhr fehlerfrei (Ursache gefunden?)
Drei weitere Versuche wieder mit Fehler ausschließlich in der history DB

2. Lösungsversuch: Stick gewechselt

Ergebnis:
Archiv der history DB mit Datenfehler

3. Lösungsversuch: Sicherung direkt auf eine HD am NAS

Ergebnis:
Alle 3 Versuche mit Datenfehler in der history DB

weitere Versuche mit smb Version und WebDAV

Ergebnis:
Aller Archive der history DB mit datenfehler.

Versuche zum Entpacken enden entweder mit leeren Verzeichnissen oder enden bei unterschiedlichen Prozentzahlen des Entpackungsvorganges.

[Rico Sander]

@wcag22
Ich habe zwar von Allem keine Ahnung, aber das ganz viel.
Und:
Wenn es um Ursachenforschung geht, bin ich fast nicht zu bremsen. Wird vermutlich Keinem etwas nutzen, ich stelle es aber dennoch zur Diskussion.

Da der Fehler (?) bzw. die Ursache möglichweise doch im BackItUp-Adapter zu suchen ist, habe ich etwas tiefer gegraben.

Die fehlerhaften Archive lassen sich über Umwege entpacken und melden dann am Ende den Ort des Fehlers. So kam ich an die betreffenden .json files heran, in denen die Ursachen für die Inkonsistenz des Archives stecken.

Ich habe die entpackten Dateien mit denen verglichen, die sich auf dem Raspi/ioB befinden.

Fazit:
Während die Dateien in der history (in den Bildern als original bezeichnet) fehlerfrei sind, haben die entpackten Dateien Fehler.
Eine Systematik des Auftretens konnte ich nicht erkennen. Das betrifft sowohl das betroffene Tagesdatum, also auch den betroffenen Datenpunkt. Ebenso lässt sich in der fehlerhaften Datei keine Systematik der Ursache erkennen.

Beispiel - 22.01.2024
Betroffene Datei/Datenpunkt:

 history.shelly.0.SHPLG-S#80646F8270BF#1.Relay0.Energy.json

Dateivergleich:

Beispiel - 24.11.2024
Betroffene Datei/Datenpunkt:

history.deyeidc.0.info.connection.json

Beispiel - 06.02.2025
Betroffene Datei/Datenpunkt:

history.0_userdata.0.EDV.Static_NAS_ThisYear.json

Mehr werde ich wohl zunächst nicht herausfinden. Es bleibt für mich nicht erkennbar, ob der Fehler beim packen der history DB entsteht oder anderswo seine Ursache hat.

Ein BackUp der history DB macht also derzeit zumindest bei mir keinen Sinn, da die Archive mit hoher Wahrscheinlichkeit nutzlos sind. Das Problem: Es fällt halt im normalen Betrieb nicht auf, da die Sicherungen als fehlerfrei gemeldet werden.

Niemand wird sich die Mühe machen, ohne Anlass die Archive auf Fehlerfreiheit zu kontrollieren. Das fällt dann erst auf, wenn ein Restore fehlschlägt.

[Homoran]

@wcag22 ich möchte dich nicht entmutigen.
meine History ist erheblich größer und da passiert so etwas nicht.
Also ist es kein grundsätzliches Problem von backitup..

Ob der Fehler beim packen passiert oder vorher beim lesen der Daten wäre noch zu prüfen.

ganz aus der Hüfte geschossen
Hast du ausreichend RAM zur Verfügung?
Ist dein Rechner übertaktet?

fiel mir als mögliche Ursache ein.
ein Raspi mit SSD an USB3 ist es ja nicht, oder?

[Rico Sander]

@homoran sagte in Fehler im BackUp der history DB:

@wcag22 ich möchte dich nicht entmutigen.

Tust Du nicht :-)

meine History ist erheblich größer und da passiert so etwas nicht.
Also ist es kein grundsätzliches Problem von backitup..

Ja, ich weiß. Ich hatte das schon mal gelesen in einem Post von Dir.

Aber hast Du mal ein Archiv getestet? Denn wie gesagt: Laut Meldungen des Adapters gibt es keine Fehler und beim manuellen BackUp kann man ja auch zuschauen, wie der Prozess durchläuft. Alles ohne Auffälligkeiten.

Ob der Fehler beim packen passiert oder vorher beim lesen der Daten wäre noch zu prüfen.

Ja, sicher. Ist irgendwie ziemlich unklar die Geschichte und Zeitpunkt des Auftretens nicht mehr nachvollziehbar.

ganz aus der Hüfte geschossen
Hast du ausreichend RAM zur Verfügung?
Ist dein Rechner übertaktet?
fiel mir als mögliche Ursache ein.
ein Raspi mit SSD an USB3 ist es ja nicht, oder?

Alle Daten im ersten Post: Hardware , Software und diag lang und kurz. Schaust Du bitte...
Und nein: Nicht übertaktet, sogar gekühlt durch das argon-Gehäuse mit Lüfter :-)
Es laufen 22 Prozesse.

[Homoran]

@wcag22 sagte in Fehler im BackUp der history DB:

dev/sda5 ext4 27G 2.2G 24G 9% /media/USBintern

heisst was?

@wcag22 sagte in Fehler im BackUp der history DB:

das argon-Gehäuse

bindet die SSD wie an?

[simatec]

@wcag22 Mache mal bitte zu Testzwecken folgendes... Stoppe den History Adapter und führe im Anschluß ein Backup durch.
Möchte nur ausschließen, dass der History Adapter beim schreiben neuer daten da beim Backup etwas zerschießt...

[Rico Sander]

Moin Moin,

@homoran sagte in Fehler im BackUp der history DB:

@wcag22 sagte in Fehler im BackUp der history DB:

dev/sda5 ext4 27G 2.2G 24G 9% /media/USBintern
heisst was?

Verstehe die Frage nicht. Stand doch alles in dem ersten Post, auf den ich nochmals verwiesen hatte.
Inkl. dem immer wieder eingeforderten diag-output

Alle Daten im ersten Post: Hardware , Software und diag lang und kurz. Schaust Du bitte...

Aber gut, dann noch einmal:

Festplattenart: SD-Karte (für OS und ioB, USB-Stick für history DB)

Es ist der 32GB- USB-Stick für die history DB, als sda5 gemounted.

@wcag22 sagte in Fehler im BackUp der history DB:

das argon-Gehäuse

bindet die SSD wie an?

Erstens wird "ein Gehäuse" keinen Datenträger einbinden - das macht allenfalls der Raspi; und zweitens war von einer SSD nirgends die Rede.

Ich nehme mal wohlwollend an, dass Dir die Threads durcheinander geraten sind. :-) :-)

Nix für ungut...

[Homoran]

@wcag22 sagte in Fehler im BackUp der history DB:

Es ist der 32GB- USB-Stick für die history DB, als sda5 gemounted.

ist doch egal ob stick oder ssd.

Auf die Frage nach dem Anschluss finde ich keine Antwort!
Deswegen die Nachfrage

@homoran sagte in Fehler im BackUp der history DB:

an USB3

??

[Rico Sander]

Moin Moin,

@simatec sagte in Fehler im BackUp der history DB:

@wcag22 Mache mal bitte zu Testzwecken folgendes... Stoppe den History Adapter und führe im Anschluß ein Backup durch.
Möchte nur ausschließen, dass der History Adapter beim schreiben neuer daten da beim Backup etwas zerschießt...

Besten Dank!
Das ist eine verdammt gute und naheliegende Idee. Eigentlich müsste ja die DB verriegelt werden, wenn BackItUp anspringt.
Hatte die halbe Nacht gegrübelt, wo und wie ich weiter mache in der Ursachenforschung - jetzt weiß ich es :-)

Mache mich gleich ans Werk und melde mich mit Resultat.

Bis nachher...

[Rico Sander]

@homoran sagte in Fehler im BackUp der history DB:

Auf die Frage nach dem Anschluss finde ich keine Antwort!
Deswegen die Nachfrage

OK, verstehe.

ein Raspi mit SSD an USB3 ist es ja nicht, oder?

Das hatte ich explizit auf die nicht vorhandene SSD bezogen.
Aber ja, der USB-Stick steckt am USB3 Port.

Wenn der Probleme bereiten würde, müsste m.E schon die DB im laufenden Betrieb fehlerhaft sein, denn ioB schreibt ja ständig auf den Stick. Offensichtlich ohne Fehler.

Der Gedanke vom @simatec liegt da für mich näher am Problem.
Aber schaun wir mal...

[Homoran]

@wcag22 sagte in Fehler im BackUp der history DB:

Der Gedanke vom @simatec liegt da für mich näher am Problem.

durchaus möglich!

@wcag22 sagte in Fehler im BackUp der history DB:

Wenn der Probleme bereiten würde, müsste m.E schon die DB im laufenden Betrieb fehlerhaft sein, denn ioB schreibt ja ständig auf den Stick.

aber nicht in der Intensität wie beim Auslesen der gesamten History.
Das Probkem mit dem USB3 liegt in einer Störung dieses Anschlusses, durch hochfrequente Signale der CPU.

letztere dürfte bei der Backup-Arbeit auch deutlich höher liegen als im Regelbetrieb.
Die von @simatec genannte Möglichkeit kommt dann noch oben drauf, wenn der Datenverkehr sowieso schon gestört ist.

[Rico Sander]

@simatec sagte in Fehler im BackUp der history DB:

@wcag22 Mache mal bitte zu Testzwecken folgendes... Stoppe den History Adapter und führe im Anschluß ein Backup durch.

Gesagt - getan. Leider kein wirklich aussagekräftiges Ergebnis.
Um überhaupt belastbare Daten zu haben, habe ich sowohl mit aktivem BackItUp Adapter, als auch mit gestoppten Adapter jeweils 10 Sicherungen durchgeführt.

Ergebnis mit laufendem History-Adapter: (60% Fehler)
10_03_28 mit history fehlefrei
10_10_28 mit history unerwartetes Datenende
11_01_28 mit history unerwartetes Datenende
11_20_28 mit history fehlerfrei
11_28_28 mit history Headersfehler & Warnungen
12_00_28 mit history Headersfehler & Warnungen
12_20_28 mit history fehlerfrei
12_35_28 mit history fehlerfrei
12_45_28 mit history Headersfehler & Warnungen
12_55_28 mit history unerwartetes Datenende

Ergebnis bei gestopptem History Adapter: (40% Fehler)
13_06_01 ohne history - fehlerfrei
13_16_01 ohne history - Headersfehler & Warnungen
13_25_01 ohne history - fehlerfrei
13_30_01 ohne history - fehlerfrei
13_43_01 ohne history - fehlerfrei
13_49_01 ohne history - fehlerfrei
14_37_01 ohne history - Headersfehler & Warnungen
14_44_01 ohne history - unerwartetes Dateiende
14_53_01 ohne history - fehlerfrei
14_59_01 ohne history - unerwartetes Dateiende

Die Fehlerquote ist zwar ohne aktivem BackItUp-Adapter deutlich geringer, aber ein klares Ergebnis sieht anders aus.

Ich werde nun noch den Hinweisen von @Homoran (Störsignale auf USB 3) nachgegehen.
Wenn ich mehr weiß, melde ich mich wieder.

[simatec]

@wcag22 wie aktiver/inaktiver Backitup Adapter. Den History Adapter musst du vor dem Backup stoppen.

Bitte alles Debug Logs vom Backup Prozess posten

[Rico Sander]

@simatec sagte in Fehler im BackUp der history DB:

aktiver/inaktiver Backitup Adapter.

My fault, habe es berichtigt. In den Ergebnissen war es ja korrekt: mit history / ohne history (laufende Instanz / gestoppte Instanz)
Sorry.

Rest kommt auch noch...

[Rico Sander]

@simatec

pi@iobroker:~ $ iob stop history
The adapter "history.0" was stopped.

2025-02-07 16:19:28.717 - debug: backitup.0 (72377) Backup has started ...
2025-02-07 16:19:38.719 - debug: backitup.0 (72377) [iobroker/mount] cifs-mount command: "sudo mount -t cifs -o username=xxx,password=****,domain=xxx,rw,forceuid,uid=iobroker,forcegid,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.1.1 //192.168.178.x/usbshare1/iobroker_backup /opt/iobroker/backups"
2025-02-07 16:19:38.838 - debug: backitup.0 (72377) [iobroker/mount] mount successfully completed
2025-02-07 16:19:38.840 - debug: backitup.0 (72377) [iobroker/mount] done
2025-02-07 16:19:43.249 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker 5444 objects saved
2025-02-07 16:19:43.724 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker 4379 states saved
2025-02-07 16:19:43.726 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker Validating backup ...
2025-02-07 16:19:43.730 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker "config.json" is valid
2025-02-07 16:19:43.731 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker "objects.jsonl" exists
2025-02-07 16:19:43.731 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker "states.jsonl" exists
2025-02-07 16:19:44.260 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker JSONL lines are valid
2025-02-07 16:19:44.266 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker The backup is valid!
2025-02-07 16:19:45.214 - debug: backitup.0 (72377) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2025_02_07-16_19_38_Raspi4_9_backupiobroker.tar.gz
2025-02-07 16:19:45.215 - debug: backitup.0 (72377) [iobroker/iobroker] This backup can only be restored with js-controller version 7.0 or higher
2025-02-07 16:19:46.267 - debug: backitup.0 (72377) [iobroker/iobroker] done
2025-02-07 16:19:47.171 - debug: backitup.0 (72377) [iobroker/historyDB] compress from historyDB started ...
2025-02-07 16:19:57.172 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 15MB so far...
2025-02-07 16:20:07.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 32MB so far...
2025-02-07 16:20:17.172 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 48MB so far...
2025-02-07 16:20:27.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 65MB so far...
2025-02-07 16:20:37.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 83MB so far...
2025-02-07 16:20:47.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 101MB so far...
2025-02-07 16:20:57.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 119MB so far...
2025-02-07 16:21:07.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 139MB so far...
2025-02-07 16:21:17.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 159MB so far...
2025-02-07 16:21:27.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 179MB so far...
2025-02-07 16:21:37.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 197MB so far...
2025-02-07 16:21:47.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 217MB so far...
2025-02-07 16:21:53.698 - debug: backitup.0 (72377) [iobroker/historyDB] Backup created: /opt/iobroker/backups/historyDB_2025_02_07-16_19_47_Raspi4_9_backupiobroker.tar.gz
2025-02-07 16:21:53.698 - debug: backitup.0 (72377) [iobroker/historyDB] done
2025-02-07 16:21:55.506 - debug: backitup.0 (72377) [iobroker/cifs] used copy path: /usbshare1/iobroker_backup
2025-02-07 16:21:55.506 - debug: backitup.0 (72377) [iobroker/cifs] done
2025-02-07 16:21:56.109 - warn: backitup.0 (72377) [iobroker/clean] No older backup files are deleted, because this backup was started manually
2025-02-07 16:21:56.110 - debug: backitup.0 (72377) [iobroker/clean] done
2025-02-07 16:21:56.266 - debug: backitup.0 (72377) [iobroker/historyHTML] new history html values created
2025-02-07 16:21:56.364 - debug: backitup.0 (72377) [iobroker/historyHTML] done
2025-02-07 16:21:56.525 - debug: backitup.0 (72377) [iobroker/historyJSON] new history json values created
2025-02-07 16:21:56.526 - debug: backitup.0 (72377) [iobroker/historyJSON] done
2025-02-07 16:21:56.693 - debug: backitup.0 (72377) [iobroker/umount] mount active, umount is started ...
2025-02-07 16:22:01.767 - debug: backitup.0 (72377) [iobroker/umount] umount successfully completed
2025-02-07 16:22:01.768 - debug: backitup.0 (72377) [iobroker/umount] done
2025-02-07 16:22:12.078 - debug: backitup.0 (72377) [iobroker/email] done
2025-02-07 16:22:12.081 - info: email.0 (39359) Send email: {"text":"Backitup:\nEin neues iobroker (Raspi4_9) Backup wurde am 07. Februar 2025 um 16:22 Uhr erstellt.\n\nSpeicherorte:\n1. NAS (CIFS) (//192.168.178.x/usbshare1/iobroker_backup)\n","to":"xxx@yyy.de","subject":"Backitup","from":"iob@yyy.de"}
2025-02-07 16:22:12.427 - info: email.0 (39359) sent to xxx@yyy.de
2025-02-07 16:22:14.137 - debug: backitup.0 (72377) [iobroker/notification] done
2025-02-07 16:22:14.294 - debug: backitup.0 (72377) [iobroker] exec: done

Reicht Dir das?

[Homoran]

@wcag22 sagte in Fehler im BackUp der history DB:

Reicht Dir das?

Vielleicht noch die Info, ob das Backup (nicht) defekt ist

[Rico Sander]

@homoran
Gern: