Influxdb stopped working without any changes.

Mathias2803

@martinp Ich könnte auch in Deutsch schreiben, aber ich dachte so können es mehr Personen lesen??

pi@ioBroker:~ $ ls -l /mnt/mySSD
insgesamt 5912
drwxrwxrwx 2 pi       pi       5271552 Dez 22 02:00 Influx-BackUp
drwxrwxrwx 2 root     root      741376 Mai 27  2022 Influx-BackUp_old
drwxrwxrwx 5 pi       pi          4096 Mai 30  2022 InfluxDB
drwxrwxrwx 5 pi       pi          4096 Mai 27  2022 InfluxDB_müll
drwxrwxrwx 5 influxdb influxdb    4096 Mai 27  2022 InfluxDB_müll2
drwxrwxrwx 2 pi       pi          4096 Mai 27  2022 InfluxDB_müll3
drwxrwxrwx 5 root     root        4096 Okt  1  2021 InfluxDB_old
drwxrwxrwx 2 root     root       16384 Sep 28  2021 lost+found

MartinP

@mathias2803 Das Filesystem hat Fehler und wird nur read-only gemountet - habe ich gerade übersehen

run: open server: open tsdb store: open /mnt/mySSD/InfluxDB/data/_internal/_series/00/0000: read-only file system

Mit Linux Bordmitteln das Dateisystem auf der SSD reparieren lassen und das Beste hoffen, dass es keine größeren Datenverluste gegeben hat ...

Die generelle "Gesundheit" der SSD solltest Du auch ggfs überprüfen ...

Mathias2803

@martinp

pi@ioBroker:~ $ ls -l /mnt/mySSD/InfluxDB/data/_internal/_series/00/0000
-rwxrwxrwx 1 influxdb influxdb 4194304 Dez 22 01:05 /mnt/mySSD/InfluxDB/data/_internal/_series/00/0000
pi@ioBroker:~ $ ls -l /mnt/mySSD/InfluxDB/data/_internal/_series/00
insgesamt 276
-rwxrwxrwx 1 influxdb influxdb 4194304 Dez 22 01:05 0000
pi@ioBroker:~ $ ls -l /mnt/mySSD/InfluxDB/data/_internal/_series
insgesamt 32
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 00
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 01
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 02
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 03
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 04
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 05
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 06
drwxrwxrwx 2 influxdb influxdb 4096 Mai 30  2022 07
pi@ioBroker:~ $ ls -l /mnt/mySSD/InfluxDB/data/_internal
insgesamt 8
drwxrwxrwx 10 influxdb influxdb 4096 Dez 22 01:05 monitor
drwxrwxrwx 10 influxdb influxdb 4096 Mai 30  2022 _series
pi@ioBroker:~ $ ls -l /mnt/mySSD/InfluxDB/data
insgesamt 8
drwxrwxrwx 4 influxdb influxdb 4096 Mai 30  2022 _internal
drwx------ 4 influxdb influxdb 4096 Mai 30  2022 iobroker
pi@ioBroker:~ $ ls -l /mnt/mySSD/InfluxDB
insgesamt 12
drwxrwxrwx 4 influxdb influxdb 4096 Mai 30  2022 data
drwxrwxrwx 2 influxdb influxdb 4096 Dez 22 01:05 meta
drwxrwxrwx 4 influxdb influxdb 4096 Mai 30  2022 wal

Mathias2803

@MartinP

"Mit Linux Bordmitteln das Dateisystem auf der SSD reparieren lassen und das Beste hoffen, dass es keine größeren Datenverluste gegeben hat ..."

Wie mache ich das??

"Die generelle "Gesundheit" der SSD solltest Du auch ggfs überprüfen ..."

Und was muss ich da tun?

MartinP

@mathias2803 Ich bin auch nicht der Linux - Experte meine Ansatzpunkte wären

https://docs.hetzner.com/de/robot/dedicated-server/troubleshooting/filesystem-check/

https://www.naturalborncoder.com/2023/05/checking-hard-drives-from-the-linux-command-line/

Mathias2803

@martinp said in Influxdb stopped working without any changes.:

icht der Linux - Experte meine Ansatzpunkte wären

fdisk -l

Disk /dev/sda: 119,2 GiB, 128035676160 bytes, 250069680 sectors
Disk model: Portable SSD
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0xa4b57300

Mathias2803

@martinp

sudo smartctl -H /dev/sda

smartctl 6.6 2017-11-05 r4594 [armv7l-linux-5.10.103-v7l+] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Status not supported: Incomplete response, ATA output registers missing
SMART overall-health self-assessment test result: PASSED
Warning: This result is based on an Attribute check.

Mathias2803

@martinp

sudo smartctl -a /dev/sda

smartctl 6.6 2017-11-05 r4594 [armv7l-linux-5.10.103-v7l+] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     INTENSO
Serial Number:    AA000000000000008041
Firmware Version: T0910A0
User Capacity:    128.035.676.160 bytes [128 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-2 T13/2015-D revision 3
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Jan  7 13:13:22 2025 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART Status not supported: Incomplete response, ATA output registers missing
SMART overall-health self-assessment test result: PASSED
Warning: This result is based on an Attribute check.

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (  120) seconds.
Offline data collection
capabilities:                    (0x11) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        No Selective Self-test supported.
SMART capabilities:            (0x0002) Does not save SMART data before
                                        entering power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  10) minutes.

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x0032   100   100   050    Old_age   Always       -       0
  5 Reallocated_Sector_Ct   0x0032   100   100   050    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   050    Old_age   Always       -       28364
 12 Power_Cycle_Count       0x0032   100   100   050    Old_age   Always       -       87
160 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       0
161 Unknown_Attribute       0x0033   100   100   050    Pre-fail  Always       -       100
163 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       1
164 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       76817
165 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       716
166 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       11
167 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       121
168 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       5050
169 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       98
175 Program_Fail_Count_Chip 0x0032   100   100   050    Old_age   Always       -       0
176 Erase_Fail_Count_Chip   0x0032   100   100   050    Old_age   Always       -       0
177 Wear_Leveling_Count     0x0032   100   100   050    Old_age   Always       -       0
178 Used_Rsvd_Blk_Cnt_Chip  0x0032   100   100   050    Old_age   Always       -       0
181 Program_Fail_Cnt_Total  0x0032   100   100   050    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   050    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   050    Old_age   Always       -       65
194 Temperature_Celsius     0x0022   100   100   050    Old_age   Always       -       40
195 Hardware_ECC_Recovered  0x0032   100   100   050    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   100   100   050    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   100   100   050    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0032   100   100   050    Old_age   Always       -       0
199 UDMA_CRC_Error_Count    0x0032   100   100   050    Old_age   Always       -       0
232 Available_Reservd_Space 0x0032   100   100   050    Old_age   Always       -       100
241 Total_LBAs_Written      0x0030   100   100   050    Old_age   Offline      -       106276
242 Total_LBAs_Read         0x0030   100   100   050    Old_age   Offline      -       1239
245 Unknown_Attribute       0x0032   100   100   050    Old_age   Always       -       111462

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

Selective Self-tests/Logging not supported

Mathias2803

@martinp

lsblk

NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda           8:0    0 119,2G  0 disk
└─sda1        8:1    0 119,2G  0 part /mnt/mySSD
mmcblk0     179:0    0  59,5G  0 disk
├─mmcblk0p1 179:1    0   256M  0 part /boot
└─mmcblk0p2 179:2    0  59,2G  0 part /

JLeg

@mathias2803

fsck -N /dev/sda1

...wenn da Fehler angezeigt werden, nochmal ohne "-N" aufrufen...

Mathias2803

@jleg said in Influxdb stopped working without any changes.:

fsck -N /dev/sda1

pi@ioBroker:~ $ fsck -N /dev/sda1
fsck from util-linux 2.33.1
[/usr/sbin/fsck.ext4 (1) -- /mnt/mySSD] fsck.ext4 /dev/sda1


pi@ioBroker:~ $ sudo fsck -N /dev/sda1
fsck from util-linux 2.33.1
[/usr/sbin/fsck.ext4 (1) -- /mnt/mySSD] fsck.ext4 /dev/sda1


pi@ioBroker:~ $ sudo fsck /dev/sda1
fsck from util-linux 2.33.1
e2fsck 1.44.5 (15-Dec-2018)
/dev/sda1 is mounted.
e2fsck: Cannot continue, aborting.

Mathias2803

@jleg

pi@ioBroker:~ $ fsck /dev/sda1
fsck from util-linux 2.33.1
e2fsck 1.44.5 (15-Dec-2018)
/dev/sda1 is mounted.



WARNING!!!  The filesystem is mounted.   If you continue you ***WILL***
cause ***SEVERE*** filesystem damage.


Do you really want to continue<n>? yes
fsck.ext4: Keine Berechtigung while trying to open /dev/sda1
You must have r/w access to the filesystem or be root

JLeg

@mathias2803 vorher

umount /mnt/mySSD

versuchen - falls noch Prozesse zugreifen, wird das aber u.U. nicht klappen. Als root sollte fsck aber nach der Warnung trotzdem tun...

Mathias2803

@jleg said in Influxdb stopped working without any changes.:

umount /mnt/mySSD

Nach dem umount:

sudo fsck /dev/sda1

fsck from util-linux 2.33.1
e2fsck 1.44.5 (15-Dec-2018)
/dev/sda1 is in use.
e2fsck: Cannot continue, aborting.

JLeg

@mathias2803 zeig mal

cat /etc/fstab

Mathias2803

@jleg said in Influxdb stopped working without any changes.:

cat /etc/fstab

cat /etc/fstab

proc            /proc           proc    defaults          0       0
PARTUUID=f0881a94-01  /boot           vfat    defaults          0       2
PARTUUID=f0881a94-02  /               ext4    defaults,noatime  0       1
#UUID=22A1-48DB /mnt/mySSD/ ext4 nofail 0
#UUID=22A1-48DB /mnt/mySSD ext4 auto,nofail,sync,users,rw 0 0
#UUID=22A1-48DB-a4b57300-01 /mnt/mySSD ext4 auto,nofail,sync,users,rw 0 0
UUID="49441976-e29b-4acc-a8ee-71f4eb91255c" /mnt/mySSD ext4 defaults 0 2
# a swapfile is not a swap partition, no line here
#   use  dphys-swapfile swap[on|off]  for that

Mathias2803

@jleg

Was bedeutet das?

ls -l /mnt/mySSD/InfluxDB/data/_internal/_series/00/0000
-rwxrwxrwx 1 influxdb influxdb 4194304 Dez 22 01:05 /mnt/mySSD/InfluxDB/data/_internal/_series/00/0000

ls -l /mnt/mySSD/InfluxDB
drwxrwxrwx 4 influxdb influxdb 4096 Mai 30  2022 data

Das "d" fehlt im Unterverzeichnis am Anfang. Kann ich das für alle Unterverzeichnisse ändern?

JLeg

@mathias2803 nein, das Problem ist: Das Filesystem ist höchstwahrscheinlich beschädigt, und wurde vom OS auf "read-only" gesetzt. Das kann id.R. nur durch ein fsck eventuell behoben werden. Dafür muss entweder fsck manuell (als root) aufgerufen werden, oder aber das System muss neu gestartet werden - und sofern die fstab stimmt, wird dann beim Booten automatisch ein fsck durchgeführt.
fstab sieht ok aus ("defaults 0 2" heisst, dass ein fsck durchgeführt wird) - also am besten mal neu starten...
Nach dem Start dann auch mal prüfen:

dmesg

Mathias2803

@jleg

Ich habe die Prüfungen durchgeführt und verschiedene Experimente gemacht.

Jetzt nach dem Neustart geht wieder alles. Vielen Dank!

Thomas Braun

@mathias2803 sagte in Influxdb stopped working without any changes.:

If you continue you WILL cause SEVERE filesystem damage.

Hast du gelesen und verstanden?
Filesysteme NIE, NIE, NIE in gemountetem Zustand einem fsck unterziehen.

Community Forum

NEWS

Influxdb stopped working without any changes.

Support us

1.0k

32.6k

81.9k

1.3m