Opened 23 months ago
Closed 21 months ago
#5463 closed Defekt (erledigt)
checkmk virtualisierer läuft nicht und lässt sich nicht starten
| Reported by: | Stephan Richter | Owned by: | Rüdiger Kupper |
|---|---|---|---|
| Priority: | unverzüglich erledigen | Milestone: | Schuljahr 2024/25 |
| Component: | Server: allgemein | Severity: | beeinträchtigt keinen Unterricht |
| Keywords: | Cc: |
Description
läuft anscheinend schon seit Wochen nichht mehr...
auf proxmoxls2:
root@proxmoxls2:~# pct list VMID Status Lock Name 102 running apache 103 stopped checkmk 104 running openvpn 106 running SVPBW root@proxmoxls2:~# pct start 103 WARNING: Couldn't find device with uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt. WARNING: VG storage is missing PV 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt (last written to /dev/md0p1). WARNING: Couldn't find device with uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt. WARNING: VG storage is missing PV 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt (last written to /dev/md0p1). can't activate LV '/dev/storage/vm-103-disk-0': Refusing activation of partial LV storage/vm-103-disk-0. Use '--activationmode partial' to override.
Change History (10)
comment:1 by , 23 months ago
comment:2 by , 23 months ago
Oha, da ist im LVM was durcheinandergekommen!
storage ist nur auf dem RAID, was das andere da ist -> ?
root@proxmoxls2:~# pvs WARNING: Couldn't find device with uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt. WARNING: VG storage is missing PV 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt (last written to /dev/md0p1). PV VG Fmt Attr PSize PFree /dev/md126p1 storage lvm2 a-- 465.63g 128.63g /dev/sdb3 pve lvm2 a-- 237.47g 16.00g [unknown] storage lvm2 a-m 465.63g 425.63g
comment:3 by , 23 months ago
| Owner: | changed from to |
|---|---|
| Status: | new → assigned |
Ich leite mal an Rüdiger weiter, der hoffentlich mehr Ahnung hat, was da schiefläuft.
comment:4 by , 23 months ago
So ein Mist, da hat es das RAID falsch zusammengebaut:
root@proxmoxls2:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : active raid1 sdc1[0] sdd1[1]
488253440 blocks super 1.2 [2/2] [UU]
bitmap: 2/4 pages [8KB], 65536KB chunk
md127 : inactive sda1[0](S)
488253464 blocks super 1.2
unused devices: <none>
comment:5 by , 22 months ago
Habe nun das Software-RAID /dev/md127 gestoppt.
Laut Thomas Krenn wird der RAIS-Superblock (bei uns V1.2) "Version 1.2: The superblock is 4 KiB after the beginning of the device.": https://www.thomas-krenn.com/en/wiki/Linux_Software_RAID_Information
Da ist es natürlich superdoof, wenn aus welchen Gründen auch immer, genau dieser 4K-Block kaputt geht!
Mit
mdadm --examine /dev/sda1 mdadm --examine /dev/sdc1 mdadm --examine /dev/sdd1
bekommt man die Daten, und die sind halt unterschiedlich:
/dev/sda1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : d52cf8d0:3e0ba076:2605a39d:551eaadb
Name : proxmoxls2:md0 (local to host proxmoxls2)
Creation Time : Mon Jan 18 18:29:54 2021
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 976506928 sectors (465.63 GiB 499.97 GB)
Array Size : 488253440 KiB (465.63 GiB 499.97 GB)
Used Dev Size : 976506880 sectors (465.63 GiB 499.97 GB)
Data Offset : 264192 sectors
Super Offset : 8 sectors
Unused Space : before=264112 sectors, after=48 sectors
State : clean
Device UUID : 3f94aa29:9d3b2402:9f671472:de4d511a
Internal Bitmap : 8 sectors from superblock
Update Time : Wed Nov 6 10:25:32 2024
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : b00eb647 - correct
Events : 40247
Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 70b6f462:d4acf372:fe08b47b:c9eca249
Name : proxmoxls2:md1 (local to host proxmoxls2)
Creation Time : Mon Jan 18 18:30:15 2021
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 976506928 sectors (465.63 GiB 499.97 GB)
Array Size : 488253440 KiB (465.63 GiB 499.97 GB)
Used Dev Size : 976506880 sectors (465.63 GiB 499.97 GB)
Data Offset : 264192 sectors
Super Offset : 8 sectors
Unused Space : before=264112 sectors, after=48 sectors
State : clean
Device UUID : 70c4651f:585c46c5:5a858ae3:66c10216
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Jan 11 11:01:20 2025
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : b0c55ca1 - correct
Events : 87916
Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
root@proxmoxls2:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : active raid1 sdc1[0] sdd1[1]
488253440 blocks super 1.2 [2/2] [UU]
bitmap: 2/4 pages [8KB], 65536KB chunk
unused devices: <none>
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 70b6f462:d4acf372:fe08b47b:c9eca249
Name : proxmoxls2:md1 (local to host proxmoxls2)
Creation Time : Mon Jan 18 18:30:15 2021
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 976506928 sectors (465.63 GiB 499.97 GB)
Array Size : 488253440 KiB (465.63 GiB 499.97 GB)
Used Dev Size : 976506880 sectors (465.63 GiB 499.97 GB)
Data Offset : 264192 sectors
Super Offset : 8 sectors
Unused Space : before=264112 sectors, after=48 sectors
State : clean
Device UUID : 34f46808:f441565e:708d5855:0c7c6c65
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Jan 11 11:05:32 2025
Bad Block Log : 512 entries available at offset 16 sectors
Checksum : f41035b9 - correct
Events : 87916
Device Role : Active device 1
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
OK, ich baue nun die Platte aus und eine andere ein.
Diese binde ich in das Array und teste gleichzeitig die ausgebaute Platte in einem anderen Rechner.
comment:6 by , 22 months ago
Laut https://wiki.ubuntuusers.de/Software-RAID/ wird das Software-Raid beim booten automatisch zusammengestellt, dennoch kann man eine conf-Datei erstellen, was wir am besten auf jedem Server auch tun sollten:
"Alle Informationen zum RAID werden auf jeder verwendeten Partition in den sog. Superblock geschrieben (auch Metadaten genannt). Der Kernel sucht beim Starten automatisch nach diesen Superblöcken und startet alle voll funktionsfähigen RAIDs, ohne dass eine Konfigurationsdatei nötig ist. Trotzdem kann es sinnvoll sein, eine Konfigurationsdatei zu erstellen, z.B. wenn man über Ausfälle am RAID per E-Mail benachrichtigt werden möchte. "
comment:7 by , 22 months ago
Das Software-Raid ist nun wieder komplett mit drei Platten.
Es waren anscheinend mal vier, was mit der vierten passiert ist, teste ich mal.
Aktuell ist die Vierte als Backupplatte mit ext4 formatiert (/dev/sda).
Nun muss das LV aktiviert werden:
root@proxmoxls2:~# lvs WARNING: Couldn't find device with uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt. WARNING: VG storage is missing PV 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt (last written to /dev/md0p1). LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert (...) vm-103-disk-0 storage -wi-----p- 40.00g (...)
Wie geht das?
root@proxmoxls2:~# pvs WARNING: Couldn't find device with uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt. WARNING: VG storage is missing PV 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt (last written to /dev/md0p1). PV VG Fmt Attr PSize PFree /dev/md126p1 storage lvm2 a-- 465.63g 128.63g /dev/sdb3 pve lvm2 a-- 237.47g 16.00g [unknown] storage lvm2 a-m 465.63g 425.63g
Ich denke mal, dass man zunächst das falsche GFerät mit der uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt aus der VG entfernen muss. Oder reicht da einfach mal ein reboot?
comment:8 by , 22 months ago
Ups, jetzt sehe ich es: der hat das LV auf dem falschen PV allokiert:
root@proxmoxls2:~# pvdisplay -m
--- Physical volume ---
PV Name /dev/sdb3
VG Name pve
PV Size 237.47 GiB / not usable <1.32 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 60793
Free PE 4097
Allocated PE 56696
PV UUID 5hGHWf-0mqN-tlwE-6mhz-dwNp-0KTY-VfZxvd
--- Physical Segments ---
Physical extent 0 to 1964:
Logical volume /dev/pve/swap
Logical extents 0 to 1964
Physical extent 1965 to 19743:
Logical volume /dev/pve/root
Logical extents 0 to 17778
Physical extent 19744 to 55957:
Logical volume /dev/pve/data_tdata
Logical extents 0 to 36213
Physical extent 55958 to 56326:
Logical volume /dev/pve/data_tmeta
Logical extents 0 to 368
Physical extent 56327 to 56695:
Logical volume /dev/pve/lvol0_pmspare
Logical extents 0 to 368
Physical extent 56696 to 60792:
FREE
WARNING: Couldn't find device with uuid 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt.
WARNING: VG storage is missing PV 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt (last written to /dev/md0p1).
--- Physical volume ---
PV Name /dev/md126p1
VG Name storage
PV Size 465.63 GiB / not usable 0
Allocatable yes
PE Size 4.00 MiB
Total PE 119202
Free PE 32930
Allocated PE 86272
PV UUID tcCgxY-WUH5-kIG2-zvY6-7Ohp-tgty-d0jNsO
--- Physical Segments ---
Physical extent 0 to 8191:
Logical volume /dev/storage/vm-100-disk-0
Logical extents 0 to 8191
Physical extent 8192 to 33791:
FREE
Physical extent 33792 to 59391:
Logical volume /dev/storage/vm-106-disk-0
Logical extents 0 to 25599
Physical extent 59392 to 110591:
Logical volume /dev/storage/backups
Logical extents 0 to 51199
Physical extent 110592 to 111103:
Logical volume /dev/storage/vm-104-disk-0
Logical extents 0 to 511
Physical extent 111104 to 111871:
Logical volume /dev/storage/vm-102-disk-0
Logical extents 0 to 767
Physical extent 111872 to 119201:
FREE
--- Physical volume ---
PV Name [unknown]
VG Name storage
PV Size 465.63 GiB / not usable 0
Allocatable yes
PE Size 4.00 MiB
Total PE 119202
Free PE 108962
Allocated PE 10240
PV UUID 2xsSHj-7ddg-PM91-vf5M-hI34-X6XA-IBmpTt
--- Physical Segments ---
Physical extent 0 to 10239:
Logical volume /dev/storage/vm-103-disk-0
Logical extents 0 to 10239
Physical extent 10240 to 119201:
FREE
comment:9 by , 22 months ago
Vorschlag:
- ProxMoxLS2 einmal rebooten
- entweder das LV ist wieder auf dem richtigen PV angekommen
- oder wir mounten die "Sicherungsplatte" im Bücherkeller und ziehen das LV auf eine externe Platte
So, wie mir das aussieht, liegt das LV noch im Bereich
Physical extent 8192 to 33791:
oder
Physical extent 111872 to 119201:
comment:10 by , 21 months ago
| Resolution: | → erledigt |
|---|---|
| Status: | assigned → closed |
In ProxmoxLS2 sind zwei RAIDs über jeweils zwei Platten konfiguriert, beim zweiten war eine Platte ausgefallen, diese ist nun getauscht. RAID läuft wieder, checkMK auch.
Was bedeutet das?