Thread by @MSeitl

Warum ich bis jetzt auf war: Festplatten sind 💩!

Warum ich bald schlafen gehen kann: Weil #ZFS einfach wirklich robust ist.

Ein 🧵

Es gibt da ein Storage (FreeNAS) auf dem diverse Daten und auch ein paar VMs rumliegen.

Der ZFS-Tank darin ist ein Set aus fünf 3-Wege-Spiegeln. Also 15 Daten-Disks. Dazu noch ein SLOG-Mirror, eine L2ARC-SSD und Spares.

Insgesamt 23 Datenträger im System.

Vor ein paar Stunden hat sich dann eine HDD entschieden das zeitliche zu segnen. Nicht komplett. Nur ein bisschen. Nämlich so, dass ihre Probleme den kompletten HBA resetten. Ja, richtig gelesen.

Der HBA kommt wieder online, aber alle Platten haben auf einmal andere IDs.

ZFS merkt das, und versucht sofort ein Resilver durchzuführen. Allerdings kommt es währenddessen wieder mehrmals zum HBA-Reset.

Irgendwann sagt ZFS dann halt aus, weil nichts mehr fertig wird und die Errors immer mehr werden.

So hab ich das System vorgefunden: Tank0 offline, Beinah jede Platte Checksum und Write-Errors.

Das Log war noch zugänglich, deshalb war die fehlerhafte Platte recht schnell identifiziert.

System ausgeschaltet (runterfahren ging nicht mehr). Defekte HDD ausgebaut und System wieder hochgefahren.

Lange Wartezeit während des Pool-Imports mit diversen Meldungen, die man sonst nicht sieht.

Im Kopf bin ich schon den Restore vom Backup durchgegangen.

Und dann: Import complete

Natürlich fängt er einen Resilver an, aber der geht mit 0 (in Worten NULL) Fehlern durch.

Dann noch den fehlenden Datenträger ersetzen, Resilver abwarten und dann noch einen Scrub hinten nach. Der läuft noch, aber bis jetzt keine Fehler.

Dass ein Dateisystem einen dermaßen katastrophalen Fehler so gut wegsteckt hätte ich nicht gedacht.

Liebe Grüße gehen raus an alle, die #ZFS zu dem gemacht haben, was es heute ist.