Thread by @pavel23

Meine Vermutung hinsichtlich #facebookdown #whatsappdown #instadown ist, das facebook das hier auf die Füsse gefallen ist: siliconangle.com/2021/05/20/fac…
Auf jeden Fall gibt es ein Problem mit genau dem Teil der Infrastruktur, die hier automatisiert wurde.

Das Internet auf IP-Ebene besteht aus sogenannten AS, "Autonomen Systemen", die untereinander IP-Pakete austauschen, was auch "Peering" genannt wird. Damit ein AS weiß, an welchen "Nachbarn" ein Paket übergeben werden muss, wenn sich der Empfänger nicht im eigenen AS befindet,...

...meldet jedes AS an die Peering-Partner, für welche Adressbereiche es Pakete entgegennimmt. Das geschieht über das "Border Gateway Protocol", kurz BGP. Von verschiedener Seite wurde berichtet, dass Minuten vor dem Ausfall Facebook massenweise Adressen bzw. Routen per BGP...

...abgekündigt hat, darunter auch die Routen zu Facebooks eigener Infrastruktur. Dadurch wurde dann jeder Facebook-Host aus dem Internet unerreichbar, darunter auch die DNS-Server, die z.b. für facebook.com in eine IP-Adresse liefern.

Und der Länge des Ausfalls nach zu urteilen ging vermutlich auch der Zugriff auf die Infrastruktur verloren, mit der das Problem behoben werden kann. Ich habe keine Ahnung, wie die Facebook-Infrastruktur intern aufgebaut ist und es etwa ein auf VLAN-Ebene getrenntes ...

...Management-Netz mit unabhängigem Routing und DNS gibt, über das alle Maschinen intern direkt zu erreichen sind, oder ob jetzt gerade Leute in den Rechenzentren erst mal von Hand versuchen, Routen einzurichten und Konnektivität herzustellen.

Richtig nervig könnte auch sein, wenn interne "Certificate Authorities" oder CAs auch nicht erreichbar sind, die Schlüsselmaterial enthalten und Konfigurationsänderungen signieren oder Zugriffstoken bereitstellen.

Es könnte also so sein, dass die Werkstatt, die zur Reparatur gebraucht wird, verschlossen ist und der Schlüssel in der Werkstatt liegt, aber mit genug Zeit werden die das schon fixen, aber es dürfte auch eher hakelig hochlaufen, das Ganze, falls alles neu...

...hochgefahren werden muss, während eine Milliarde Leuten versuchen, darauf zuzugreifen. Bin gespannt.

Auf jeden Fall zeigt das Beispiel, dass es nicht gut ist, wenn ein Konzern Dienste für so viele Leute betreibt und "Single Points of Failure" einbaut, so dass durch einen Fehler plötzlich haufenweise Dienste nicht mehr funktionieren.

Könnte es auch Sabotage gewesen sein? Kriminelle, Aktivisten oder feindliche Staaten? China, Russland, Nordkorea oder Iran? Schließlich sind viele Länder damit aufgefallen, BGP missbraucht zu haben, darunter auch Türkei, Indien und Pakistan: en.wikipedia.org/wiki/BGP_hijac…

Ich halte es für möglich, aber für wahrscheinlicher halte ich ein Missgeschick mit der eingangs erwähnten Peering-Automatisierung. Ein bug oder ein Bedienungsfehler. Wäre ja schön, wenn wir die Wahrheit von Facebook erfahren würden, aber ich erwarte da nicht viel.

Facebook und seine Chefs scheinen mir besonders frech zu lügen, und in den Meldungen von Facebook hieß es, es seien nur 30.000 Nutzer betroffen. Nur seltsam, dass ich von niemandem gehört habe, bei dem es noch funktionierte.

So langsam kommt Dienste jetzt wieder hoch, aber es muss sich wohl erst noch eine Weile zurechtrütteln. Bin gespannt, was Facebook dazu zu sagen haben wird.

Ergänzung: Hier ein Haufen details von cloudflare zu dem Thema: blog.cloudflare.com/october-2021-f…