Thread by @koumdros

Τι συνέβη σήμερα ( εχθές..) και τα κακάρωσε το #Facebook;

Ένα όχι και τόσο σύντομο νήμα ( thread) καθώς το θέμα #facebookdown είναι αρκετά περίπλοκο.

/1

Σύντομο "γλωσσάρι" πρώτα, για 2 τεχνολογίες πάνω στις οποίες "τρέχει" το Internet:

/2

DNS : κάτι ανάμεσα σαν τηλεφωνικός κατάλογος και GPS:
γράφεις μια διεύθυνση και λέει στον υπολογιστή που να πάει να βρει τι θες.
/3

Router (δρομολογητής): Μηχάνημα που δρομολογεί πακέτα δεδομένων σε άλλους routers. Το πλέγμα όλων των routers απαρτίζει το Internet.
/4

Τα πακέτα δεδομένων δρομολογούνται από router σε router, προσπαθώντας να βρουν την βέλτιστη διαδρομή από την πηγή μέχρι τον παραλήπτη ( προορισμό).
/5

Οι κεντρικοί router του Internet πρέπει να γνωρίζουν που βρίσκεται κάθε μια IP του internet, και μια και είναι πολλές (2^32 = 4,3 δις), κάνουν ένα βασικό κόλπο.

( ναι ξέρω αγνοώ το IPv6 για τώρα)
/6

Έχουμε χωρίσει τα 4,3 δις σε πολλά (~1,1 μύρια) Subnets, ομάδες διευθύνσεων .
Αυτό διευκολύνει την ζωή των router, ευκολάκι τα 1,1 εκατομμύρια σε σχέση με τα 4,3 δις.
/7

έτσι αρκεί ένα πακέτο να φθάσει στον router που χειρίζεται ας πούμε ένα subnet και μετά αυτός το δρομολογεί "εσωτερικά".
/8

Τα subnet αυτά διαφέρουν πολύ σε μέγεθος από εκατοντάδες IPs μέχρι εκατομμύρια. Μέσο όρο ας πούμε ~4.200 IPs.
Τα διαχειρίζονται Internet Providers και μεγάλες εταιρίες.
/9

Κάθε διεύθυνση IP έχει δύο τμήματα, ένα αφορά το σε ποιο subnet ανήκει και το 2ο που ακριβώς βρίσκεται "μέσα¨ στο subnet.
(χονδροειδές μη βαράτε οι δικτυάδες..)
/10

Όταν διαχειρίζεσαι ένα "πακέτο διευθύνσεων IP" πρέπει αυτό το πρώτο κομμάτι να το "διαφημίζεις" στους γειτονικούς routers, αυτοί στους επόμενους, κοκ
/11

Έτσι γνωρίζει το υπόλοιπο Internet που βρίσκεσαι σε σχέση με άλλους routers & ότι είσαι ενεργός & ΜΟΝΟ τότε γίνεσαι "ορατός" και δρομολογείται κίνηση προς τα σε.
/12

το Facebook σήμερα σταμάτησε αυτή την ανακοίνωση του "που βρίσκεται", οπότε μέσα σε λίγο χρονικό διάστημα το υπόλοιπο Internet "ξέχασε" που βρίσκεται
/13

Αυτό έγινε καθώς διέγραψε τις "οδούς" που ενημέρωναν μέσω του πρωτοκόλλου BGP "που βρίσκονται" οι Routers του πριν ~7 ώρες.
/14

Δεύτερο πρόβλημα, είναι ότι το FB τρέχει τους δικούς του DNS servers, αυτοί βρίσκονταν "μέσα" στην ομάδα διευθύνσεων του, άρα ούτε αυτοί είναι προσβάσιμοι.
/15

το Facebook όντας ο διαδικτυακός Λεβιάθαν διαχειρίζεται δεκάδες χιλιάδες domains δικα του και συνεργατών του, οπότε όλα αυτά επίσης "εξαφανίστηκαν" καθώς χάθηκε η πρόσβαση στους servers που θα μας καθοδηγούσαν που να τα βρούμε
/16

Αυτό δημιούργησε ένα 3ο πρόβλημα καθώς όλοι οι άλλοι DNS servers δέχονταν για ώρες καταιγισμό "αιτημάτων" από υπολογιστές, κινητά, και πάμπολλες εφαρμογές ερωτήματα για το που είναι το FB.
/17

Σκεφθείτε ότι δέκα εφαρμογές σε κάθε κινητό ρωτούν που είναι το FB Χ φορές το λεπτό ..η καθεμία, το ίδιο και πολλές εταιρικές πλατφόρμες που το χρησιμοποιούν για logins ή άλλα transactions
/18

Αυτό γιατί αν ένας DNS server δεν γνωρίζει που είναι κάτι ρωτά τον επόμενο, αυτός τον επόμενο κοκ, δημιουργώντας αλυσιδωτά φόρτο.
/19

Αυτό οδήγησε σε προσωρινά προβλήματα, σε θεωρητικά ανεξάρτητα sites και υποδομές, καθώς ενδιάμεσοι DNS servers ( resolvers) υπερφορτώθηκαν δημιουργώντας νέα προβλήματα σε όλο το Internet
/20

Ξαναγυρνώντας στο #Facebook:
έχει επιπλέον δικά του προβλήματα, καθώς το εσωτερικό του δίκτυο βασίζεται σε όλη αυτή την γιγάντια μη προσβάσιμη υποδομή
/21

οπότε πολλοί υπάλληλοι του δεν είχαν πρόσβαση ώστε να μπορέσουν να διορθώσουν τα προβλήματα ή απλά να μπουν στα γραφεία τους.
Το πρόβλημα φαίνεται οτι επιδείνωσε η μαζική πολιτική τηλεργασίας λόγω COVID, καθώς ήταν μακρυά εργαζόμενοι με απαραίτητη γνώση & δικαιώματα προσβασης
/22

Τα ίδια προβλήματα είχαν και οι πλατφόρμες του #Instagram και #WhatsApp , επίσης ιδιοκτησίας του FB.

Ειδικά το 2ο , μετά την πολιτική επιδότησης της χρήσης του από το FB δια των μηδενικών χρεώσεων δεδομένων από τοπικούς ISPs είναι η defactο

/23

δίαυλος επικοινωνίας εκατοντάδων εκατομμυρίων ανθρώπων στον "αναπτυσσόμενο κόσμο".

είναι επίσης βασικός δίαυλος επιχειρηματικότητας και συναλλαγών σε αυτές τις χώρες.

Για όλους αυτούς το #facebookdown σχεδόν ισοδυναμεί με το "δεν υπάρχει internet".

/24

news.ycombinator.com/item?id=287509…

https://twitter.com/briankrebs/status/1445175532786704395?s=20

40% αυξηση για Quad9 resolver

https://twitter.com/woodyatpch/status/1445176218236579843?s=20

το FB έχει πλέον επανέλθει για τις περισσότερες περιοχές του κόσμου αν και υπάρχουν ακόμη σποραδικά προβλήματα.

Περίπου 5,5 ώρες downtime, 6-7 σε κάποιες χώρες.

Update:
Επειδή τα Πάντα στα κεντρικά campus/data centers του FB έχουν συστήματα ασφαλείας που λειτουργούν μόνο ψηφιακά, δεν έχουν δλδ κλειδιά, δεν είχαν τρόπο πρόσβασης παρά.:

Να Καταλήξουν να κόψουν κάποια server racks με (γωνιακό )τροχό για access.

The forensic report for #facebookdown

engineering.fb.com/2021/10/05/net…

"To ensure reliable operation, our DNS servers disable those BGP advertisements if they themselves can not speak to our data centers, since this is an indication of an unhealthy network connection"

😱