Thread by @rafamerino

Parece ser que la raíz del problema de Facebook es que alguien de FB ha borrado sus tablas BGP de Internet.

Y no pueden acceder a reconfigurar sus BGP porque FB hospeda sus propios servidores DNS.

Traducción: Se han borrado a sí mismos de Internet 🤦‍♀️

Tampoco pueden comunicarse entre ellos mismos porque también hospedan su propio correo.

Necesitan a alguien que acceda FÍSICAMENTE a los servidores donde están los BGP y reconfigure a mano TODAS las rutas DNS, internas y externas.

¿Tendrán que "cantárselas" por teléfono?

Primera imagen, los cambios de sus tablas BGP según @Cloudflare, que muestran cómo desaparecen todas sobre las 15:50 UTC

Segunda imagen, en azul claro las peticiones de borrado de ASN's

El CEO de @cloudflare confirma que NO es un ataque, sino que todo apunta a un borrado erróneo de tablas BGP

https://twitter.com/eastdakota/status/1445094489370988556

Otro daño colateral:

Los empleados de FB no pueden entrar a sus propios edificios porque para comprobar el ID de acceso, la puerta se conecta a sus propios servidores

https://twitter.com/sheeraf/status/1445099150316503057

Según NY Times, en un memo interno de FB indican que han enviado de urgencia a un equipo al datacenter de California para restablecer la configuración manualmente

(como comenté, no podían hacerlo desde fuera)

nytimes.com/2021/10/04/tec…

Se empiezan a ver tablas BGP siendo creadas de nuevo.

Ha habido un momento que las rutas llegaban hasta los DNS, pero ahora están caídos de nuevo.

Si no hay más consecuencias por el borrado, en unas horas todo Internet las propagará y empezarán a recuperar conectividad.

Las consultas DNS ya responden !!

El enrutado también llega, al menos desde Europa

Ahora todo el mundo tratando de acceder a FB/IG/WA va a provocar una denegación de servicio por exceso de consultas.

Por lo que hasta que se propaguen todos los CDN's, seguirá sin cargar correctamente.

Y como colofón, la explicación de @cloudflare de todo lo que ha pasado. Lo actualizarán en un rato con la resolución de la incidencia.

blog.cloudflare.com/october-2021-f…

Actualización del post de Cloudflare:

"Las gráficas muestran que los DNS de FB ya están respondiendo. [...] Les llevará un tiempo estar de nuevo operativos, pero al menos FB ya está conectado de nuevo a Internet"

👉 Me llegan muchas preguntas sobre "Cuándo estará operativo".

NO TENGO NI IDEA

Pero calculo que en unas horas (yo que sé, 3 o 4 horas tal vez?), cuando todo se haya propagado a los CDN's del resto de zonas del mundo.

es.wikipedia.org/wiki/Red_de_di…

Hilo con traducción a "humano" de qué es eso de los BGP, los DNS y por qué ha podido pasar

👇

https://twitter.com/rafamerino/status/1445288288064053249

Comunicado OFICIAL de Facebook:

"[...] un cambio en nuestros servidores de enrutado que coordinan el tráfico entre nuestros datacenters ha causado la incomunicación"

"[...] la causa de esta caída es un cambio erróneo en nuestra configuración"

engineering.fb.com/2021/10/04/net…