1:
Llevo meses optimizando mi scraper de Google Maps.

Hoy he scrapeado 35,000 empresas de toda España en 2 minutos.

Sin proxies. Sin API key. 43 requests/segundo. Una sola IP. Sin Bloqueos de Google!

Abro hilo con lo que he conseguido. 🧵👇 2:
El primer prototipo era Node.js y consumía 1.5GB de RAM.

Lo reescribí entero en Python asyncio. Lo optimicé pieza por pieza.

Hoy usa ~400MB, corre en un VPS de $5 y es más rápido que nunca.

La optimización no es un paso, es el proceso entero.

He analizado 465 millones de dominios raíz de internet.

40 millones de IPs. 55.000 proveedores.

País, ciudad, proveedor de cada uno.

Lo que he encontrado es muy interesante 🧵👇 Top 10 proveedores que controlan internet:

1. Amazon — 123M dominios
2. Cloudflare — 65M
3. Google — 12.7M
4. Hostinger — 10.7M
5. IONOS — 10.6M
6. Wix — 10.4M
7. Squarespace — 10.3M
8. Namecheap — 8.5M
9. SEDO — 8.2M
10. Hetzner — 8M

1/ Hace un tiempo, un amigo me pidió ayuda para scrapear la web de Mercadona. La revisé, pero todo estaba detrás de un login. No había forma de obtener los datos fácilmente… o eso pensaba. 😏 2/ Recientemente, me comentó que Mercadona había actualizado su web. Decidí echarle otro vistazo. Abrí la página, activé la consola del desarrollador… ¡y BINGO! 🎯