Thread by @JaimeObregon

⚠️ Abro un hilo #hacker importante… ⚠️

Para contaros lo mío con la transparencia del Gobierno de 🇵🇱@Cantabriaes. Escribo todo esto porque estoy convencido de que es sano para el país y para la democracia que haya sucedido. Y QUE SE SEPA.

Todo empezó durante el confinamiento…

Encerrado en casa sin mucho que hacer, me puse a zascandilear por el portal de transparencia. Y llegué a la sección donde se «publican» (o eso creía…) los contratos que adjudica el gobierno. Esperaba encontrar una tabla descargable. Pero no.

Lo que había me pareció INDIGNANTE.

👉 ¡No se puede buscar por adjudicatario!
👉 ¡No se pueden descargar todos los datos!
👉 ¡Los resultados aparecen de cinco en cinco!
👉 ¡Hay que transcribir un código una y otra vez!
👉 ¡Está hecho de tal forma que nada sale en Google!

¡¡¡PERO ESTO QUÉ ES!!! 😱

La ley 1/2018 de #transparencia de 🇵🇱Cantabria define el concepto de «publicidad activa». Y garantiza el acceso a la información pública. Y el derecho a reutilizar los datos:

🔗 boe.es/buscar/pdf/201…

¡Pero si el gobierno no los publica!
¡Pero… ¿QUÉ TRANSPARENCIA ES ESTA?!

Miles de contratos yacían cautivos, prisioneros en las pérfidas garras de algún político miope. ¡Era preciso LIBERAR LOS DATOS! Claramente esto es un caso de mi jurisdicción. 😂

✅ Internet
✅ Cerveza
✅ Tres semanas confinado

TIME TO KICK ASSES AND CHEW BUBBLE GUM! #dukenukem

Observé que a cada contrato del portal le corresponde una dirección URL. Una dirección que es un mazacote largo y críptico.

Para quien tenga curiosidad: ya en 1998 el gurú de la usabilidad J. Nielsen aconsejaba direcciones breves, fáciles de recordar.

🔗 nngroup.com/articles/url-a…

Uno de los parámetros de la URL parecía ser un identificador («id») numérico. Según comprobé, existe una correspondencia unívoca entre este identificador y el conjunto de expedientes de contratación 🥳 .

Esto significaba que podía iterar por ellos.
Recorrerlos secuencialmente.

Y, efectivamente, iterando sucesivamente el valor de este identificador podía acceder a los contratos con discrecionalidad. Sin tener que utilizar el penoso y artificialmente limitado formulario de búsqueda proporcionado por el gobierno.

Es un truco más viejo que @viejoUS 👴.

Programé un 🤖 robot y un ratillo después ya tenía en mi portátil todos los expedientes 🤓. Algo más de 20.000. Ya no necesitaba para nada el portal de transparencia: había descargado todos sus datos, MWAHAHA.

⚠️ Pero aún no podía utilizarlos.
Antes era preciso estructurarlos…

Fui explorando los datos y refinando un par de expresiones regulares. Con ellas pude automatizar la construcción de una estructura de datos clave-valor a partir de cada uno de los ficheros de texto HTML que había descargado.

EN CRISTIANO: buscar patrones para extraer los datos.

Pronto noté que los datos del gobierno no eran perfectos. Había expedientes con erratas u omisiones. Ambigüedades. Empresas y órganos con varios nombres diferentes… Decidí invertir unos días en limpiar, normalizar y mejorar lo que en ciencia de datos se llama «calidad del dato».

Pongamos el ejemplo de Telefónica.

Yo quería reunir todos sus contratos. Pero los de Telefónica aparecían fragmentados bajo varios nombres diferentes. Y en uniones de empresas (UTE). Fui estableciendo reglas para relacionar estos nombres con un mismo contratista: Telefónica.

Por supuesto nunca modificaba los datos originales. Estos son sagrados. Lo que hacía era construir una capa adicional por encima de ellos, que me servía para conectarlos entre sí a partir de un conjunto de reglas. Bucear en las profundidades de los expedientes para organizarlos.

Porque de los meros datos sueltos rara vez es posible extraer una historia inteligible. Los datos son la materia prima, pero hay que limpiarlos, ordenarlos, conectarlos y visualizarlos para que nos digan algo a nosotros los humanos.

También había que proporcionar sinónimos a muchos contratistas. Para que fueran localizables tanto por su razón social como por la marca con la que son popularmente conocidos:

EDITORIAL CANTABRIA, S. A. 👉 El Diario Montañés
CANTABRICO DE PRENSA, S. A. 👉 Diario Alerta
…

Luego está la manía, tan frecuente en las administraciones públicas, de escribir TODO EN MAYÚSCULAS. Esto es un vicio prehistórico. O la incoherencia entre singulares y plurales, las faltas de ortografía…

Fui arreglando todos estos líos…

O el follón de los órganos de contratación. Consejerías y direcciones generales que cambian de nombre de una legislatura a otra, que desaparecen, que se fusionan…

Normalicé con esmero decenas de nombres diferentes. Porque si no, es imposible hacer nada. Nada bien hecho.

Todo esto me llevó días.

Pero una estrella guiaba mi camino.
Un anhelo me mantenía al teclado.
Un motivo alumbraba mis noches.

👉 Saber que estaba haciendo algo
👉 Que alguien en el gobierno
👉 No quería que se hiciera.

¡¡LIBERAR TODOS LOS DATOS!!
Y molestar a un político 😂.

Cuando hube niquelado todo pensé en qué base de datos guardarlo. He trabajado con muchas a lo largo de los años, pero me apetecía probar algo nuevo para mí. Cuando era joven y rebelde buscaba tecnologías molonas. Ahora busco tecnologías bien documentadas.

Opté por Elasticsearch.

Aquel mes leí más que @F_Sanchez_Drago.

🧻 En los supermercados se agotaba el papel higiénico
👏 En los balcones la gente aplaudía a los sanitarios
🤓 En el sofá Jaime se empollaba el manual de Elasticsearch

Aprendí un 🥚. Y eso es lo que mola de la profesión tecnológica.

¡Ya tenía el tesoro! Los datos…

✅ Estructuraditos
✅ Limpitos
✅ Relacionaditos
✅ Indexaditos

Ahora tenía que liberarlos. Publicarlos. Difundirlos. Resumiendo, hacer lo que a la ministra @pilar_llop no le da la gana de hacer con el Regitro Mercantil.

Decidí HACER UN PORTAL.

💡 Se me ocurrió hacer justo lo contrario que el gobierno. Un portal antagónico al oficial.

👉 ¿Que ellos no permiten descargar todos los datos?
En el mío sería CON UN CLIC.

👉 ¿Que ellos te hacen rellenar 8 campos para buscar?
En el mío habría solo uno, COMO GOOGLE.

🔥🔥🔥🔥

Compré el dominio contratosdecantabria.es y me esforcé en diseñar una experiencia de búsqueda a prueba de mandriles beodos 🐵🍺:

— Muestra resultados mientras tecleas
— Un solo campo bien grandote
— Más rápido que la luz
— Tolerante a erratas

Anduve unos días con ello. A fuego.

Ahora venía lo mejor. Venía la magia 🌈 .

Los expedientes que había descargado eran textos inconexos. Pero yo los presentaría conectados entre sí. Haría que hablaran. Que contaran la historia que encierran. Diseñé y programé vistas interactivas para exponer TODO A TODO EL MUNDO.

Me hacía preguntas y programaba visualizaciones para responderlas:

1️⃣ ¿Con quién suele competir cada licitador?
Esto es útil para identificar posibles prácticas colusorias (licitadores conchabados). Pero también es interesante para entender algunos mercados de obras y servicios.

Fue con esta técnica que una tarde, tirado en la cama con el portátil, encontré este chanchullo. ¡BINGO! Dos políticos, un contrato menor y tres ofertas. Pero dos son más falsas que un billete de 30 euros 🤦‍♂️.

Les había pillao.
Con el carrito del helao.

https://twitter.com/JaimeObregon/status/1271790012464599040

2️⃣ ¿Qué órganos suelen contratar a quién?
Este dato me resultaba interesante. Hay adjudicatarios muy horizontales, como el de la imagen, que contrata con prácticamente todos los órganos del Gobierno. Y otros muy verticales, que licitan en un nicho.

Yo quería visualizar todo eso.

Con esta técnica encontré este caso. Es un autónomo beneficiario de 150.000 euros en contratos, siempre de la misma consejería. Este autónomo es concejal de un partido del gobierno. Y parece familiar de una diputada del mismo partido en el Parlamento…

https://twitter.com/JaimeObregon/status/1305137666774663168

3️⃣ ¿Cómo evolucionan las adjudiaciones en el tiempo?
Programé una tabla que muestra, para cada contratista, su volumen de negocio trimestral y anual con el gobierno. Buscaba así entender si los cambios políticos provocan fluctuaciones en la suerte de algunos proveedores.

Así hallé la llamativa evolución de la cifra de negocio del grupo público TRAGSA, al que muchos gobiernos encomiendan cada vez más gestiones. El crecimiento de este conglomerado ha llamado también, recientemente, la atención de los medios de comunicación.

https://twitter.com/JaimeObregon/status/1387134558852816897

En definitiva: diseñé y programé un portal de contratación alternativo al oficial. En el que todos los datos se muestran interconectados. Y donde es posible saltar de un contrato a su adjudicatario, y de él a sus competidores, y de ellos a otros contratos…

Solo con hacer clic.

También incorporé un ranking de contratistas. Visual. Sexy. Para que fuera sencillo entender en qué se invierten los recursos públicos. Y explorar el vasto tejido económico que florece en torno al sector público.

Y para que el ciudadano con preguntas pudiera hallar respuestas.

Quería que mi trabajo fuese una terapia de choque para políticos con fobia a la transparencia. Un tratamiento. Un electroshock ⚡.

👉 ¿Que el gobierno hace una burla de portal donde es imposible encontrar nada?
¡No problemo! Yo haré QUE ESOS DATOS SE VEAN ¡¡DESDE EL ESPACIO!!

Implementé un botón de descarga directa. Lo pulsas y te bajas toda la base de datos. Un clic y ya tienes lo que el gobierno no quiere que tengas. Así cualquiera puede explorar los contratos, buscar, filtrar…

DATOS LIBRES. DATOS ABIERTOS.
TRANSPARENCIA DEL SECTOR PÚBLICO.

Porque es LAMENTABLE…

😱 Que el gobierno no haya publicado los datos
😱 Que su portal ponga trabas que impiden conocer
😱 Que haya tenido que liberar los datos un particular…

Invirtiendo semanas de trabajo técnico para revertir la opacidad y las barreras que pone el gobierno.

Publiqué contratosdecantabria.es y di la misión por concluida. ¡LOS DATOS YA ERAN LIBRES! ¡El enemigo había sido derrotado! La guerra acababa y una nueva alborada amanecía. Pronto todo serían recuerdos de napalm y de una heroica campaña.

Era el fin de mi Vietnam en Peña Herbosa.

Pero una madrugada se me ocurrió algo…

Había obtenido y publicado «urbi et orbi» miles de expedientes. Tenía fichados miles de contratistas. La mayoría son empresas, pero también hay personas físicas. Autónomos que el gobierno contrata.

💡 ¿Y si me pongo a CRUZAR esos nombres con LAS LISTAS ELECTORALES? 🤔

Mwahaha!

Sabía que el Ministerio del Interior publica las listas de candidatos electorales. Pero hay que decodificarlas. Y extraer del @BOCantabria las listas de los comicios regionales, que el Ministerio no publica por ser competencia autonómica.

¡VUELTA A LAS ARMAS! Vuelta al teclado.

Dediqué dos semanas de julio a trabajar estas listas. Extraje el nombre de 986.402 candidatos, desde 1979. Congreso, Senado, municipales, cabildos…

Y cuando acabé, publiqué el programa como software libre para que otros pudieran aplicarlo a sus regiones:
github.com/JaimeObregon/i…

¡Y vuelta otra vez a limpiar datos!

ANGEL Mª 👉 Ángel María
FDEZ 👉 Fernández
GOMEZ - PUERTA 👉 Gómez-Puerta
…

¡Y la fiesta 🎉 de los municipios! Que si se fusionan, que si cambian de nombre (Albalá del Caudillo 👉 Albalá)…

Días definiendo reglas para niquelar los datos 😬.

En el proceso satisfice mis más inconfesables parafilias de ingeniero de datos. Quise dar respuesta a misterios insondables como quién era, de entre el millón de candidatos habidos en democracia, el del nombre más largo 😂.

Es una mujer, y la encontré en Daimiel, Ciudad Real.

Para septiembre había aflorado UN MILLÓN DE EUROS adjudicados por el gobierno a políticos y candidatos. Casi siempre en contratos menores: una figura administrativa que favorece la adjudicación directa de obras y servicios, sin concurso.

Publiqué TODO 👇.

https://twitter.com/JaimeObregon/status/1305137642485542912

En primavera el cruce de datos arrojaba ya MILLÓN Y MEDIO DE EUROS. Hice una clasificación de partidos y candidatos. Como si fuera una liguilla 😂. Spoiler (o no): gana el que gobierna.

Una parte, estoy seguro, son legítimos.
Otros son raros, raros…

https://twitter.com/JaimeObregon/status/1384451937320411138

Y fui publicando las historias que encontraba.

Como esta, en que el PSOE adjudica dinero público a una periodista que a su vez es candidata del PSOE y entrevista en un diario al candidato del PSOE al Gobierno… Y el medio no advierte del lío al lector.

https://twitter.com/JaimeObregon/status/1273814960049655808

O este «estudio sobre la juventud» que con dinero público se encarga a un columnista de opinión política, habitual de los medios de comunicación, aparentemente vinculado a la siglas del partido que desde el gobierno se lo adjudica.

https://twitter.com/JaimeObregon/status/1273092251057631232

O el fabuloso caso de «Cantabria Liberal», habitual beneficiario de contratos menores adjudicados por caciques políticos. Obtuve la audencia auditada por OJD de su cabecera «Cantabria Industrial», donde se publicitan empresas públicas: 20 lectores al día.

https://twitter.com/JaimeObregon/status/1270316402952622080

O como el caso del marido de una directora del gobierno, que es beneficiario de 375.000 euros en contratos. Algo que no habría de merecer necesariamente reproche… de no ser porque en algunos contratos «compiten» varias sociedades del mismo empresario.

https://twitter.com/JaimeObregon/status/1295426825854898177

Lo mismo que sucede en esta obra pública: ofertas presentadas por licitadores conchabados: mismo teléfono, misma dirección. Y me doy cuenta yo desde casa, pero no el político que lo adjudica mediante contratación directa.

¿O sí, y de eso se trata? 🤔

https://twitter.com/JaimeObregon/status/1386234302489407490

No solo útil, sino que también me pareció divertido 😜 que en mi hipertransparente portal hacker de contratación pública apareciera, junto a cada contratista, el logo de su partido.

Y como había cruzado un montón de datos públicos, pude reseñar también el historial electoral de cada adjudicatario. Todo siempre enlazado al Boletín Oficial de Cantabria o del Estado, según el caso.

Para que el ciudadano tenga acceso directo a la fuente pública y oficial.

¡Había puesto al alcance de cualquiera todo lo que el gobierno se había esforzado en tapar! Y en una misma página:

✅ El historial electoral de cada contratista
✅ Las consejerías y direcciones generales que le contratan
✅ Los contratos públicos de que ha resultado beneficiario

¿Mi plan de verano? ☀️

1️⃣ Por las mañanas, desayunar ibuprofeno y programar desde el sofá
2️⃣ Por las tardes, subir a un prado con cervezas y publicar chanchullos
3️⃣ GOTO 1

Un día me dijeron que habían hablado de mí en el Parlamento 😅. Y flipé, claro.

Y es que había reunido, organizado y publicado tantos datos sobre contratación pública montañesa que aparecían historias surrealistas. Como la de este empresario de la construcción metido a alcalde (hilo).

Negocios y política: todo un innovador 😂.

https://twitter.com/JaimeObregon/status/1384913575001665539

El mismo modelo de negocio que este otro candidato del PRC 😂.

Fui publicando mis investigaciones en hilos de Twitter. De ahí algunos saltaban a los medios de comunicación.

https://twitter.com/JaimeObregon/status/1384203033630842885

También encontré que una multinacional farmacéutica donaba dinero al gobierno poco después de denunciarle ante el Tribunal de Recursos Contractuales del Ministerio de Hacienda, y mientras participaba en un concurso público de compra de vacunas.

https://twitter.com/JaimeObregon/status/1294290071047360512

En septiembre mi trabajo desde el sofá (y el prado 😜) volvió al Parlamento de Cantabria. Había provocado una proposición no de ley y un debate parlamentario.

No te pierdas este hilo en el que voy comentando las intervenciones. A mi manera, claro 😂.

https://twitter.com/JaimeObregon/status/1306607107198853123

Mientras esto sucedía, yo no sabía qué iba a ser de mí. Había recibido alguna llamadita… Nada serio, los típicos «consejos»: «no te metas en líos», «esto es muy pequeño»… Me alejé un tiempo de Cantabria.

Lo guay: me dieron un premio de data science 😃:

https://twitter.com/JaimeObregon/status/1413168318257803264

Por su parte, el gobierno actualizó su portal de transparencia.

👉 ¿Para publicar los datos y facilitar las cosas?
¡NO! Cambiaron colores y añadieron un campo para buscar por adjudicatario.

👉 ¿Por nombre?
¡NO! ¡Tienes que saber su NIF! 🤦‍♂️

🔗 transparencia.cantabria.es/consulta-contr…

Todo esto es una pincelada del PODER que los datos abiertos tienen cuando se ponen a disposición de una ciudadanía atenta, espabilada. Podemos vigilar nuestras instituciones y provocar cambios positivos.

Pero ello solo es posible si las administraciones públicas ABREN SUS DATOS.

Todavía hay en España quien defiende que la investigación es cosa exclusiva de los jueces. Que los datos públicos no se pueden publicar. No daré nombres, pero necesitan terapia de choque.

Necesitan un electroshock ⚡.

💡 ¿Imaginas extender a todo el país lo que yo he hecho en Cantabria?
💡 ¿Imaginas aplicarlo no solo a autónomos sino a todas las empresas y sus socios?

¡Para ello hace falta que el Ministerio de @justiciagob libere los datos mercantiles! @pilar_llop 👋👇

¡Mil gracias por leer hasta aquí!

Por favor, si te ha gustado sube y haz 🔃 RT al tuit inicial. Así contribuyes a que esto tenga la mayor difusión posible.

¡Sígueme para más partes de guerra! Y si quieres apoyarme, hazte patrono en patreon.com/jaime_gomez_ob… 💪