Hace unos días explicaba cómo descargar la Base de Datos Nacional de Subvenciones, sorteando los obstáculos del portal del Ministerio de Hacienda que dificultan el acceso a los datos.

👇 A continuación comparto cómo trabajar estos datos.
La base de datos contiene registros tanto de empresas, fundaciones, partidos… como de personas.

✅ De las subvenciones a empresas vamos a escudriñar hasta el último átomo.

❌ A las personas y sus circunstancias las vamos a proteger disociando y anonimizando sus datos.
Si bien el servidor de Hacienda nos devuelve los datos en forma JSON, en el hilo anterior opté por transformarlos a un formato tabular y más compacto: CSV.

Para trabajar este formato emplearé una popular herramienta de línea de comandos: CSVkit

🔗 csvkit.readthedocs.io
El NIF de una persona jurídica española está formado por una letra indicativa de su naturaleza¹ seguida de siete cifras y un dígito de control, que puede ser un guarismo o una letra de la A a la J.²

____
¹ boe.es/buscar/act.php…
² ¿Alguien qué norma oficial describe su cómputo?
💡 Vamos a apalancarnos en este patrón para separar las subvenciones a empresas y entidades de las subvenciones a personas.

👍 Obtenemos así 3,82 millones de subvenciones a entidades.
Ahora es trivial extraer el nombre del beneficiario —décima columna— y ordenarlos por frecuencia.

¡Allá vamos! 👇
Obtenemos así las organizaciones que más subvenciones parecen haber recibido, que son:

🥇 El Consejo Superior de Investigaciones Científicas
🥈 La Cruz Roja
🥉 Las universidades públicas
🎖️ La Diputación de Almería
También podemos reunir todo en un solo comando y reducir el análisis exclusivamente a las sociedades anónimas y limitadas, que son aquellos beneficiarios cuyo NIF comienza por las letras A y B respectivamente.
Esto arroja las empresas españolas que más veces aparecen en la BDNS como concesionarias de subvenciones públicas. De un vistazo rápido, parecen empresas de producción agrícola, de servicios, Telefónica, un hotel en Bilbao, Iberia…

👇 La primera columna es el número de ayudas.
⚠️ ¡Cuidado! Hasta aquí, esto es solo una curiosidad estadística. No extraigamos aún rápidas pero erróneas conclusiones cuñadas de estos primeros resultados.

Hay que entrar al detalle y ahondar más en los datos antes de extraer conclusiones significativas.
He subido los datos a GitHub. Propongo juntar muchos cerebros y hacer algo creativo para auditar a nuestros gestores públicos:

🤓 Programadores
📈 Analistas de datos
✍️ Periodistas
💅 Diseñadores
👨‍👩‍👦 …

Y demostrar el valor de los datos abiertos. 🚀

github.com/JaimeObregon/s…

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Jaime Gómez-Obregón

Jaime Gómez-Obregón Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @JaimeObregon

Apr 1
El ciclo de vida de un servicio digital también abarca darle una correcta sepultura cuando llega al final de su vida.

Máxime si su promotor es una Administración.
Máxime si el destinatario es la ciudadanía.

🪦 Hablemos de la muerte. De la muerte de un servicio público digital.
Hace dos semanas que el Ministerio de Hacienda decidió retirar el buscador oficial de empresas clasificadas.

He oído algo de un «hacker»… 🙄 que simplemente se descargó y publicó la relación de contratistas, pues se trata de un registro público.

eldiario.es/tecnologia/hac…
Aunque limitado, este buscador era el único punto de consulta abierta del listado de contratistas clasificados del Estado.

Pero Hacienda lo ha retirado por las bravas y hace dos semanas que el ciudadano que llega se encuentra este frustrante mensaje de error en inglés. 🙁
Read 15 tweets
Mar 29
A continuación voy a explicar cómo descargar la Base de Datos Nacional de Subvenciones (BDNS) desde su portal oficial del Ministerio de Hacienda: infosubvenciones.es.

✅ El portal ofrece un buscador limitado
⛔ Pero no permite descargar los datos

¡Vamos allá! 💪

🧵…
El portal oficial tiene notables limitaciones. Entre ellas destacan dos: los límites a la descarga de datos y el tiempo de respuesta del portal.

1️⃣ La funcionalidad de descarga que ofrece el Ministerio simplemente no funciona si tu búsqueda comprende más de 10.000 resultados.
El Ministerio podría haber paliado parcialmente esta limitación permitiendo la exportación de los primeros 10.000 resultados de las búsquedas que arrojen más. En vez de esto, ponen al ciudadano en un callejón sin salida: si hay muchos resultados, no puedes exportar ninguno. 🤷
Read 39 tweets
Mar 26
Este fin de semana voy a liberar otra base de datos que es pública pero que el Estado no permite descargar.

Es la Base de Datos Nacional de Subvenciones (BDNS).

✅ 10,5 millones de subveciones a empresas y particulares
✅ 350.000 convocatorias

Y contaré aquí cómo lo he hecho. Image
💡 ¿Lo subo a un repo de GitHub y hacemos un #hackathon?

Algo divertido, creativo… Y colectivo, juntando muchos cerebros. En comunidad.

🤓 Programadores
📈 Analistas de datos
✍️ Periodistas
💅 Diseñadores
👥 …

Para demostrar el valor de los datos abiertos.

¿Lo hacemos?
Son 5 GB de datos que he obtenido haciendo «scraping» del portal oficial, que es una castaña.

Si nos organizamos bien™️ podríamos hacer un portal alternativo, con analítica de concesiones nominativas, clustering, visualizaciones…

Todo open source.

🔗 infosubvenciones.es
Read 5 tweets
Mar 21
Hello, @EU_opendata! 👋

Regarding this dataset of companies classified to contract with the government, published by the Ministry of Finance and Public Administrations of Spain…

🔗 data.europa.eu/data/datasets/…
The «Download» link provided by the Ministry leads to a site from which there is no way to actually download any data.

The public registry is partly searchable, with limitations. And there is no download link whatsoever.

The Ministry might be afraid of transparency!
Let's help them overcome their fears. 😊

Please, consider changing your link to point to this alternative, downloadable, fully searchable, spreadsheet.

All of the data. None of the hassle to deal with a gatekeeping search engine.

🔗 docs.google.com/spreadsheets/d…
Read 4 tweets
Mar 20
Esto es el ROLECE: el Registro Oficial de Licitadores y Empresas Clasificadas del Estado. Es un registro público de contratistas.

🚀 Quiero descargármelo para cruzarlo con los datos de contratación pública

🚫 Problema: el ROLECE no se puede descargar

…O no se «podía» 😆

🧵👇
El acceso al ROLECE es bajo certificado digital. Pero si accedes, no puedes consultar el listado. Solo puedes ver tu propia inscripción.

🔗 registrodelicitadores.gob.es/rolece registrodelicitadores.gob.es/rolece

Es la transparencia de Schrödinger: transparente y opaco a la vez. 🤷
El art. 344 de la Ley de Contratos del Sector Público (LCSP) establece que el ROLECE «será público y se podrá acceder de forma abierta previa identificación». Y que un reglamento «determinará modalidades y requisitos para la publicidad del Registro».

Pero no hay nada. 💩
Read 28 tweets
Mar 19
Ayer estuve trabajando en la exportación a XLSX (Excel…) de los resultados de las búsquedas de contratos y contratistas.

Hubiera bastado con exportar a CSV, pero he implementado la generación de una tabla con autofiltros, enlaces, formatos… Está quedando guay™️. 😃
El interfaz web que estoy programando es suficiente para explorar los datos. Pero las búsquedas están paginadas. Al darle al ciudadano un botón de descarga XLSX, puede bajarse todo de golpe. Y utilizar Excel o LibreOffice o lo que quiera… para hacer el análisis que desee.
Para el caso de Cantabria ya implementé un botón de descarga directa con el que quien quiera puede bajarse todo y trabajarlo plácidamente desde la intimidad de su hogar 😂. El Gobierno no ofrece tal opción… Fue un placer programarlo; especialmente si molesta a algún político. 👌🏼
Read 4 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us on Twitter!

:(