Thread by @JaimeObregon

Uno de los retos a que me enfrento en mi trabajo tecnológico destripando millones de datos procedentes de boletines oficiales, es el clásico problema de vincular registros o «record linkage».

📕 en.wikipedia.org/wiki/Record_li…

Hay muchas aproximaciones a este viejo problema; muchos «papers» casi científicos, mucha bibliografía, un ejército de librerías y algunos servicios en la nube.

El problema es informáticamente interesante. Voy a explicarlo con un ejemplo real al que me enfrento en el BORME. 👇

Estas tres direcciones son, en realidad, la misma:

1⃣ Calle Avenir, 35, Planta 6, Puerta 2 de Barcelona
2⃣ CL L'AVENIR NUM.35 P.6 PTA.2 (BARCELONA).
3⃣ Carrer de l'Avenir, 35, 6ª, P. 2. 08021 Barcelona

Pero en el BORME aparecen escritas de forma muy diferente.

Del Boletín he extraído un total de 1.639.903 direcciones. Son todas informáticamente distintas —son cadenas de caracteres todas ellas diferentes entre sí—, pero algunas de ellas aluden a exactamente la misma dirección postal real. Y necesito saber cuáles.

Es como tener un puzle con 1,6 millones de piezas, y tener que agrupar todas las que se parecen mucho entre sí. Solo que el criterio de semejanza no es evidente, sino conceptual.

A esto es a lo que me enfrento yo estos días. 😅

Desde luego no es viable comparar cadenas de texto, porque «avinguda» y «etorbidea» son lo mismo («avenida»), pero su representación textual no se asemeja.

La solución pasa por buscar una nueva forma de representación de las direcciones, enriquecida con «semántica».

UN PARÉNTESIS.

Por favor, toma aire y cuenta hasta diez antes de dejar un comentario diciendo que has leído en una revista de la peluquería que esto se resuelve fácil con AI 😅🔫 (o con blockchain 😂).

Sí. Pero no.

Es un problema más complejo de lo que parece a primera vista. Y como tantas cosas en ciencia de datos, hay que afrontarlo desde una perspectiva probabilística: aceptemos que se podrán normalizar automáticamente muchas direcciones, pero otras no será posible.

Una solución simple es externalizar el problema. Google tiene un fabuloso servicio de geocodificación de direcciones. Tiene un coste de $4 por cada mil de ellas, así que por 5.500 € tendría el problema prácticamente resuelto en pocas horas.

🔗 developers.google.com/maps/documenta…

Este tipo de servicios estructuran una dirección en sus componentes y devuelven una forma normalizada.

Le das esto…
👉 CL L'AVENIR NUM.35 P.6 PTA.2 (BARCELONA).

…y te devuelve —entre otras cosas— esto:
👉 Carrer de l'Avenir, 35, P.6 PTA.2, 08021 Barcelona, España

Súper útil.

Pero mi espíritu geek no estaría muy orgulloso de esa solución. Como ingeniero, me parece más eficiente utilizar ese recurso solo para aquellas direcciones que no consiga componentizar con un método propio.

Además, las direcciones no son el único dato que necesito procesar así…

Sucede parecido con los nombres. Estos dos nombres son el mismo:

— BIOSCA I VIVES Mª CARMEN
— María del Carmen Biosca Vives.

Nótese que difieren en el orden de nombre y apellidos; en la conjunción «i», en la abreviatura de «María» y en la capitalización. Pero son lo mismo.

Este último caso, el de los nombres, lo he estado trabajando en las últimas semanas y he llegado a una solución razonablemente buena. Como tengo 2,8 millones de nombres, he necesitado hacerlo sin depender de servicios externos. Todavía tengo que refinarlo y terminar de aplicarlo.

Otro ejemplo son los roles que una persona puede tomar en una sociedad mercantil. Los registradores los escriben abreviados, y he recopilado más de mil abreviaturas distintas.

Algunas son fáciles, como «Dir. General». Pero el BORME recoge otras crípticas como «M. CMS. E. IN. C».

Sin duda, lo más eficaz sería que los datos publicados estuvieran en origen ya en su forma normalizada. Y que de cada interviniente en un acto mercantil se publicara un identificador unívoco tal como el NIF.

Esto no es posible por varias razones, sin embargo.