Thread by @turicas

Há algum tempo atrás baixei um PDF com a lista de beneficiados pela Lei da Anistia. Hoje fui procurá-lo na página do @JusticaGovBR e *o arquivo não está mais disponível*, daí comecei uma investigação, segue o fio. #opendata #DitaduraNaoSeComemora

A URL original era: justica.gov.br/seus-direitos/… (dá pra encontrá-lo pelo Google, mas a versão em cache não está mais disponível).

Parece que o primeiro arquivo foi liberado em jan2015 (notícia: cgu.gov.br/noticias/2015/…), mas depois existiram outros.
Buscando um pouco mais encontrei um outro arquivo, de 2018, mas também não acessível (sou redirecionado para uma página de autenticação): justica.gov.br/seus-direitos/…

Em fevereiro o @g1 fez uma matéria sobre o desaparecimento desses arquivos: g1.globo.com/politica/blog/… #opendata #fail

Não dá pra saber quando os arquivos foram deletados, nem por quem (talvez seja possível com os logs de acesso/edição do portal), mas podemos tentar recuperá-los: o @waybackmachine é projeto incrível do @internetarchive que visita sites e guarda cópias. web.archive.org

Seguem os links para todas as aparições de ambos arquivos:
- 2015: web.archive.org/web/2017030100…
- 2018: web.archive.org/web/*/http://w…

O @defesagovbr é o responsável pelo pagamento dos militares anistiados e felizmente a lista que ele mantém dos beneficiados não sumiu, está disponível em: defesa.gov.br/anistia (CSV com dados das três forças armadas: defesa.gov.br/arquivos/lai/a…). Espero que não saia do ar.

Encontrei também no Portal da Transparência mantido pela @CGUonline um dataset que mostra os pagamentos relativos a anistia, agrupado por órgão: portaltransparencia.gov.br/programas-e-ac… (espero que esse também não saia do ar).

Para facilitar futuros estudos baixei todos arquivos que pude e os disponibilizei aqui: drive.google.com/open?id=1HWR9W…
Também criei um programa para extrair os PDFs e convertê-los para CSV (39k+ anistiados para 2018). Os CSVs estão na mesma pasta e o código em: github.com/turicas/lista-…

Se você acha esse trabalho importante e quer contribuir, sugiro o apoio às seguintes iniciativas:
- @waybackmachine: archive.org/donate/
- Brasil.IO, plataforma onde disponibilizo dados abertos acessíveis: apoia.se/brasilio
#opendata #ddj #civictech

(a matéria do @g1 foi escrita por @mleitaonetto).

Ah, já ia esquecendo: em 2018 esse assunto me incomodou e, conversando com o @555112299jedi ele decidiu fazer um pedido de acesso à informação perguntando porque os dados saíram do Portal da Transparência (@CGUonline). O pedido e a resposta estão aqui: consultaesic.cgu.gov.br/busca/dados/Li…

A resposta do pedido cita links p/ sites do @DefesaGovBr, @JusticaGovBR (ambos já citados) e tb p/ o Portal do Servidor do Gov Federal, que contém uma planilha com outros beneficiados (com valor, inclusive): servidor.gov.br/arquivos-publi…
Também copiei essa planilha pro Google Drive.

Alterei o programa para extrair também os dados dessa última planilha, o CSV está no Google Drive e também disponível no Google Spreadsheets: docs.google.com/spreadsheets/d… (243k+ linhas)