Thread by @turicas

A @ReceitaFederal liberou ontem atualização na base de empresas/sócios (receita.economia.gov.br/orientacao/tri…), são 20 arquivos e o download é lento; estou baixando e em breve compartilho nessa thread o link no mirror do Brasil.IO (+ rápido) e dos arquivos convertidos.

@ReceitaFederal Terminei o download dos 20 arquivos (total: 6,1GB) e disponibilizei uma cópia no Brasil.IO em: data.brasil.io/mirror/socios-… - fiz um teste e enquanto nos servidores oficiais demora até 3h por arquivo, no mirror demora menos de 1min.
Em breve publico os dados convertidos.

@ReceitaFederal Caso queira automatizar o download pelo terminal com wget:

MIRROR="data.brasil.io/mirror/socios-…"
mkdir data-socios-brasil && cd data-socios-brasil
for i in $(seq 20); do
wget -c -t 0 $MIRROR/DADOS_ABERTOS_CNPJ_$(printf "%02d" $i).zip
done
wget $MIRROR/SHA1SUMS
sha1sum -c SHA1SUMS

Os arquivos acima estão em um formato proprietário, mas eu já fiz a conversão para CSV com o programa que criei (github.com/turicas/socios…), veja os links no próximo tweet. Estou conferindo os resultados, mas a conversão rodou sem erros.

Links dos arquivos convertidos para CSV:
- Dados cadastrais CNPJ (2,3GB) data.brasil.io/dataset/socios…
- Sócios (409MB) data.brasil.io/dataset/socios…
- CNAE secundária (222MB) data.brasil.io/dataset/socios…
SHA1SUMS: data.brasil.io/dataset/socios…

Esses arquivos também estão disponíveis no Google Drive: drive.google.com/open?id=1pHBSQ… (em breve coloco lá os originais também, para manter o histórico, que não existe no site da @ReceitaFederal).

Pra facilitar análises criei um banco SQLite com os 3 CSVs, além de uma tabela com as holdings. O arquivo está disponível em: data.brasil.io/dataset/socios… (11GB, 47165a9560a3cc15901415a9e800a38da97dcefc)
Totais:
- Empresa: 42.5M
- CNAE secundária: 52.8M
- Sócio: 26.6M
- Holding: 763k

A liberação desses dados usando a Lei de Acesso à Informação ocorreu porque eu, @555112299jedi, @cuducos e equipe da Serenata de Amor (@okfnbr) fizemos um pedido (e vários recursos), para que todos pudessem ter acesso aos dados.

São dados super relevantes para profissionais de diversas áreas, como jornalismo, economia e marketing. Apesar de os dados estarem disponíveis, nem todos conseguem acessá-los porque o download é lento, o formato é proprietário e a quantidade de dados é muito grande.

Criei o Brasil.IO justamente para facilitar o acesso aos dados públicos e resolver esses problemas; é um projeto colaborativo e tudo está disponível como software livre; você pode contribuir doando: apoia.se/brasilio #opendata #ddj #python #crowdfunding