🧵Bastante DESINFORMAÇÃO sobre raspagem de dados (Web scraping) nesse texto publicado no @g1economia. Da maneira como está colocada, a técnica parece algo criminoso e indesejável. Vamos entender melhor? Web scraping é uma técnica que consiste em acessar (baixar), coletar e armazenar informações de sites (às vezes bem específicas, às vezes mais genéricas). Em geral criamos programas para que esse processo seja feito de maneira automatizada (e chamamos esses programas de "robôs").

🧵 Adoro o Portal da Transparência do Gov. Federal. Adoro ver pessoas fiscalizando gastos públicos - meu trabalho no @brasil_io é ajudar quem quer fazer isso. Mas tô vendo muita lacração e nenhuma conta por causa de leite condensado. Vamos fazer algumas estimativas? #opendata

https://twitter.com/Metropoles/status/1353307811711602690

- Gastos com leite condensado pelo Gov. Federal foram de R$ 15.641.777,49 em 2020
- Desses, o Ministério da Defesa gastou R$ 14.220.000,65
- As Forças Armadas disseram à reportagem que seu efetivo é composto de 370 mil pessoas

Um dos datasets mais relevantes do Brasil.IO é o socios-brasil: contém dados cadastrais das empresas brasileiras, incluindo sócios. Ótimo para entender relações e muito útil em investigações (seguir o dinheiro). Hoje, ele foi atualizado. Vem comigo no fio #opendata Apesar de super relevantes, esses dados não estavam disponíveis para download no site da @ReceitaFederal. Então em 2018 me juntei a @555112299jedi, @cuducos e equipe da Serenata de Amor (@okfnbr) para fazer um pedido usando a Lei de Acesso à Informação (LAI).

Após o apagão de dados da #covid19 do @minsaude, fizemos uma força-tarefa pra ter os dados a nível nacional + rapidamente. Atualizamos o total de casos confirmados/óbitos por estado e depois atualizaremos por município. Esse é o Boletim Brasil.IO de hoje. Nem todos os estados liberaram boletim hoje (alô, @saudegovpi e @Sesau_Roraima - por favor, atualizem os dados!). Os dados que temos são os mais recentes disponíveis e atualizaremos assim que novos boletins forem publicados.

Nas últimas 24h adicionamos gráficos no Painel #covid19 do Brasil.IO: dos mais simples, como qtd. de casos confirmados e óbitos, até outros que nos permitem analisar o excesso de óbitos por estado. Segue o fio 👇 #opendata No último tweet: em azul, casos confirmados acumulados e novos; em vermelho, óbitos acumulados e novos.
Abaixo: causas de óbitos registrados em cartório (@ArpenBrasil). Os gráficos estão disponíveis tanto a nível nacional, quanto estadual - abaixo, o gráfico de óbitos para SP.

Opiniões de pessoas técnicas podem gerar desinformação/cortina de fumaça sobre um tema (nesse caso, são de programadores), é a famosa CARTEIRADA. Sinto dizer, mas parte considerável dos programas que você usa NÃO tem testes e mesmo assim funciona. Segue o fio #covid19

https://twitter.com/_fcampelo/status/1258761079112466433

Organização de código e testes automatizados são boas práticas que ajudam a evitar erros humanos no desenvolvimento do programa. Falta de organização e de testes não invalida o programa. No caso de um programa científico, dá pra checar os resultados que ele gera.

O Brasil passou de mil mortes por #covid19 no dia 6 de abril, não hoje! Coletamos dados do Portal da Transparência do Registro Civil e comparamos com os dados disponibilizados pelas Secretarias Estaduais de Saúde. Saiba mais em: blog.brasil.io/2020/04/10/obi… Dados das Secretarias Estaduais de Saúde continuam importantes: todos os dias coletamos (35+ voluntários), checamos, entramos em contato para resolver inconsistências e publicamos no Brasil.IO, mas não podemos olhar só para eles, por isso adicionamos de outra fonte.

A @ReceitaFederal liberou ontem atualização na base de empresas/sócios (receita.economia.gov.br/orientacao/tri…), são 20 arquivos e o download é lento; estou baixando e em breve compartilho nessa thread o link no mirror do Brasil.IO (+ rápido) e dos arquivos convertidos. @ReceitaFederal Terminei o download dos 20 arquivos (total: 6,1GB) e disponibilizei uma cópia no Brasil.IO em: data.brasil.io/mirror/socios-… - fiz um teste e enquanto nos servidores oficiais demora até 3h por arquivo, no mirror demora menos de 1min.
Em breve publico os dados convertidos.

Apesar de muito se falar sobre a #vazajato (VJ) na Internet, esse conteúdo não chega a boa parte da população e é ótimo que esteja na TV aberta (@rodaviva: ). Porém o tempo de @ggreenwald e dos espectadores poderia ter sido melhor aproveitado, segue o fio:

https://twitter.com/DanielaLima_/status/1168749559067140096

Diversas perguntas (intencionalmente ou não) preparam o terreno para que o espectador acredite num cenário falacioso (isso vai ser mais efetivo em quem não acompanhou a VJ de perto desde o começo), criando pré-indisposição com o trabalho de @ggreenwald (independente da resposta).

Frequentemente recebo e-mails EXIGINDO remoção de dados do Brasil.IO, mas são dados públicos e não vou remover (no máximo não divulgarei dados sensíveis). Tem cidadão que só quer a transparência alheia - esse e-mail é só um dos exemplos.
#opendata #transparency Muitas vezes ameaçam por e-mail chamar o advogado - eu só mostro a lei de acesso à informação e nunca mais voltam.

Há algum tempo atrás baixei um PDF com a lista de beneficiados pela Lei da Anistia. Hoje fui procurá-lo na página do @JusticaGovBR e *o arquivo não está mais disponível*, daí comecei uma investigação, segue o fio. #opendata #DitaduraNaoSeComemora A URL original era: justica.gov.br/seus-direitos/… (dá pra encontrá-lo pelo Google, mas a versão em cache não está mais disponível).