Um grupo de defensores da divulgação organizada de dados públicos se reuniu e criou a lista que segue, chamada em inglês de Open Government Data Principles.

Segundo eles, dados do governo só podem ser considerados abertos se forem liberados publicamente de acordo com os princípios abaixo. (Mantive os links para os verbetes originais em inglês).

1. Completos
   Todos os dados públicos estão disponíveis. Um dado público é o dado que não está sujeito a limitações válidas de privacidade, segurança ou privilégios de acesso.

2. Primários
   Os dados são como os coletados na fonte, com o maior nível possível de granularidade e sem agregação ou modificação.

3. Atuais
   Os dados são colocados à disposição tão rapidamente quanto necessário para preservar o seu valor.

4. Acessíveis
   Os dados estão disponíveis para a o maior escopo possível de usuários e para o maior escopo possível de finalidades.

5. Processáveis por máquinas
   Os dados são razoavelmente estruturados para permitir processamento automatizado.

6. Não-discriminatórios
   Os dados estão disponíveis para todos, sem necessidade de cadastro.

7. Não-proprietários
   O dados estão disponíveis em um formato sobre o qual nenhuma entidade tem controle exclusivo.

8. Livres de licenças
   Os dados não estão sujeitos a nenhuma regulação de direitos autorais, patentes, propriedade intelectual ou segredo industrial. Restrições sensatas relacionadas à privacidade, segurança e privilégios de acesso podem ser permitidas.
   

A observância aos princípios deve ser revisável (veja item 3 abaixo).

Definições

1. O significado de “público” :Estes princípios não tratam sobre que dados devem ser públicos e abertos. Privacidade, segurança e outras preocupações podem impedir legalmente (e com razão) que conjuntos de dados sejam compartilhados com o público. Por isso, os princípios especificam apenas as condições que os dados públicos devem atender para serem considerados “abertos”.
2. O significado de “dados”:Informações ou gravações armazenadas eletronicamente. Exemplos incluem documentos, bases de dados de contratos, transcrições de audiências e gravações audio/visuais de eventos.Embora fontes informativas não eletrônicas, como artefatos físicos, não sejam objeto destes princípios, encoraja-se que elas sejam convertidas para formatos eletrônicos na medida do possível.
3. O significado de “revisável”:Alguém deve ser designado como contato para responder a pessoas que tentarem utilizar os dados.A pessoa de contato deve estar claramente designada para que possa responder a reclamações sobre violações dos princípios.

   Uma corte administrativa ou judicial deve ter a jurisdição para revisar se a agência aplicou estes princípios apropriadamente.

* * *

E o que isso tem a ver com o Brasil?

Toda entidade pública que gera dados de interesse público deveria liberá-los seguindo os princípios acima. Simples assim. Não importa de onde elas são.

O exemplo mais gritante é o de dados que são acessíveis apenas pelo browser, como a lista de devedores do INSS, que viola claramente o princípio 5 (dados devem ser processáveis por máquinas).

O que os desafios dos posts anteriores incentivam é a aplicação na marra destes princípios aos dados públicos brasileiros.

Novamente a idéia veio do Fabiano Angélico, da Transparência Brasil. Vamos lá:

1. Nossos ilustres senadores

Temos aqui uma lista de todos os senadores atuais e seus respectivos números de CPF.

Bônus 1 – Falta encontrar o CPF do senador Marco Maciel. Alguém se habilita?

2. A lista de devedores para o INSS

O Ministério da Previdência, como bom credor, mantém uma lista de todos os caloteiros, com CPF, CNPJ, nomes e valores.

É possível fazer uma consulta à essa lista por este formulário:

http://www1.previdencia.gov.br/pg_secundarias/paginas_perfis/perfil_comPrevidencia_09_04-A.asp

Também conseguimos navegar pelos nomes de pessoas e empresas, por aqui:

http://www1.previdencia.gov.br/devedores/consdeved.asp

Brincando com a URL da consulta, consegui mostrar um ranking dos maiores devedores:

1. VARIG SA VIACAO AEREA RIO GRANDENSE EM RECUP
   2.512.002.963,38

2. VIACAO AEREA SAO PAULO SA
   1.445.447.625,87

3. TRANSBRASIL SA LINHAS AEREAS
   664.431.406,21

4. COMUNIDADE EVANGELICA LUTERANA SAO PAULO
   434.195.266,02

5. ESTADO DO RIO DE JANEIRO
   405.208.783,42

6. GAZETA MERCANTIL S/A (Já fui vítima dessa aqui)
   380.652.586,65

7. PIRES SERVICOS DE SEGURANCA E TRANSP.VALORES
   339.118.179,37

8. EMPRESA BRASILEIRA DE CORREIOS E TELEGRAFOS
   320.305.796,06

9. ENCOL S A ENGENHARIA COMERCIAL E INDUSTRIA
   319.362.278,18

10. FUND. EDUCAC. DO DISTRITO FEDERAL - EM EXTINC
    315.305.102,76

11. EST.SANTA CATARINA-SECRETARIA DA EDUCACAO E D
    313.380.862,29

12. EBID - EDITORA PAGINAS AMARELAS LTDA
    307.021.193,79

13. CAIXA ECONOMICA FEDERAL
    301.684.374,00

14. INSTITUTO DE PREVIDENCIA DO ESTADO DO RIO GRA
    300.026.754,78

15. TELESP - TELECOMUNICACOES DE SAO PAULO S/A
    299.645.695,76

Voltando ao assunto, queremos juntar A+B.

Objetivo – Cruzar a lista de senadores com a de devedores e descobrir:

a) Se existem senadores caloteiros,
b) Se existirem, quem são eles
c) Quanto devem nossos ilustres representantes

Quem conseguir nos responder a, b e c completa o desafio.  Não custa lembrar que a única condição é  que você  libere todo o código e explique como fez, para que outras pessoas também consigam reproduzir o seu resultado e aprender com ele. De preferência, use algum repositório público de código. Dúvidas: @pedrovalente e @fangelico.

Objetivos secundários

Bônus 2 – Será agraciado com nossa eterna gratidão o desenvolvedor que conseguir extrair a TODA a base de devedores do INSS, incluindo valores devidos (os detalhes que aparecem quando se clica no nome). Aceitamos CSV, dump de SQL, JSON ou qualquer formato razoavelmente reaproveitável. A base é atualizada a cada 3 meses, então devemos poder rodar a coleta novamente quando isso ocorrer. Se não tiver onde hospedar, mande para mim, no endereço pedro.valente no gmail.

Bônus 3 - A medalha de honra por serviços prestados à sociedade vai para quem, com a base acima em mãos, criar uma API pública para consulta desses dados. Algo como um serviço rodando no Google App Engine ou em algum servidor caridoso.

Bônus 4 - Encontrar os CPFs dos deputados federais e rodar o cruzamento do calote com eles.

Qualquer um pode participar. Até agora todo mundo usou Python, mas você pode usar a linguagem de programação de que mais gosta, sem problema.

Atualizarei o post com novidades. Usem os comentários para colaborar ou discutir e bom passatempo.

Atualização de 13 de abril

Como disse nos comentários, o Felipe Zorzo mandou uma solução para o desafio, na qual não encontrou-se nenhum senador devedor do INSS.

Aqui vai mais uma lista fornecida pelo Fabiano Angélico, com CPF de 2.224 parlamentares (deputados federais, vereadores das capitais e deputados estaduais).  Alguém se habilita a passá-la pela checagem e ver quem sai limpo do outro lado?

Sugiro também uma implementação bem simples e reutilizável, algo assim:

>>> import inss
# Caso não haja dívida:
>>> inss.divida('999.999.999-99')
None

# E se houver dívida:
>>> inss.divida('111.111.111-11')
[{'descricao':'Divida 1', 'valor': 5000000, 'data': 'xx-xx-xxxx'},
 {'descricao':'Divida 2', 'valor': 1000000, 'data': 'xx-xx-xxxx'}]

É um desafio diferente, a complexidade não é a mesma dos problemas matemáticos e quebra-cabeças lógicos, mas não deixa de ser bem interessante.

O problema

1.  Existe uma “lista negra” de empresas queimadas na praça. São as chamadas “inidôneas” e “suspensas”.

O Cadastro Nacional de Empresas Inidôneas e Suspensas (CEIS) é um banco de informações mantido pela Controladoria-Geral da União que tem como objetivo consolidar a relação das empresas que sofreram sanções pelos órgãos e entidades da Administração Pública das diversas esferas federativas.

Ele pode ser acessado aqui: http://www.portaltransparencia.gov.br/ceis/

Pra facilitar, já exportamos os dois bancos no formato CSV. Baixe-os aqui.

2. Existe um formulário do TSE na web que permite consultar se uma determinada empresa foi doadora de campanha para algum candidato. Ele traz também os detalhes dessa doação, e principalmente para quem foi o dinheiro.

Ele fica aqui: http://www4.tse.gov.br/spce2008ConsultaFinanciamento/consultaReceitaDespesaCandidatoServlet.do

Queremos encontrar a intersecção entre esses dois mundos, que nos traria um resultado muito revelador: quem são os políticos que recebem dinheiro de empresas inidôneas. A idéia é usar o CNPJ das listas na busca do TSE para descobrir se há conexões e quais são os seus detalhes.

A solução

Está dada a largada. Quem quiser debater o problema ou mandar tudo resolvido pode usar os comentários deste post. Você também pode perguntar no Twitter pra mim (@pedrovalente) ou para o Fabiano Angélico (@fangelico), da Transparência Brasil. Foi ele quem me propôs o desafio, que resolvi compartilhar com quem quiser ajudar.

Só existe uma condição para participar, que você libere todo o código e explique como fez, para que outras pessoas também consigam reproduzir o seu resultado e aprender com ele.

O prêmio é apenas o reconhecimento público de um trabalho bem feito, e a satisfação de ter gasto seu tempo livre com um desafio que realmente pode ter algum impacto na vida real.

Se esta experiência der certo e alguém responder, quem sabe pode ser o início de uma série de cooperações independentes entre jornalistas e programadores na busca de menos sacanagem com o dinheiro público.

Atualização de domingo à noite (15/3):

Parece que já temos a resolução do problema. O Marcos Vinícius da Silva, de Ribeirão Preto, foi o primeiro a mandar uma solução que consegui rodar tranquilamente e pareceu funcionar direitinho. Com a palavra, o próprio Marcos:

Estou te mandando os fontes do que fiz até agora para o desafio.
Os fontes que estou te mandando assumem o Python instalado (o meu aqui é o 2.5.2), e que os arquivos Inidoneas.csv e Suspensas.csv estejam no mesmo diretorio dos fontes.
O programa irá gerar os arquivos saida_Suspensos.csv e saida_Inidoneos.csv, na mesma ordem que aparecem nos resultados das pesquisas realizadas no site.

Para executar o programa, basta chamar “python pesquisar.py”. Eu testei no Linux (Ubuntu), mas creio que funcione no windows também, pois não utilizei nenhum recurso fora do que o Python oferece.

Espero que seja útil!

Empacotei o código do Marcos com os arquivos CSV junto para quem quiser testar também.

Depois de rodar o código, estes foram os resultados encontrados no cruzamento.

Não posso deixar de agradecer também o Julio Biason, por ter liberado seu código inicial e aos outros que tentaram resolver. Acabo de dar uma olhada (23h) no repositório compartilhado pelo Julio e parece que ele está bem perto de um resultado. Aguardo seu relato para publicar aqui.

Fiquem à vontade pra comentar sobre as soluções e ajudar a melhorá-las, se necessário.

Agora é digerir esses dados e tentar interpretar o que eles significam.  Já vi alguns nomes bem interessantes ali dentro…

Atualização de segunda (16/3):

O Julio Biason também chegou à solução. Pontos pra ele por ter colocado o código num repositório compartilhado e feito uma visualização mais fácil do resultado. Parabéns!

Pra quem tiver paciência, tá aqui o PDF da minha dissertação, sobre “Aplicações híbridas para a criação de conteúdo jornalístico na internet”. O curso foi o de Engenharia e Gestão do Conhecimento, na Universidade Federal de Santa Catarina.

Reli uns pedaços hoje e vi que muitas coisas que escrevo aqui no blog eu já tinha escrito nela.

Shortly before I joined The Times, the print and digital sides of the newspaper decided to merge their operations — what we call “integration.” I’m sure there were many people who thought this was a terrible idea, that the ink-stained Luddites of the print newsroom (the Web stereotype) and the arrogant, illiterate Digerati (the print stereotype) would never find common ground.

We’ve certainly had our moments. But the truth is integration has been a huge success. I don’t think any of the things we have achieved over the past two years in terms of interactive journalism, technology or our business would have been possible without it.

There are many reasons for this, and a few key individuals who made it all work. But as someone who has long had a foot in both worlds, my perspective is we have succeeded largely because beneath the obvious cultural (and sartorial) differences, journalists and technologists are really kindred spirits. The best of them, anyway, are passionate about their calling (because it’s much more than just a job), are skeptical of conventional wisdom and focus groups, like to trust their instincts, yet pride themselves on their analytical abilities and their almost religious devotion to the facts. And for disciplines where teamwork is vitally important, they also tend to share an individualistic, sometimes anarchistic bent, which as a manager is either a constant source of aggravation or amusement, depending upon how much sleep I’ve had the night before. In the end, technologists and journalists like to get stuff done, which makes them ideally suited to one another.

The trouble is they view the world from opposite ends of the telescope. The instincts that serve you so well as a print journalist often don’t work online (and vice versa) because the rules of the mediums are so different. But once journalists and technologists start to breathe the same air, they begin to understand one another. While we still have some distance to travel, that has certainly been the case at The Times.

We’ve accelerated this process through some fairly unconventional means. Last year, we formed a new software group called Interactive News Technologies, a team of journalistically minded techies (led by a technically minded journalist named Aron Pilhofer) who sit side by side with our editors, reporters and graphics journalists in the newsroom and produce Web applications at daily deadline speed. They have already been responsible for some terrific applications that use interactive databases that we wouldn’t have able to build as fast otherwise, or perhaps at all because we would not have had anyone focused on developing that technical capability.

While there will always be differences between journalists and technologists, I think we are in the midst of a vast generational shift. In the not-too-distant future, the majority of working journalists will be “digital natives” who cannot remember a world without the Internet, and who read most of their news online. That is bound to lead to some profound changes as this Facebook generation begins to assume leadership positions in newsrooms around the country. This next generation is going to have a much greater understanding of the possibilities and limitations of technology, as well as an innate sense of what works (and what doesn’t) online.

Em outra resposta, disse o que vem por aí:

In the next few months, we hope to announce more innovations in multimedia and data visualization as we link these platforms to our strategy around user generated content and APIs.

E também mostrou como o NYT entende e trabalha pra usar ao seu favor as mudanças causadas pela web no jornalismo, principalmente na questão bloco de texto vs. informação estruturada:

In the past, we treated all this structured information as plain text. So there was no way to search, sort and filter all this information or link it to anything else. There was no useful metadata (a term that basically means data about data), no “tags” or other information to help our online readers find all this rich information we were producing every day.

But for the past several months, we’ve been building systems to ensure that everything we produce is tagged at the outset so that it can be placed in a database where it can then be accessed by software developers using the APIs I talked about earlier. We’re doing this not just for structured data but for articles as well so that there will be much richer and more descriptive information about everything we’re ever written going all the way back to 1851.

We have many ideas around creating much richer and more collaborative Times Topics pages and more enhanced articles and multimedia in general. Much of this is necessarily vague because we’re not yet ready to talk about all the things we’re doing in this area. But part of the idea behind creating this vast database of articles and data, making it available, and then giving people the tools to manage it and recombine it with other information, is to tap into the incredible creativity made possible by the Web. We’re really not sure what applications our own developers, external developers and our readers will create using all this information — and to me, that’s the beauty of it.

O conceito por trás de todo o livro é o ‘colapso do custo das transações’. Traduzindo, é o fenômeno que acontece quanto algo muito difícil ou trabalhoso e de repente se torna simples e trivial. Em comparação com os anos pré-internet, o custo e o esforço para se formar grupos coordenados, por exemplo, foi reduzido brutalmente. Por isso a auto-organização de pessoas em conjunto por todo o mundo começou a pipocar como nunca.

Shirky diz que antigamente, quem debatia o papel das organizações via apenas dois caminhos para se concluir uma tarefa: um esforço comandado pelo Estado, com um plano para resolver o problema; ou a livre competição do mercado. Levava-se em conta a premissa de que as pessoas não tinham como se auto-organizar de uma hora pra outra. Era verdade, mas agora mudou.

Ele enumera uma “escada” de atividades que os grupos auto-organizados têm conseguido realizar usando ferramentas sociais, as catalisadoras destes movimentos:

Compartilhamento é o modelo que cria menos demandas para os participantes. Colocar suas fotos no Flickr para que todos vejam é uma forma de compartilhar.

Cooperação é o segundo degrau, e é mais complicado do que apenas compartilhar, porque exige que você mude seu comportamento para sincronizá-lo com o de pessoas que também mudam seus próprios comportamentos para cooperar com você. Diferente do compartilhamento, a cooperação cria um senso de grupo – você sabe com quem coopera. A conversa – por comunicadores instantâneos ou e-mail – é a forma mais comum de cooperação, diz Shirky.

Produção colaborativa é uma maneira ainda mais engajada de cooperação. Aumenta a tensão entre os objetivos individuais e os do grupo. A maior diferença entre produção colaborativa e compartilhamento de informação é que a primeira exige que o grupo tome certas decisões em conjunto. É a argumentação e a guerra de edição que acontecem na Wikipédia.

Ação coletiva é o terceiro degrau. É o mais difícil, pois exige um grupo coeso que esteja determinado a atingir um objetivo. A união do grupo é essencial para o seu sucesso.

Enquanto o compartilhamento de informação produz percepção compartilhada entre os participantes e a produção colaborativa resulta em criação compartilhada, a ação coletiva cria responsabilidade compartilhada, fundindo a identidade do usuário com a identidade do grupo. Um exemplo de ação coletiva é o desafio à governança, consumidores indignados exigindo seus direitos ou eleitores buscando mudanças na lei. Por tabela, fica claro que existe uma maneira de se perder a batalha.

No fundo, a principal vantagem dada pelas novas ferramentas sociais é a “formação ridiculamente simples de grupos”, nos termos de Seb Paquet.

Todos são produtores de mídia

No capítulo que mais enfoca o jornalismo, Clay Shirky conta a história de seu tio Howard, dono de jornal em uma pequena cidade do interior americano. Ele criticava o USA Today, chamando-o de “TV no papel”. No fim das contas, o novo jornal não foi uma ameaça tão grande. Chegou a roubar circulação de jornais menores, mas o resultado não foi a catástrofe prevista por muitos.

“O catastrófico foi uma mudança menos visível, porém mais significativa, que já ganhava força no momento em que o USA Today era lançado. A principal ameaça ao Richmond Daily News , e sem dúvida a todos os jornais pequenos e grandes, não era a competição de outros jornais, mas mudanças radicais no ecossistema geral da informação. A idéia de que alguém poderia construir impressoras a quatro cores que rodassem dia e noite era fácil de entender. A idéia de que a transmissão de notícias via papel poderia se tornar uma má idéia, de que todas aquelas impressoras enormes e barulhentas pudessem ser como locomotivas a vapor na era da combustão interna era quase impossível de se perceber. Howard poderia imaginar alguém fazendo o que ele fazia, porém melhor. O que ele não podia imaginar é alguém tornando obsoleto o que ele fazia.”

Shirky segue dizendo que muitas pessoas no ramo dos jornais não entenderam a importância da internet. Talvez por um narcisismo da profissão, argumenta, a produção feita por não-profissionais não era algo a ser levado a sério.

Ele busca entender o que originou a profissão de jornalista, e se depara com conceitos fundamentais que nem sempre nos lembramos. Um deles é que uma profissão existe para resolver um problema que exija especialização. Dirigir carros de corrida é coisa para pilotos profissionais. Dirigir um carro comum não exige que a pessoa tenha uma nova profissão, é relativamente simples.

Outras profissões existem para gerenciar algum recurso escasso. Bibliotecários organizam livros nas prateleiras, executivos de jornal decidem o que vai na primeira página. Aí surgem os gatekeepers.

Uma profissão também é definida pelas regras que devem ser seguidas por seus membros e suas relações de fiscalização com os colegas. E daí surge o código de ética dos jornalistas e outras normas de conduta.

A viabilidade comercial do produto jornalístico e a tecnologia utilizada também influenciam no comportamento do profissional. Mesmo com a introdução do rádio e da TV, os jornais mantinham o monopólio da palavra escrita na hora de informar as pessoas das notícias do dia – até o surgimento da web. A web não introduziu um novo competidor no antigo ecossistema, como havia feito o USA Today. A web criou um novo ecossistema.

Embora seja um modelo estável e tradicional, se pensarmos bem não há muita conexão entre os elementos presentes em um jornal. Resultados de futebol, notícias de política, horóscopo e classificados em um “amontoado idiossincrático”. O que segura um jornal é, primeiro, o custo do papel, tinta e distribuição. Um jornal é qualquer grupo de itens impressos que um editor consiga amontoar em conjunto e entregar lucrativamente.

O corolário também é verdade: não entra no jornal o que for muito caro para se imprimir e entregar.

“A velha barganha do jornal – notícias internacionais junto com horóscopo e anúncios de pizzaria – acabou. O futuro apresentado pela internet é a massificação do amadorismo na publicação e uma troca de ‘Por que publicar isto?’ para ‘Por que não?’

Falhar hoje custa muito pouco. Fazer algo ruim não prejudica ninguém e nem dá prejuízo. Por isso a regra das ferramentas sociais que mais crescem é essa: produzir primeiro e filtrar depois. Mais detalhes no próximo post.

Atualização: A segunda parte já está disponível aqui.

Eles discutiam o texto na internet e como a pirâmide invertida se encaixava nessa história toda. Eu aproveitei pra bater novamente na tecla do jornalista-programador

Convido todos a participar:
http://groups.google.com/group/dados-publicos

A idéia principal é trocar experiências sobre técnicas de coleta, processamento e visualização de informações no Brasil.
O termo ‘dados públicos’ é usado aqui de uma maneira bem flexível, abrangendo dados disponíveis na rede em geral.

Veja o theinfo.org para uma iniciativa internacional desse tipo.
COLETA:
Scrapers, robôs de varredura, crawlers, dumps, shapefiles, arquivos xls, csv, txt, pdf(!) .
Ferramentas existentes, troca de scripts, liberação de iniciativas particulares em código aberto

PROCESSAMENTO:
Geoprocessamento, cruzamento, limpeza dos dados, scripts, etc.

VISUALIZAÇÃO:
Gráficos, mapas, tabelas, qual a melhor forma de mostrar tudo isso?

Questões relacionadas

• Repositório colaborativo de dados públicos brasileiros. É viável? E uma API de acesso a este repositório?
• A transparência/cobrança política pela web passa pelo acesso e cruzamento de dados públicos.
• Mobilização social para a abertura a desenvolvedores (APIs e web services) e simplificação da consulta a dados públicos que – por lei – devem estar disponíveis.

Pergunte, sugira e colabore. Qualquer um pode participar.