Já faz mais de um ano que defendi, mas agora lembrei que ela não está online em lugar nenhum.

Pra quem tiver paciência, tá aqui o PDF da minha dissertação, sobre “Aplicações híbridas para a criação de conteúdo jornalístico na internet”. O curso foi o de Engenharia e Gestão do Conhecimento, na Universidade Federal de Santa Catarina.

Reli uns pedaços hoje e vi que muitas coisas que escrevo aqui no blog eu já tinha escrito nela.

Posted in Geral, Jornalismo, Mapas, jornalista-programador ~ Um comentário

O jornalista Marc Frons, “chief technology officer” de operações digitais do New York Times, responde a perguntas dos leitores. Entre outros assuntos, fala da integração entre os tecnólogos (technologists) e os jornalistas:

Shortly before I joined The Times, the print and digital sides of the newspaper decided to merge their operations — what we call “integration.” I’m sure there were many people who thought this was a terrible idea, that the ink-stained Luddites of the print newsroom (the Web stereotype) and the arrogant, illiterate Digerati (the print stereotype) would never find common ground.

We’ve certainly had our moments. But the truth is integration has been a huge success. I don’t think any of the things we have achieved over the past two years in terms of interactive journalism, technology or our business would have been possible without it.

There are many reasons for this, and a few key individuals who made it all work. But as someone who has long had a foot in both worlds, my perspective is we have succeeded largely because beneath the obvious cultural (and sartorial) differences, journalists and technologists are really kindred spirits. The best of them, anyway, are passionate about their calling (because it’s much more than just a job), are skeptical of conventional wisdom and focus groups, like to trust their instincts, yet pride themselves on their analytical abilities and their almost religious devotion to the facts. And for disciplines where teamwork is vitally important, they also tend to share an individualistic, sometimes anarchistic bent, which as a manager is either a constant source of aggravation or amusement, depending upon how much sleep I’ve had the night before. In the end, technologists and journalists like to get stuff done, which makes them ideally suited to one another.

The trouble is they view the world from opposite ends of the telescope. The instincts that serve you so well as a print journalist often don’t work online (and vice versa) because the rules of the mediums are so different. But once journalists and technologists start to breathe the same air, they begin to understand one another. While we still have some distance to travel, that has certainly been the case at The Times.

We’ve accelerated this process through some fairly unconventional means. Last year, we formed a new software group called Interactive News Technologies, a team of journalistically minded techies (led by a technically minded journalist named Aron Pilhofer) who sit side by side with our editors, reporters and graphics journalists in the newsroom and produce Web applications at daily deadline speed. They have already been responsible for some terrific applications that use interactive databases that we wouldn’t have able to build as fast otherwise, or perhaps at all because we would not have had anyone focused on developing that technical capability.

While there will always be differences between journalists and technologists, I think we are in the midst of a vast generational shift. In the not-too-distant future, the majority of working journalists will be “digital natives” who cannot remember a world without the Internet, and who read most of their news online. That is bound to lead to some profound changes as this Facebook generation begins to assume leadership positions in newsrooms around the country. This next generation is going to have a much greater understanding of the possibilities and limitations of technology, as well as an innate sense of what works (and what doesn’t) online.

Em outra resposta, disse o que vem por aí:

In the next few months, we hope to announce more innovations in multimedia and data visualization as we link these platforms to our strategy around user generated content and APIs.

E também mostrou como o NYT entende e trabalha pra usar ao seu favor as mudanças causadas pela web no jornalismo, principalmente na questão bloco de texto vs. informação estruturada:

In the past, we treated all this structured information as plain text. So there was no way to search, sort and filter all this information or link it to anything else. There was no useful metadata (a term that basically means data about data), no “tags” or other information to help our online readers find all this rich information we were producing every day.

But for the past several months, we’ve been building systems to ensure that everything we produce is tagged at the outset so that it can be placed in a database where it can then be accessed by software developers using the APIs I talked about earlier. We’re doing this not just for structured data but for articles as well so that there will be much richer and more descriptive information about everything we’re ever written going all the way back to 1851.

We have many ideas around creating much richer and more collaborative Times Topics pages and more enhanced articles and multimedia in general. Much of this is necessarily vague because we’re not yet ready to talk about all the things we’re doing in this area. But part of the idea behind creating this vast database of articles and data, making it available, and then giving people the tools to manage it and recombine it with other information, is to tap into the incredible creativity made possible by the Web. We’re really not sure what applications our own developers, external developers and our readers will create using all this information — and to me, that’s the beauty of it.

Posted in Jornalismo, jornalista-programador ~ Nenhum comentário

Essa pergunta tem passado pela minha cabeça com uma certa freqüência ultimamente. Resolvi enumerar abaixo algumas razões.

1. Porque, segundo a Wired, é cool:

Expired: ASP.NET, Tired: PHP, Wired: Django

2. Porque, segundo o Bruce Eckel, guru do Java, é legal.

“I think I’ve been using Python for close to 12 years now, and it’s been my favorite language for much of that time…” “I think the combination of choices offered by Django + TurboGears covers people’s needs better than a single monolithic approach, and Django appears to be the right solution for a large portion of the applications out there.”

3. Porque, segundo o xkcd, é sensacional:

4. Porque, segundo o Matt Waite, jornalista que aprendeu a programar, é fácil:

“But what makes Django an even greater work of art is that knuckle-dragging, mouth-breathing, not-very-good journalism graduates from small midwestern states (ahem) can learn just enough to build something they can be proud of.”

5. Porque Guido van Rossum, criador do Python, gosta do Django:

“My personal favorite — and I expect that that will remain a personal favorite for a long time — is something named Django. … I highly recommend it.”

6. Porque o Google (onde o Guido trabalha) resolveu apostar pesado em Python+Django com o AppEngine:

“With Google’s employment of Python and Django as a first class citizen in its AppEngine infrastructure [...] this development has the potential of trusting Python into the limelight.”[fonte]

7. Porque Python é uma das linguagens cuja adoção tem crescido constantemente pelo mundo:

Ocupa a 7ª colocação no ranking do índice Tiobe de julho de 2008, com quase 5% do total de linhas de código escritas.

8. Porque Django é um framework cada vez mais estável e confiável:

“Django 1.0 will be released in early September.” (dia 2 para ser mais exato)

9. Porque segundo o Adrian Holovaty, o Django tem tudo a ver com jornalismo:

“Because journalism and computer science don’t normally go together, I’ve had some success in this silly little niche of employing Web development in news organizations — ‘journalism via computer programming.’”

10. E finalmente, porque Django ajuda a resolver as coisas rápido:

“A apresentação é um passo a passo de como a pesquisa de um repórter em tabelas do Word pode se tornar uma aplicação web interativa com mapas e gráficos em apenas dois dias. O James Bennett usa Python e Django pra isso.”

Posted in django, jornalista-programador, python ~ 3 comentários

O pessoal de uma pós-graduação da Cesusc me pediu e fiz uma apresentação rápida pra eles remotamente. Falei pelo Skype e pela webcam vi a sala onde foram exibidos os slides abaixo.

Eles discutiam o texto na internet e como a pirâmide invertida se encaixava nessa história toda. Eu aproveitei pra bater novamente na tecla do jornalista-programador

Posted in Jornalismo, Multimídia, jornalista-programador ~ 4 comentários

Mandei essa mensagem por email pra um monte de gente, não custa deixar por aqui pra quem se interessar…

Convido todos a participar:
http://groups.google.com/group/dados-publicos

A idéia principal é trocar experiências sobre técnicas de coleta, processamento e visualização de informações no Brasil.
O termo ‘dados públicos’ é usado aqui de uma maneira bem flexível, abrangendo dados disponíveis na rede em geral.

Veja o theinfo.org para uma iniciativa internacional desse tipo.
COLETA:
Scrapers, robôs de varredura, crawlers, dumps, shapefiles, arquivos xls, csv, txt, pdf(!) .
Ferramentas existentes, troca de scripts, liberação de iniciativas particulares em código aberto

PROCESSAMENTO:
Geoprocessamento, cruzamento, limpeza dos dados, scripts, etc.

VISUALIZAÇÃO:
Gráficos, mapas, tabelas, qual a melhor forma de mostrar tudo isso?

Questões relacionadas

• Repositório colaborativo de dados públicos brasileiros. É viável? E uma API de acesso a este repositório?
• A transparência/cobrança política pela web passa pelo acesso e cruzamento de dados públicos.
• Mobilização social para a abertura a desenvolvedores (APIs e web services) e simplificação da consulta a dados públicos que - por lei - devem estar disponíveis.

Pergunte, sugira e colabore. Qualquer um pode participar.

Posted in Jornalismo, dados públicos, jornalista-programador ~ Um comentário

Muita gente já comentou o lançamento do EveryBlock, um site sensacional feito em Django por um dos criadores do próprio Django. Mas uma coisa que ainda não vi ninguém comentar e que achei interessante foi a ausência do Google Maps nele.

Tenho pensado em trocar o Google Maps por algo mais leve há algum tempo, e com o EveryBlock vi que existe um concorrente a altura, o OpenLayers. Não sei detalhes de como o Holovaty implementou, mas cada imagem que compõe o mapa é servida por um arquivo Python (tilecache.py).

Esse fato é significativo porque demonstra que o Google Maps não é mais unanimidade para a construção de mash-ups geográficos, moda iniciada pelo próprio Holovaty usando Gmaps em 2004 com o chicagocrime.org.

Outra surpresa interessante é que o EveryBlock usa jQuery. Como eu também tenho me dedicado a Django e a jQuery é bom saber que os dois frameworks andam conversando bem por aí.

Posted in Jornalismo, Mapas, django, jornalista-programador, jquery ~ Um comentário

O G1 publicou matéria sobre esse assunto e deixou uma bola quicando: no meio do texto o link para um arquivo do excel com todos os cruzamentos nos quais a polícia busca ter atenção especial, os tais “mais perigosos”.

Resolvi então fazer o óbvio, colocar os pontos no mapa para ver como ficaria.

1. Não tem como achar esquina?
O Google maps dá resultado para a procura por cruzamento de ruas nos Estados Unidos, mas não no Brasil. Espero que surja logo um suporte a esse recurso, ou então teremos que recorrer a gambiarras no futuro.

2. Nem foi tão trabalhoso assim
Como não dava pra automatizar, botei a mão na massa. Em pouco mais de uma hora inseri manualmente todos os pontos num mapa do Google Maps. Sei que é trabalho burro, mas para o meu objetivo serve. Taí o resultado:
Leia o resto do texto »

Posted in Google, Jornalismo, Mapas, jornalista-programador ~ 2 comentários

O jQuery muita gente já conhece. É uma biblioteca javascript, similar ao Prototype e ao mooTools, que tenho usado bastante.

O Flot é um plugin pro jQuery que facilita a criação de gráficos (veja vários exemplos mais legais que o meu na página do projeto). O interessante é que ele usa o canvas, um “novo” elemento HTML que é vetorial - uma área onde o Flash reinava absoluto até pouco tempo. Pra variar, o Internet Explorer não entende direito canvas, por isso tem uma gambiarra no código que - dizem eles - faz funcionar também no IE (Eu não descobri como fazer isso ainda…).

Peguei uns dados de uma matéria do G1 e formatei num gráfico com Flot pra testar como funciona. Dá pra perceber que ainda é versão 0.1, mas promete. Mesmo assim, foi fácil e rápido fazer este exemplo aqui.

Atualização: Foi só eu terminar de escrever que descobri que o Google lançou uma API para a produção de gráficos.  Parece bem completa, tem recurso que não acaba mais.  Testarei em breve.

Posted in Jornalismo, gráficos, jornalista-programador, jquery ~ 8 comentários

Todo blog que se preze tem listas de 10 mais, seja de que tópico for. Então resolvi postar algumas relacionadas com jornalismo de base de dados ou que nome tenha o “data journalism” que falam por aí. Reproduzo livremente e com licenças tradutórias do artigo original de Rich Gordon para o Readership Institute, que achei bem interessante.

A primeira lista é baseada em conclusões do grupo jornalístico Gannett Co. que implementou o information center, um tipo de central de coleta de dados:

Porque os dados devem ser a força motriz do jornalismo

• Dados não perdem a validade
  Depois de 24 horas o valor deles para o usuário não diminui.
• Dados podem ser pessoais
  A proximidade com o leitor se torna muito maior e mais fácil de ser atingida.
• Dados são melhor distribuídos em um meio sem limitações de espaço
  As melhores bases de dados são grandes demais para serem impressas na íntegra. A web além disso ainda tem a vantagem de possibilitar buscas, reordenação e todo tipo de filtragem.
• Dados se aproveitam das maneiras que as pessoas usam a web
  É um meio que se presta mais ao comportamento ativo, de pesquisar e interagir, do que passivo, de ler e assistir.
• Dados, depois de coletados, podem ser utilizados no meio impresso
  Depois de coletar, armazenar e permitir o acesso aos dados, é fácil utilizá-los em outros meios.

O jornal The Indianapolis Star, do grupo Gannet, é um dos que melhor aplica os itens acima, segundo o autor. E baseado na experiência deles surgiu a lista a seguir, que mostra…

As lições aprendidas pelo Star

• Tenha um plano
  Antes de montar a Central de Dados, pessoas-chave da redação criaram uma lista de assuntos que poderiam render bons dados e que seriam úteis para os leitores. Essa lista guiou todo o desenvolvimento das aplicações.
• Envolva especialistas em Reportagem Assistida por Computador (RAC)
  Repórteres e editores que já utilizam RAC têm o maior conhecimento de onde fuçar para encontrar dados importantes, que dados estão disponíveis e como lidar com buracos e inconsistências nas bases de dados.
• Monte uma equipe
  São necessárias as habilidades jornalísticas e analíticas de um especialista em RAC , o entendimento de pesquisa de bibliotecários de notícias, habilidades de desenvolvimento e HTML de programadores e o bom gosto visual e habilidade multimídia do departamento de arte. Embora seja difícil, é possível encontrar quem consiga acumular duas ou mais destas funções.
• Aumente a importância do “arquivo” de notícias
  Com a digitalização, jornais têm abandonado a clipagem manual e catalogação diária do jornal. Mas para que a central de dados funcione a contento, é importante que a área de armazenamento e pesquisa também esteja funcionando bem.
• Encontre ferramentas que tornem a publicação fácil
  Existem soluções de código aberto excelentes para esse tipo de central de dados. Django, um framework escrito na linguagem de programação Python, é o destaque. Nasceu das necessidades de um jornal e amadureceu dentro de uma redação, sendo moldado para permitir a produção de aplicações no ritmo da pauleira do fechamento.
• Publique apenas o que tiver valor de notícia
  As bases de dados com maior valor são aquelas apresentadas dentro de um contexto jornalístico claro. Tem que haver relação entre o que é notícia e os dados que são mostrados.

Para encerrar esse post que já está ficando comprido, uma última listinha, desta vez mostrando uma hierarquia dos tipos de projetos possíveis de se executar com uma central de dados na redação. A lista segue em ordem de complexidade:

1. Entrega de dados
   É o modelo mais simples. Você coleta os dados e mostra a tabela para os leitores.
2. Busca de dados
   É o modelo mais comum. Espera-se que o leitor encontre alguma coisa fazendo uma busca num campo de texto e alguns filtros, no caso de buscas avançadas.
3. Exploração de dados
   Aqui começa a ficar mais divertido. É o modelo usado pelo chicagocrime.com chicagocrime.org. Além da busca, tudo é link e pode ser clicado e a cada tela novas opções de navegação são sugeridas, melhorando a experiência do usuário. A apresentação do conteúdo e arquitetura da informação obedecem a critérios jornalísticos.
   
4. Experiências com dados e com narrativas
   É o casamento entre os dados e a notícia, integrando também elementos de redes sociais como comentários e elementos de narrativas multimídia como áudio e vídeo. O importante aqui é que deve existir uma integração de verdade. Não basta jogar um vídeo, uma tabela e umas notícias numa página para dizer que funcionou.
   Dois dos exemplos mais avançados deste modelo saíram do NY Times e do Star Tribune. Vale a pena dar uma olhada.

Posted in Geral, Jornalismo, Multimídia, django, jornalista-programador ~ Nenhum comentário

Derek Willis escreveu um post bem interessante com o título acima:  Innovation Belongs in the Newsroom.

“News organizations: find your innovators and liberate them inside the newsroom”.

É mais um indício de que os jornais americanos estão acordando pro fato de que jornalistas-programadores, ou News Technologists, ou Data-Delivery Editors são peça chave na evolução do jornalismo na internet.

Quem é jornalista e sabe criar aplicações na web “com as próprias mãos” é artigo de luxo nos EUA. Dá vontade de botar o currículo debaixo do braço e correr pra lá.

Será que os jornais brasileiros vão demorar muito pra também se dar conta disso?

Posted in Jornalismo, Mapas, Multimídia, django, jornalista-programador ~ Um comentário

Imagine uma redação com mais de 100 pessoas espalhadas pelo mundo. Durante três dias, todos se reúnem, alguns ao vivo e alguns virtualmente para fechar uma edição de uma revista. Virar a noite fazendo um “pescoção”, tão comum nas revistas tradicionais. Como organizar esse pessoal? Como distribuir tarefas? Como coordenar o fuso horário dos neozelandezes com o dos tailandeses, poloneses, brasileiros, peruanos e americanos que se dispuseram a participar do fechamento?

A grande maioria dessas pessoas nunca se viu, nunca conversou. O nível de conhecimento e de experiência varia enormemente, assim como o domínio do inglês, único dialeto comum entre todos. São editores-chefes misturados com repórteres, fotógrafos, designers, alunos do segundo grau e curiosos bem-intencionados. Seria um encontro no mínimo interessante de se acompanhar.

Este fechamento vai acontecer amanhã, dia 14, e pode se estender para o fim de semana. Mas não é com jornalistas, e não é para finalizar uma edição de uma revista.

É um negócio que programadores chamam de “sprint de desenvolvimento”, onde voluntários se juntam por uns dias para trabalhar em algum projeto de código aberto. Nesse esforço de fechamento, o objetivo é resolver bugs, implementar novas funcionalidades e atualizar a documentação, entre outras tarefas. Normalmente todos se reúnem em algum lugar fixo, como um castelo na Áustria, mas pelo jeito também pode acontecer à distância. Caso o esforço renda bastante, pode até virar uma nova versão, a tal “edição da revista” da minha analogia jornalística.

E o projeto no qual o pessoal vai trabalhar é o Django, software feito na linguagem Python que já venho falando bem faz um tempo. Me meti a participar, mesmo sendo novato no uso do projeto e na linguagem. E pelo que vi, até para quem não sabe nada de programação, trabalho não vai faltar. Muitos tutoriais precisam ser traduzidos e muita documentação também precisa ser adaptada para a versão brasileira.

Como nunca participei de um esforço colaborativo desse tamanho também quero ver como o pessoal vai se organizar e se entender

Ficou curioso? Tem mais informações na página convocatória pro sprint e no grupo dos desenvolvedores brasileiros de Django.

Posted in django, jornalista-programador ~ Um comentário

Fato aleatório A) Nesta quinta-feira (30/8) vou a Joinville participar da pyConBrasil, uma conferência de usuários da linguagem de programação python. Vou para aprender mais sobre Django, um framework escrito em python que serve para criar sites.

Informação perdida B) Como diz ali na coluna do lado, sou um jornalista.

Juntar A + B faz sentido? Porque um jornalista deveria aprender a programar? E porque deve se meter com python e Django ou com qualquer outra linguagem?

Quem me conhece sabe que defendo e pratico essa integração entre jornalista e programador já faz tempo. Já me dei mal por causa disso. Fui rejeitado numa entrevista de emprego em um site de uma grande editora porque queria me meter onde não era chamado. Para eles não existia meio-termo, ou você era repórter ou desenvolvedor.

Hoje, finalmente muitos editores, donos de jornais e acadêmicos estão percebendo como é importante ter gente com esse perfil “fuçador” em suas equipes. No Brasil, me parece que poucos tratam do assunto (mandem links nos comentários se souberem de alguém).

Não vou dizer que “eu já sabia” que ia ser assim. Na verdade, desde antes de ser jornalista fui me aprofundando nas áreas que mais gosto de trabalhar, apostando que um dia esse conhecimento seria útil. Fiz sites com ASP e PHP, Actionscript, Javascript, aprendi orientação a objetos, arquitetura Model View Controller, brinquei com Ruby on Rails e Python no meu tempo livre. Descobri a importância do código aberto e me converti ao Linux. A empreitada com Django é apenas mais um passo nessa integração entre áreas de conhecimento.

Por que Django?

Porque é um framework criado por um jornalista. E programador. O nome dele é Adrian Holovaty (criador do chicagocrime.org e ex-editor de projetos especiais do washingtonpost.com). Ele é o funcionário que todos os jornais gostariam de ter, mas está ocupado aproveitando sua bolsa de 1 milhão de dólares para desenvolver o EveryBlock, um sistema de notícias hiper-locais. Em Django, claro.

Essa visão de quem transita pelas duas áreas, que caras como Holovaty têm, é a visão que eu me esforço pra aprimorar. É o que tentei fazer no meu mestrado ao falar das APIs e web services à serviço do jornalismo. Por isso queria lembrar aos editores que porventura passem por aqui, que se um dia precisarem de um jornalista-programador na equipe para projetos especiais como estes, podem entrar em contato comigo (se um blog não servir pra se auto-promover, vai servir pra quê?).

Depois conto como foi lá em Joinville com o pessoal do python. E também retomo o assunto. Ainda tem muito pano pra manga…

Posted in Jornalismo, jornalista-programador ~ Um comentário