A história de hoje é sobre estatística. Parece árido para a ressaca da ceia de Natal mas, muito além dos números, o assunto é a maneira como o jornal elege melhores e piores nas mais diversas áreas, às vezes sem o necessário rigor e sempre com pouca disposição para rever seus métodos quando alguém os questiona.
Há dois domingos, a Folha publicou um ranking de universidades brasileiras, elaborado a partir dos resultados do último provão (avaliação dos alunos do ensino superior feita pelo Ministério da Educação).
É o segundo ano em que o jornal divulga essa classificação, baseada na quantidade de As obtida pela instituição. Quanto maior o percentual de conceito máximo no total de cursos examinados, melhor a posição na lista. Quando há coincidência, tomam-se os Bs para desempate.
O título principal da reportagem destacou, além da liderança mantida pela Universidade de Brasília, a piora no desempenho das escolas paulistas. De 16 avaliadas no ano passado e neste, 12 perderam posições. A USP permaneceu em 2º lugar. A Unicamp subiu de 4º para 3º. A Unesp caiu de 6º para 21º.
Na terça-feira, dia 14, um professor de estatística dessa última me procurou para contestar a metodologia utilizada na confecção do ranking. "Observando a tabela da Folha, vemos que o número de cursos avaliados em cada universidade não é igual, muito pelo contrário", escreveu.
"O peso das informações é completamente diferente. Quanto menor a quantidade de cursos, menos diluída é a média. Quanto maior, mais dispersão teremos", continuou.
"Qualquer estudante com bom grau de conhecimento sabe que esses dados precisam de uma normalização."
Em linguagem um pouco mais simples, isso quer dizer que seria necessário padronizá-los.
O objetivo dessa técnica estatística é evitar distorções quando são comparadas amostras (no caso, número de cursos) diferentes.
No único trecho inflamado de sua carta polida, o professor disse que a Folha comparou "abobrinha com melão".
Em resposta, a Redação apresentou três considerações:
a) seu método seria melhor por colocar na frente as instituições que têm, percentualmente, mais cursos entre os melhores do país, o que revelaria um padrão na qualidade de seu ensino;
b) foram excluídas as universidades que tiveram menos de seis cursos avaliados, para impedir que uma escola chegasse ao topo com apenas um A;
c) o jornal não se considera dono da verdade. A reportagem cuidou de expor as limitações do ranking, que serve apenas para dar uma idéia geral do nível das escolas.
A modéstia expressa no item "c" não corresponde ao que saiu no jornal. Não foi vendida ao leitor idéia geral de nada, e sim a classificação qualitativa das universidades do país. O enfoque não poderia ter sido mais afirmativo.
Fui ouvir o Datafolha, que não participou da elaboração do ranking, sobre os dois primeiros pontos. Os técnicos do instituto consideram que o professor tem razão quando diz que, do ponto de vista estatístico, a padronização dos dados é a melhor maneira de evitar resultados tendenciosos.
Mas acham que não é incorreto deixar de lado a técnica estatística em nome de um determinado critério, como foi feito, desde que fique bem claro o que o jornal pretende e tem condições de mostrar.
No caso, era possível dizer que se chegou às universidades com maiores percentuais de A dentre seus cursos avaliados. Sem dúvida a formulação é longa demais para títulos, mas é trabalho da Redação encontrar alternativa viável. O errado, segundo o Datafolha, é afirmar que se trata do ranking das melhores universidades.
Para tanto, defende o instituto, outros fatores deveriam ter sido considerados, como a quantidade das demais avaliações. A atenção exclusiva ao A provocou aberrações como a seguinte: a Federal de Alagoas (31º) obteve 20% de A e 20% de E (o pior conceito); ficou uma posição à frente da PUC de Minas, com 18,8% de A e nenhum E.
Quanto ao item "b" da resposta da Redação, os técnicos notam que o critério subjetivo de fixar em seis o número mínimo de cursos avaliados evita a situação-limite (um único A garantir a liderança nacional), mas não elimina a distorção.
A investigação deste caso me fez concluir que a Redação não refletiu o bastante antes de publicar o ranking.
Não consta que tenha procurado orientação do Datafolha, o que é incompreensível.
Nem mesmo para elaborar a primeira resposta ao professor foi ouvido o instituto, que teria melhores condições de avaliar o questionamento. A consulta, que eu já havia feito, só foi realizada pelos jornalistas quando avisei que trataria do assunto nesta coluna.
O repórter José Roberto de Toledo, provavelmente o profissional da Redação que mais se dedica ao tratamento jornalístico de pesquisas, chama a atenção para o crescente aproveitamento editorial de todo tipo de número.
"Há ranking para tudo, de futebol a mortalidade infantil", observa Toledo, que não esteve envolvido na reportagem sobre as universidades. "Muitos são inúteis, outros, discutíveis, e uns poucos, confiáveis. Tudo depende da confiabilidade dos dados e da metodologia adotada para transformá-los em um indicador sintético." O repórter cita como exemplo de excelência o IDH (Índice de Desenvolvimento Humano, da ONU), um trabalho tão profundo que rendeu a seu autor o prêmio Nobel de economia.
O jornalista vê necessidade de mais discussão sobre o uso de levantamentos, taxas e índices. "Se não houver reflexão e mais diálogo com sociólogos e estatísticos, para avaliar rankings dos outros e criar os nossos, corremos o risco de trocar o vazio do jornalismo declaratório pelo fetiche numerológico."
Este não foi um ano bom para rankings na Folha. O da ciência foi comprometido por uma quantidade extraordinária de omissões, causadas principalmente por captação de dados deficiente.
O problema com a classificação das universidades é de outra natureza, mas os dois casos têm uma característica em comum: rigor insuficiente em iniciativas nas quais o jornal se apresentou como árbitro da qualidade.
"Pode parecer mera discussão acadêmica, mas não é", disse o professor. "Quando uma informação é distorcida, alguém, com certeza, será severamente atingido."
Ou o jornal ainda não entendeu isso, ou entendeu e não se importa, o que é muito pior.