Folha de S. Paulo


Mudar metodologia pode tornar crível quase qualquer tese, afirma 'Nature'

David W Cerny - 7.jun.2013/Reuters
O jogador italiano Mario Balotelli recebe cartão vermelho durante jogo contra a República Tcheca
O jogador italiano Mario Balotelli recebe cartão vermelho durante jogo contra a República Tcheca

Jogadores de futebol negros são bem mais propensos a levar cartão vermelho durante os jogos, afirma um estudo publicado na revista científica "Nature".

Jogadores negros levam tantos cartões vermelhos quanto os jogadores brancos, aponta uma nova pesquisa na revista "Nature".

A contradição é proposital: os pesquisadores Raphael Silberzahn, da Iese Business School (Barcelona) e Eric Uhlmann, da escola de negócios Insead, de Singapura, desejavam mostrar que, dependendo da metodologia escolhida, é possível demonstrar quase qualquer tese.

"A maioria dos pesquisadores consideraria isso perturbador", escrevem os autores.

"Isso significa que tomar qualquer análise individual a sério demais pode ser um erro, ainda que isso seja encorajado pelo nosso sistema de publicação científica e pela cobertura da mídia."

Eles convidaram 29 grupos diferentes de pesquisadores de vários lugares do mundo para responder a questão, a partir de um banco de dados.

Em um extremo, um grupo respondeu que os negros tinham uma chance mais de 200% maior de tomar cartão. No outro, na verdade eram os brancos os que sofriam mais.

As diferenças ocorrem porque, livres para optar pela metodologia que quisessem, os desenhos das pesquisas variaram amplamente.

Editoria de Arte/Folhapress

Qual recorte é feito? Será considerado o número de cartões como um todo ou o objetivo é avaliar as tendências de cada juiz individualmente? Se alguns juízes apitaram mais jogos que os outros, devem os pesquisadores tentar compensar essa distorção?

Casos individuais extremos –jogadores que levam muito mais cartões que os outros, por exemplo– são excluídos para que não "contaminem" os dados? Dois cartões amarelos entram na conta ou só os puramente vermelhos? E jogadores mestiços?

Em um aspecto mais técnico, qual método estatístico –há vários– é utilizado para estabelecer correlações?

E olhe que cartões vermelhos e cor da pele são coisas fáceis de se medir e tabular. Imagine o que acontece quando os estudos envolvem comportamentos subjetivos de voluntários, como no caso da psicologia, ou inferências sobre causa e consequência na economia. Com a metodologia "certa", prova-se qualquer coisa.

FALSO POSITIVO

Mais do que isso, toda pesquisa está sujeita a algum grau de falsos positivos ou falsos negativos.

Quando alguém fala em margem de erro, está dizendo que, na maior parte das vezes, uma nova pesquisa sobre o mesmo tema também encontraria resultados dentro daquela faixa -mas, atenção, não que todas as pesquisas o fariam.

Em geral, espera-se que até 5% das pesquisas fujam do esperado. Mas as pesquisas não chegam com uma etiqueta dizendo "eu sou o 5% de resultados bizarros".

Vários estudos têm demonstrados que, quanto mais surpreendente o resultado de um estudo, maior a chance de ele ser um falso positivo ou negativo. É até meio óbvio: são casos de "é bom demais para ser verdade".

O problema é que a imprensa e os próprios pesquisadores gostam de resultados inesperados. Um artigo científico que diz que, como sempre se imaginou, A não tem nenhuma relação com B, não será publicado em lugar algum.

Para piorar a coisa, os autores lembram que "na vida real" há ainda mais um motivo para desconfiar de estudos científicos isolados.

No caso da pesquisa com cartões, os pesquisadores sabiam que seus trabalhos seriam confrontados com os dos outros, com transparência sobre as metodologias.

Mas e quanto aos estudos feitos em laboratórios fechados, por pesquisadores sedentos por algum reconhecimento ou ascensão profissional?

Mesmo ignorando a fraude proposital, que tipo de "forcinha" metodológica involuntária um cientista pode fazer quando ninguém está olhando? E se após quatro anos de doutorado você começasse a sentir que sua hipótese de trabalho simplesmente não diz nada?

Por fim, mesmo dados confiáveis são só dados. No caso dos cartões vermelhos, por exemplo, mesmo que fosse possível cravar que negros recebem mais cartões, tudo que se poderia fazer para explicar o fenômeno seria levantar hipóteses. Racismo? Diferenças de atitude dos jogadores?

Como testar isso? Estabelecer um comitê para avaliar se cada falta realmente valia cartão? Mas se coisas concretas como a contagem de cartões já criam viés, imagine as opiniões de um grupo de pessoas sobre o "merecimento" desses cartões...


Endereço da página: