Alguns anos atrás, cientistas da empresa de biotecnologia Amgen tentaram reproduzir 53 estudos sobre novas abordagens ao tratamento de cânceres. Eles conseguiram replicar apenas 11% dos resultados das pesquisas originais.
A ciência tem um problema de reprodutibilidade –e as consequências disso são amplas. Esses 53 estudos saíram em revistas científicas destacadas, e os 21 que foram publicados nas revistas de impacto mais alto foram citados em média 231 vezes cada em trabalhos subsequentes.
Em 2011, a Bayer realizou um trabalho semelhante de réplica. Dos 67 projetos feitos para reproduzir experimentos, apenas 25% tiveram resultados que coincidiram com as conclusões originais.
Muitas empresas farmacêuticas realizam esse tipo de confirmação regularmente. Levando em conta que seu investimento de bilhões de dólares em pesquisas depende diretamente do sucesso dos projetos, a preocupação parece justificada.
Em 2015, pesquisadores apresentaram os resultados da reprodução de cem experimentos publicados em 2008 em três periódicos eminentes de psicologia. Estes corresponderam às conclusões originais apenas entre um terço e metade dos casos, dependendo dos critérios usados para definir o que é "semelhante".
Essa crise tem diversos motivos. Os próprios cientistas são parcialmente culpados. Realizar pesquisas é difícil, e elas raramente são perfeitas. Um conhecimento melhor da metodologia empregada e de suas falhas talvez rendesse trabalhos mais reproduzíveis.
O ambiente da pesquisa e seus incentivos agravam o problema. Acadêmicos são recompensados profissionalmente quanto publicam em periódicos importantes, os quais têm probabilidade maior de aceitar trabalhos novos e instigantes. Ou seja, existe um incentivo, que mal chega a ser escondido, para se alcançar resultados novos e instigantes em experimentos.
Alguns cientistas podem sentir a tentação de garantir "resultados novos e instigantes". Isso é fraude. Evidentemente, resultados fabricados não poderão ser replicados depois. Mas fraudes são raras. O que acontece com mais frequência é algo bem mais sutil. Cientistas são motivados a conduzir os experimentos de modo a aumentar as chances de obter resultados positivos.
Às vezes medem muitos resultados e relatam só os maiores. Às vezes modificam coisas apenas o suficiente para fazer uma medida crucial de probabilidade chegar a um valor que os permita alegar que o resultado foi significativo.
O modo como pesquisas são apresentadas na imprensa também pode ser um problema. Neste ano, um estudo analisou como jornais divulgaram pesquisas que associaram um fator de risco a uma doença. No caso dos estudos iniciais, os jornais não publicaram nenhum resultado nulo, ou seja, estudos que não tiveram os resultados esperados.
Menos de metade das descobertas "significativas" divulgadas pelos jornais foram confirmadas posteriormente. Mais preocupante: enquanto 234 reportagens trataram de estudos mais tarde considerados questionáveis, apenas quatro levaram o assunto adiante e cobriram as refutações.
Em muitos casos as refutações são publicadas em periódicos de menor impacto, de modo que é possível que os jornalistas tivessem menos chances de ter conhecimento deles.
A boa notícia é que a comunidade científica parece cada vez mais buscar soluções. Há dois anos os Institutos Nacionais de Saúde dos EUA começaram a financiar a criação de módulos educacionais para treinar cientistas a fazer mais pesquisas reprodutíveis.
Uma dessas dotações permitiu a um show do YouTube, "Healthcare Triage", criar vídeos para explicar como podemos melhorar o design experimental e a análise e reportagem de pesquisas.
A organização Center for Open Science, incentiva a abertura, integridade e reprodutibilidade das pesquisas. Ela defende o registro prévio de estudos, para que os métodos de pesquisa sejam mais transparentes e as análises livres de viés ou modificações.
Mas, para que haja êxito verdadeiro, será preciso uma mudança cultural da ciência.
Enquanto o ambiente acadêmico incentivar cientistas a trabalhar isolados e manter seus dados ocultos, a transparência será impossível.
Enquanto o público exigir um fluxo constante de resultados significativos, os pesquisadores vão, conscientemente ou não, pressionar seus experimentos a produzir esses resultados –válidos ou não.
Enquanto a mídia continuar a fazer fanfarra em torno de novas descobertas, em vez de abordá-las com o ceticismo apropriado, todos serão impelido na direção de resultados que não são reprodutíveis.
Conflitos de interesses financeiros são identificados, há anos, como um dos fatores que enviesam pesquisas de forma inapropriada. Mas existem outros tipos de conflitos de interesses, com poder igual ou até maior de influenciar o trabalho de cientistas. Estamos avançando para fazer a ciência ser melhor, mas ainda temos um longo caminho a percorrer.
Tradução de CLARA ALLAIN
-
PUBLICAÇÃO DUVIDOSA
Só uma fração das tentativas de reproduzir estudos já publicados dão certo
2012
A empresa de biotecnologia Amgem tentou reproduzir 53 estudos sobre tratamento de cânceres publicados em revistas científicas destacadas
Resultado: Conseguiu replicar apenas 11% dos resultados originais
2011
O departamento farmacêutico da Bayer conduziu um experimento semelhante de réplica
Resultado: Dos 67 estudos (47 ligados à área de câncer) que a empresa tentou reproduzir, apenas cerca de 25% tiveram resultados que coincidiram com as conclusões originais
2015
Um grupo de pesquisadores apresentou sua tentativa de reproduzir cem experimentos publicados em 2008 em três importantes periódicos da área de psicologia
Resultado: Os resultados obtidos corresponderam aos dos estudos originais entre um terço e metade dos casos, dependendo dos critérios usados para definir "semelhante"
-
OS CULPADOS
Ambiente desfavorece conduta ideal
CIENTISTAS
> Nem sempre conhecem bem a metodologia empregada em seus estudos, bem como suas falhas e limitações
> Tendem a publicar mais resultados positivos que negativos
> Às vezes , apesar de observarem valores discrepantes (potencialmente incorretos), só relatam os que confirmam suas hipóteses, aumentando a chance de publicação
AMBIENTE ACADÊMICO
> Cientistas são recompensados profissionalmente por publicar artigos em revistas científicas importantes, as quais têm maior probabilidade de aceitar estudos com resultados instigantes
> Há um incentivo indireto para os pesquisadores forcem" seus dados a atingirem resultados novos e instigantes ""mesmo que eles não sejam
MÍDIA
> Jornais raramente publicam reportagens sobre estudos que "não deram certo". Menos da metade das descobertas "significativas" publicadas por jornais americanos foram confirmadas posteriormente por outros estudos