Em busca de uma ciência mais reprodutível

Neste novo post, uma convidada especial veio nos explicar o que é a reprodutibilidade na ciência.

Por Clarissa F. D. Carneiro

Doutoranda do Instituto de Bioquímica Médica Leopoldo de Meis, Universidade Federal do Rio de Janeiro. Lattes: http://lattes.cnpq.br/8367339458079114

Você já teve dificuldade para entender a seção dos métodos de um artigo científico? E, caso você já tenha tentado reproduzir as análises feitas em um paper que adorou, não conseguiu de jeito nenhum? Pois é, você não é a única pessoa a experimentar esses problemas.

Na verdade, a capacidade de obter os mesmos resultados ao repetirmos um experimento sob as mesmas condições é considerada uma das características fundamentais da ciência. Apesar disso, parece que antes não estávamos tão atentos a essa questão da reprodutibilidade.

Tanto não estávamos atentos, que, no início da última década, a comunidade científica recebeu com muita surpresa dados das indústrias farmacêuticas Bayer e Amgen. Esses dados apontavam falhas ao tentar reproduzir entre 65% e 89% dos experimentos provenientes da pesquisa pré-clínica publicada. Na mesma época, a psicologia também recebeu alertas a respeito da falta de reprodutibilidade de muitos estudos, dando início a importantes mudanças na área.

Em um primeiro momento, falou-se em uma “crise de reprodutibilidade” na ciência. Porém, narrativas menos alarmistas têm ocupado debates mais recentes, cujo objetivo é inspirar melhorias na prática científica. Dentre as melhorias propostas estão implementar mais práticas em ciência aberta (também conhecida como open science) e melhorar as nossas práticas estatísticas.

Para melhorarmos todas essas práticas, o primeiro passo é mapearmos a dimensão do problema. Como não sabemos muito sobre os dados da indústria, a academia começou a fazer os seus próprios levantamentos empíricos sobre taxas de reprodutibilidade. O que encontramos é que de 30% a 85% dos estudos acadêmicos podem ser reproduzidos em diferentes graus. Infelizmente, ainda não conhecemos bem as causas da falta de reprodutibilidade nos outros estudos.

Essa falta de reprodutibilidade, segundo modelos teóricos, em grande parte é explicada pelo ambiente altamente competitivo da academia. Não há recompensa para grandes investimentos na busca pela verdade, mas sim uma priorização da publicação científica como o objetivo maior. Isso causa diversas distorções no sistema, incluindo problemas de reprodutibilidade.

Para ajudar a mapear e corrigir essa distorção, a Iniciativa Brasileira de Reprodutibilidade é um dos novos projetos que visam estimar o quanto da ciência biomédica é reprodutível, com um foco na pesquisa feita no Brasil. Outro objetivo é avaliar se existem fatores relacionados à publicação científica ou à carreira dos pesquisadores que se correlacionem com os valores de reprodutibilidade encontrados.

Figura 1: a Iniciativa Brasileira de Reprodutibilidade conta atualmente com uma rede de mais de 60 laboratórios de pesquisa espalhados pelo país. Para acompanhar o andamento do projeto, acesse: http://www.reprodutibilidade.bio.br

Ainda não chegamos a um consenso sobre quais seriam as melhores práticas em reprodutibilidade. Mas temos razões suficientes para acreditar que algumas mudanças podem melhorar a qualidade da ciência enquanto empreendimento coletivo. Dentre as práticas que recomendamos estão:

  1. Pré-registro de hipóteses, para limitar em parte a flexibilidade da análise estatística;
  2. Cálculo do tamanho amostral, para garantir um poder estatístico adequado em cada experimento;
  3. Critérios de validação, para ajudar a diferenciar resultados negativos de falhas experimentais;
  4. Compartilhamento de protocolos experimentais e de análise de forma completa;
  5. Cuidado com a dicotomização na descrição dos resultados, dando preferência para a descrição dos tamanhos dos efeitos encontrados;
  6. Exposição das nossas incertezas.

Acredito que a ciência já está caminhando para um aumento de reprodutibilidade e credibilidade. Podemos acelerar essa caminhada adotando boas atitudes individuais e sistêmicas. Como disse uma uma colega pesquisadora:

“Nós precisamos parar de tentar ser incríveis e tentar ser mais críveis”

Simine Vazire

Figura 2: apresentação durante o simpósio Metascience, em 2019. Disponível em: https://www.metascience2019.org/presentations/simine-vazire/

Sugestões de leitura:

  1. Guia de boas práticas em ciência aberta e reprodutível
  2. Two years into the brazilian reproducibility initiative: Reflections on conducting a large-scale replication of brazilian biomedical science
  3. The natural selection of bad science

(Fonte da imagem de destaque)

2 respostas para “Em busca de uma ciência mais reprodutível”

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s

Este site utiliza o Akismet para reduzir spam. Saiba como seus dados em comentários são processados.