Esta é uma pergunta que leva muitos aspiras a perderem noites de sono e, às vezes, a sanidade. Coletar dados não é barato: custa tempo, dinheiro e energia. O problema é que, se você coletar dados de menos, poderá não responder sua pergunta de trabalho. Mas se coletar dados demais, desperdiçará valiosos recursos e isso poderá ter um custo até mesmo na esfera pessoal. Neste post abordo essa questão, a fim de ajudar aspiras a planejarem melhor seus projetos de pesquisa.
Uma pesquisa científica não precisa necessariamente de uma montanha de dados para ser relevante ou interessante. Dados em profusão não salvam um projeto mal planejado. Quem dá valor a uma pesquisa são o contexto e a pergunta de trabalho. Além disso, como já explicado em outro guia, não é preciso ser um gênio para fazer a ciência avançar. Um projeto de pesquisa bem-sucedido é resultado de uma mistura de talento, treinamento, tenacidade e planejamento.
Supondo que você já tenha os três primeiros ingredientes em porções adequadas, é hora de cuidar do delineamento experimental. Você precisa pensar bem sobre que pergunta quer responder, que hipóteses vai derivar dela e como vai operacionalizar essas hipóteses através de previsões testáveis. Tendo resolvido essa parte, chega a hora de lidar com a grande pergunta: quantos dados serão necessários para testar cada uma das previsões propostas? Ou seja, qual seria o tamanho amostral mínimo necessário? A resposta depende de cinco fatores: pergunta de trabalho, variáveis operacionais, teste estatístico escolhido, poder estatístico e tamanho do efeito. Vamos ponto por ponto.
A primeira coisa a considerar é que a forma como você define seu problema de interesse determina o número de unidades amostrais necessário. Mas o que é uma unidade amostral? Ela é o dado básico avaliado em uma pesquisa: pode ser, por exemplo, um indivíduo de uma dada espécie, um grupo de indivíduos, um órgão, um ponto de coleta, um mês, um ano, ou um elemento de uma paisagem, dentre infinitas possibilidades. Tudo depende do fenômeno que você estiver estudando e de como você formular suas perguntas, hipóteses e previsões.
Para dar um exemplo mais concreto, vamos supor que a pergunta da sua tese seja: fatores extrínsecos ao organismo influenciam sua condição corporal? A condição corporal está relacionada ao vigor de um organismo, ou seja, ao seu bem-estar. Por sua vez, fatores extrínsecos são aqueles que não têm a ver com características particulares do organismo em questão, como sua genética, histórico de vida, sexo ou idade.
Suponhamos que a hipótese que você quer testar seja: morcegos frugívoros de uma dada espécie, que sabidamente têm preferência por um determinada família de plantas, atingem uma melhor condição corporal, quando frutos dessa família preferida compõe a maior parte da dieta. Observe que essa é uma pergunta complexa e que a hipótese poderia ser formulada de várias outras maneiras. Mas vamos nos ater a esse exemplo simples, para fins didáticos.
Considerando a forma como a pergunta de trabalho e a hipótese foram definidas, a unidade amostral neste caso hipotético seria cada morcego individual analisado (um espécime ou indivíduo). Logo, você precisaria medir as variáveis de interesse em diferentes indivíduos, a fim de poder responder a pergunta central do seu estudo. Mas quantos indivíduos seriam necessários?
Neste ponto, para avançar no planejamento, seria preciso definir as previsões a serem testadas diretamente. Partindo da hipótese levantada, seria necessário medir a condição corporal dos morcegos de alguma forma, usando uma variável operacional. Ela poderia ser definida, por exemplo, como o resíduo estatístico da relação entre o peso e o comprimento do morcego. Em outras palavras, morcegos mais pesados do que seria esperado com base em seu comprimento estariam com uma condição corporal melhor do que aqueles que pesassem menos do que o esperado. Assim, a variável resposta (Y) do seu estudo seria a medida desse resíduo para cada morcego individual. E quais seriam os fatores, também conhecidos como variáveis independentes (X)?
Os fatores de um fenômeno são as fontes de variação da variável resposta. Ou seja, neste caso, as coisas que fazem a condição corporal de um morcego variar. Como o foco desse estudo hipotético seriam fatores extrínsecos relacionados à dieta, você poderia medir como variável operacional a proporção de frutos da suposta família preferida na dieta de cada morcego individual. Isso poderia ser feito através de um experimento de cafeteria em cativeiro, no qual frutos de diferentes famílias fossem oferecidos a cada indivíduo, seguindo um protocolo adequado.
Você poderia também, por via das dúvidas, analisar uma segunda variável operacional relacionada a um fator intrínseco, para comparar seu poder explicativo com o da variável extrínseca. Por exemplo, a idade dos morcegos. A hipótese nesse caso seria que indivíduos mais velhos têm uma condição corporal pior do que os mais novos.
Desaa maneira, chegaríamos a um delineamento com um Y (condição corporal) e dois X (X1 – proporção dos frutos preferidos na dieta; X2 – idade). Neste ponto do delineamento, outra coisa fundamental a ser considerada seria a análise estatística que você usaria para testar a significância da relação entre as variáveis. Nesse caso hipotético, uma escolha natural seria a regressão linear múltipla. Tendo definido as variáveis operacionais e o teste a ser usado, o que você precisaria avaliar agora seria o poder estatístico e o tamanho do efeito.
Este passo está relacionado à chamada análise do poder estatístico (veja aqui um excelente tutorial sobre o assunto). Geralmente, quando aprendemos estatística em um curso na universidade ou em um estágio, as pessoas falam quase que exclusivamente sobre significância. A significância (α) é a probabilidade de cometer um erro do tipo I, ou seja, de rejeitar uma hipótese nula verdadeira. Traduzindo em bom português, isso acontece quando não há relação entre as variáveis, mas o teste detecta uma relação mesmo assim, ao acaso. Na Biologia, em geral aceita-se um nível de significância de 5% como fator de corte: quer dizer que é aceitável cometer erro do tipo I em, no máximo, 5% dos testes realizados. Porém, o chamado poder da análise se refere à probabilidade de não cometer um erro do tipo II. Essa é a probabilidade de deixar de rejeitar uma hipótese nula falsa. Ou seja, o erro do tipo II acontece, quando há de fato relação entre as variáveis, mas o teste não a detecta.
Logo, um teste com poder estatístico alto é um teste que não deixa de detectar relações que de fato existem. É fundamental determinar um nível de poder desejado para a análise que você vai fazer, a fim de estimar o número de amostras que será necessário para atingir esse nível. O poder estatístico mínimo necessário varia de acordo com o fenômeno estudado e o que se sabe sobre ele, sendo necessário consultar a literatura e especialistas para definir um valor preciso e realista para o seu caso. Também é possível usar os valores padrão definidos por Cohen para diferentes situações. A relação entre o poder estatístico e o número mínimo de amostras necessário é mediada por um outro fator chamado tamanho do efeito.
O tamanho do efeito é justamente o quanto a variável X (independente) influencia a variável Y (resposta). No nosso caso hipotético, pode ser que a proporção dos frutos preferidos na dieta do morcego influencie de fato sua condição corporal, porém num nível muito baixo. Se nós calculássemos uma regressão linear entre essas variáveis, poderia ser que o coeficiente angular (ß) observado fosse significativo, porém pequeno, por exemplo, indicando que a influência de X1 sobre Y é ínfima. Às vezes, detectamos uma relação entre variáveis e ficamos tão satisfeitos, que não pensamos em mais nada. Porém, não basta saber se uma relação é significativa: é preciso avaliar o quão forte ela é, para interpretar seu significado biológico.
Via de regra, quanto maior for o tamanho do efeito, menor será o número de amostras necessário para obter um alto poder estatístico na análise. Logo, se você estiver estudando uma relação que, por razões teóricas ou empíricas, você espera que seja forte, provavelmente vai precisar de poucas amostras. Porém, caso a relação esperada seja fraca, você terá que usar um número bem maior de amostras.
Uma estratégia para planejar isso com maior precisão é se basear em análises disponíveis na literatura ou realizar um estudo piloto, caso esteja investigando um fenômeno novo ou pouco estudado. Com base em dados alheios ou de um piloto é possível supor um poder mínimo desejado, considerar o tamanho do efeito já observado em casos anteriores, e, partindo dessas duas informações, calcular o tamanho amostral necessário.
Além disso, como já mencionado, é preciso levar em conta o tipo de análise que será feito. O poder estatístico e o tamanho do efeito dependem das características do teste estatístico. Quando sua análise envolve mais de uma variável independente (X), é necessário obter mais amostras, considerando-se um número mínimo de amostras por variável. Para fazer uma regressão múltipla com as duas variáveis independentes, X1 e X2, seria necessário ter mais que o dobro do número de amostras do que no caso de uma regressão simples apenas com a variável X1. Deve-se levar em conta também o modelo usado no teste, observando-se a quantidade de constantes incluídas.
Esse tipo de planejamento poupa muita dor de cabeça ao pesquisador, ajuda a economizar tempo e dinheiro, e aumenta muito as chances de sucesso e a confiabilidade de um estudo. É uma pena que isso não seja feito com maior freqüência na Ecologia, pois em outras áreas, como a Farmacologia, a análise do poder estatístico é rotina. Ela permite definir com bom grau de segurança quantas amostras serão necessárias no seu estudo, de modo a se precaver contra os erros do tipo I e II, e chegar a resultados sólidos.
Portanto, planeje bem seu estudo. Escolha com cuidado as variáveis que serão analisadas e o teste estatístico a ser empregado. Consulte a literatura e use sua própria experiência ou a do seu orientador, para estimar o tamanho o efeito que será observado. Com base nisso, estime o número necessário de amostras para obter um poder estatístico minimamente aceitável. Não, não é tão simples e dá trabalho, mas é perfeitamente factível. Como disse Thomas Edison, “o gênio é 1% inspiração e 99% transpiração”. O tempo que você investe no planejamento de um estudo vale ouro!
Resumo da ópera:
Dilema existencial: quantas unidades amostrais eu preciso obter para responder a pergunta do meu projeto?
O que você precisa saber, para resolver esse dilema:
- Qual hipótese eu derivei dessa pergunta?
- Qual é a previsão biológica a ser testada e quais parâmetros ela envolve?
- O que é uma unidade amostral, considerando essa previsão?
- Que tipo de relação as minhas variáveis têm entre si?
- Qual teste estatístico vou usar para testar a previsão?
- Qual é o tamanho do efeito da variável X sobre a Y?
- Qual seria o poder estatístico mínimo aceitável no meu caso?
Sugestões de leitura:
- Tutorial sobre poder estatístico
- Cohen 1988. Statistical power analysis for the behavioral sciences
- Nakagawa & Cuthill 2007. Effect size, confidence interval and statistical significance: a practical guide for biologists
- What’s a “small” effect, anyway, and when are they worth caring about?
- Zar 1996. Biostatistical analysis
- Poder estatístico – Wikipedia
- Tamanho do efeito – Wikipedia
- Análise de poder estatístico no Quick R
- Pacote “pwr” para R
- Scripts de R para cálculo do tamanho do efeito
- Ecologists need to do a better job of prediction – part I – the insidious evils of ANOVA
Sobrevivendo na Ciência 
12 respostas para “De quantos dados preciso no meu projeto?”