Como avaliar um projeto de pesquisa

Em um mundo lotado de cientistas competindo por verbas, quais projetos merecem ser financiados? Essa é uma pergunta vital, que não tem uma resposta simples. E, foi mal, não adianta fugir dela, pois muitas vezes somos convidados a dar uma resposta direta. Vamos conversar então sobre como fazer pareceres ad hoc de projetos.

Nem todos os cientistas tiveram a sorte de nascer em berço esplêndido, como o Darwin, rs. Portanto, a esmagadora maioria de nós, mortais, precisa pedir dinheiro aos outros para desenvolver projetos de pesquisa. Os “outros” variam desde agências governamentais de fomento à ciência até milionários filantropos. Ou seja, a grana que paga a sua bolsa, salário ou projeto pode vir desde o bolso dos contribuintes até o bolso de um artista famoso. Logo, uma boa parte do tempo de um faixa preta é gasta escrevendo propostas de projetos novos (os famosos grants – mas não confunda huge grant com Hugh Grant!) e prestando contas de projetos encerrados.

Independente de quem te dá grana para manter o seu laboratório, via de regra, quem recebe verba de um financiador acaba se comprometendo a atuar “0800” como revisor dos projetos submetidos ao mesmo. Essa costuma ser uma das contrapartidas para receber financiamento, sendo que algumas agências de fomento, como CNPq e Fapesp, deixam a obrigação explícita no termo de outorga. Portanto, depois que você receber a sua primeira verba de pesquisa, prepare-se para ingressar no maravilhoso mundo dos pareceres ad hoc (i.e., do latim: “para a ocasião”, sem vínculo duradouro).

Este texto, portanto, visa ajudar você, novato, nesse tipo de missão. Muitas das dicas dadas aqui estão diretamente relacionadas ao texto sobre revisão de artigos publicado anteriormente aqui no blog. Também baseio este texto em algumas dicas dadas no pacotão sobre projetos. Bom, façamos então o briefing da missão focando nas perguntas mais importantes que você deve responder a si mesmo e ao financiador.

Primeiro passo

Para início de conversa, tenha em mente que a decisão final de financiar ou não o projeto submetido não cabe a você. É a mesma lógica da revisão por pares em revistas: você é convidado apenas a dar a sua opinião técnica. É como se você fosse um perito em um julgamento criminal: quem define o veredito é o juri e quem dá a sentença é o juiz. No caso dos pareceres, o papel de juri cabe ao board do financiador e o papel de juiz cabe ao departamento financeiro ou ao dono da grana.

A decisão geralmente é tomada em três etapas: (1ª) triagem das propostas, separando as “com noção” (rotuladas como classificadas) das “sem noção” (desclassificadas); (2ª) ranqueamento das propostas “com noção”; e (3ª) definição de quais das propostas “com noção” serão contempladas (classificadas e aprovadas), de acordo com a verba total disponível, seguindo a ordem do ranking. A qualidade dessas decisões depende muito da precisão dos pareceres. Logo, seja eficiente como um sniper.

Antes de começar a ler a proposta, leia com atenção o manual de instruções dado aos assessores ad hoc. A grande maioria dos financiadores tem um documento desse tipo, ou pelo menos te passa algumas instruções no e-mail de confirmação. Caso não receba diretamente essas instruções, visite o site do financiador e cate as informações necessárias. Em um manual desse tipo, quando disponível, você encontra informações sobre a visão, a missão e os valores do financiador, assim como sobre o escopo dos projetos que ele financia e quais pontos ele julga mais importantes serem abordados na avaliação. De qualquer forma, alguns pontos são importantes para todos os financiadores em todos os tipos de projetos. Vamos tratar deles nas próximas seções.

Que tipo de verba está sendo pedida?

Verba é um conceito amplo, que pode se referir a auxílios, bolsas ou empregos, com subdivisões dentro dessas categorias maiores. Essa é a primeira informação à qual você tem que prestar atenção. Por exemplo, a competição por empregos é muito mais séria do que a competição por bolsas, pois, muitas vezes, a primeira envolve outorgar a um cientista um cargo público vitalício, enquanto a segunda envolve apenas dar remuneração temporária para um aluno se manter em um curso ou projeto. Considerando as divisões menores dessas categorias, uma verba de auxílio pode ser destinada a adquirir material permanente ou pagar por serviços, por exemplo.

O projeto está dentro do escopo do financiador?

Preste atenção também à adequação do escopo do projeto ao escopo do financiador. Não adianta, por exemplo, um projeto de ciência básica ser submetido a um financiador privado que foca apenas em ciência aplicada ou de desenvolvimento. Um exemplo de tiro no pé mais específico, na área da Ecologia, é submeter projetos básicos de História Natural a ONGs ou OIs que financiam Conservação ou Ecopolítica.

Tampouco faz sentido um projeto milionário ser submetido a um financiador que dá apenas trocados para o busão. Em alguns casos especiais, projetos mais caros (porém não muito!) e ousados tentam costurar um mosaico de financiamentos pequenos de diferentes fontes. Se o projeto que você está avaliando for um desses, veja qual contrapartida o proponente já tem e qual é o potencial de ele conseguir financiamento suficiente.

Quem está pedindo a verba?

Você tem que levar em conta qual é o nível acadêmico ao qual a verba está sendo destinada. Ou seja, é um projeto de aspira ou faixa preta? É um projeto de novato ou silverback? É um projeto individual ou coletivo (guarda-chuva)? De projetos de diferentes níveis se espera diferentes coisas.

Fora o nível do projeto, é preciso considerar também a qualidade individual do proponente em relação a colegas da mesma geração e área temática. Se não há grana para todos, que fique claro quem são os melhores e, portanto, têm uma maior probabilidade de desenvolver projetos interessantes e chegar à conclusão dos mesmos, gerando produtos importantes para a academia e a sociedade.

Hoje, há várias formas de avaliar a qualidade de um cientista. Recomenda-se usar uma combinação de critérios qualitativos e quantitativos nas comparações entre indivíduos. Não dá para confiar cegamente em uma única métrica milagrosa. Especialmente se for uma métrica desenhada para revistas, e não indivíduos, como o fator de impacto. Como indicador quantitativo da qualidade de um cientista, você pode, por exemplo, ver de quantos dos artigos listados no currículo ele é primeiro autor. Alguém que sempre é “um dos autores lá do meio” talvez seja um oportunista sem personalidade.

Um bom indicador qualitativo do gabarito de um cientista é o quanto ele influencia as ideias e trabalhos dos colegas em uma determinada área. Esse tipo de informação você só tem, se trabalhar na mesma área. Por isso, aceite avaliar apenas projetos dentro da sua zona de conforto.

Quem está endossando o pedido?

Todo pedido de verba sempre empresta um pouco de ethos (i.e., reputação) de outras pessoas além do proponente. Em alguns casos, o selo de qualidade é dado explicitamente pelos colegas que escreveram as cartas de recomendação. Em outros casos, quem testemunha implicitamente sobre a qualidade do proponente ou do projeto são os colaboradores que aceitaram ser listados na equipe.

“Bem-aventurado o homem que não anda segundo o conselho dos ímpios, nem se detém no caminho dos pecadores, nem se assenta na roda dos escarnecedores” – Sl 1:1

A equipe executora está capacitada para o projeto?

Um ponto muito importante a ser julgado é a capacitação da equipe para desenvolver as atividades propostas. Por exemplo, como confiar no potencial de um projeto sobre ecologia química, se a equipe congrega apenas ecólogos, mas nenhum químico? Em projetos que se propõe a fazer modelagem matemática, por exemplo, ao menos um membro da equipe deve ter perícia em programação. Outro exemplo: projetos baseados em coleta de dados em campo devem contar com a ajuda de ao menos um especialista no táxon focal.

A ideia geral faz sentido?

Depois de avaliar a adequação do escopo e dos membros da equipe do projeto, é hora de focar no conteúdo cientifico do mesmo. O primeiro ponto a ser posto em xeque é o sentido geral da proposta. A ideia proposta faz mesmo sentido ou parece maluquice ou cliché? Por incrível que pareça, muita gente tem a cara de pau de submeter projetos sem pé nem cabeça para financiadores. Em alguns casos, a ideia até faz sentido, mas como o proponente está completamente desatualizado e não fez o dever de casa, está querendo resolver um problema que já foi solucionado mais ou menos 419 anos atrás. É preciso varrer o lixo para fora sistematicamente, sem perder muito tempo com ele.

O objetivo do projeto é original e bem contextualizado?

Se a ideia geral do projeto fizer sentido, o próximo item a ser avaliado é a originalidade. Por exemplo, não há porque financiar com dinheiro público projetos que chovem no molhado, fazendo ciência ultrapassada e irrelevante. Todo projeto de pesquisa, seja básico ou aplicado, hipotético-dedutivo ou descritivo, deve ser bem contextualizado e propor avanços, novidades.

E um bom projeto deve ter apenas um único objetivo central. Esqueça essa história maluca de “objetivos gerais vs. objetivos específicos”, pois isso geralmente é um sinal de confusão mental ou má formação do proponente. Via de regra, os tais objetivos específicos são métodos disfarçados de objetivos.

A estrutura lógica é válida e convincente?

Todo projeto, no fundo, é um longo argumento. Assim, é preciso avaliar com muita atenção a estrutura do argumento lógico apresentado. Quando o projeto é hipotético-dedutivo, essa estrutura envolve principalmente as premissas que levaram à construção da hipótese de trabalho. No caso de projetos descritivos, o argumento costuma estar focado na justificativa. Avalie, por exemplo, se foi usada uma lógica dedutiva, abdutiva ou indutiva, as principais ferramentas de pensamento dos cientistas contemporâneos.

A justificativa do projeto é convincente?

Além de o projeto precisar ser bem contextualizado dentro de alguma grande quebra-cabeças científico atual, é preciso que o proponente deixe bem claro porque é importante ajudar a montar a parte específica escolhida. Isso porque, se o contexto do projeto for mesmo relevante e não trivial,  fatalmente será impossível resolver o quebra-cabeças inteiro em um único projeto. O proponente deve ter plena consciência, portanto, de que estará contribuindo para a solução de apenas uma parte do problema maior, se o processo for bem-sucedido. Logo, a pergunta que você, ao ler o projeto, deve procurar responder como revisor é “por que resolver essa parte primeiro e não outra?”.

Os resultados esperados evidenciam que pode ser entregue um produto relevante?

Se o projeto foi bem planejado, o proponente deve explicar claramente que produtos irá entregar ao final. Produto aqui tem um sentido amplo, englobando deste descobertas cientificas e alterações em teorias vigentes, até recomendações práticas e ações concretas. E produto também se refere a coisas mais palpáveis, como artigos, livros, patentes, eventos e processos.

Por exemplo, se a base lógica do projeto foi construída usando inferência forte, com múltiplas hipóteses concorrentes, qual hipótese o proponente espera que seja corroborada? Se o projeto se baseia apenas em uma única hipótese central, quais previsões devem ser confirmadas? Dependendo de quais hipóteses ou previsões forem positivadas, no que isso implicará para o tema de estudo? Além disso, tanto em projetos hipotético-dedutivos quanto descritivos, o que o proponente espera mudar na forma como as pessoas vêem o mundo, depois que tiver em mãos os resultados? Por exemplo, no caso de Ecologia Aplicada, qual problema ambiental será resolvido pelo projeto?

Também é preciso considerar os produtos palpáveis do projeto. Todo projeto básico deve entregar ao final ao menos um artigo científico publicado em uma revista revisada pelos pares, indexada nas melhores bases bibliográficas e com circulação internacional. Hoje, espera-se também que projetos básicos financiados com dinheiro público depositem os dados brutos em repositórios online de acesso amplo e gratuito, como DryadKNB ou Ecological Archives. Isso visa acabar com o velho problema dos dados engavetados e subutilizados, em cima dos quais um “dono” senta, com a desculpa de que uma hora ainda vai publicar algo a respeito. Outra forma de compartilhar os dados brutos é escrever um data paper, além dos papers científicos do projeto.

Uma coisa que pega muito bem para o proponente é ser tão bom no planejamento a ponto de comentar concretamente na proposta para quais revistas deve submeter os papers do projeto e em quais eventos deve apresentar suas descobertas. Isso mostra que o proponente realmente fez o dever de casa. No que se refere às revistas, é impossível ter 100% de certeza de onde os papers acabarão sendo publicados, porque as taxas de rejeição andam altíssimas hoje em dia. Contudo, é possível e recomendável ter alvos concretos, pelo menos em termos de estratos.

Se for um projeto de ciência aplicada, geralmente espera-se que, em caso de sucesso, o produto gerado seja uma patente. Já um projeto de ciência de desenvolvimento tem a expectativa de gerar algum produto ou processo concretos e prontos para o mercado. Por outro lado, um projeto de extensão pode ter como produto final, por exemplo, um evento organizado em uma comunidade, um vídeo ou uma apresentação em uma audiência pública.

Os métodos escolhidos são adequados para responder a pergunta de trabalho?

Os métodos ligam o objetivo aos resultados, permitindo cumprir a missão principal da ciência: comparar expectativa com realidade e tecer uma interpretação sobre a diferença entre elas. Logo, é preciso que esteja bem explicado no projeto como serão obtidos os dados necessários, como esses dados serão armazenados e analisados, e como cada análise ajudará a testar cada uma das previsões derivadas da hipótese. Assim, é importante também que esteja claramente definido nessa seção o que representa uma unidade amostral no projeto. Também é preciso haver uma estimativa bem feita de quantas unidades amostrais serão necessárias para tornar os resultados confiáveis em termos de erros dos tipos I e II. Por fim, os métodos do projeto devem estar organizados de acordo com as atividades que serão desenvolvidas.

O cronograma é realista?

Não, o cronograma não é uma mera formalidade burocrática. Ele mostra muito sobre a capacidade de planejamento do proponente e as chances de sucesso do projeto. As atividades explicadas nos métodos devem sempre ser realizadas em uma sequência lógica, com cada uma alimentando a próxima. No final, todas devem culminar com a interpretação dos resultados, publicação das descobertas, apresentação em eventos e implementação dos produtos. Assim, o proponente deve demonstrar claramente que sabe quanto tempo cada atividade provavelmente levará para ser concluída e como deve ser a timeline do projeto.

No caso de projetos de faixas pretas, veja, por exemplo, se o proponente tem noção de quanto tempo demora para um artigo ser publicado. Isso, considerando coleta de dados, análise de dados, redação, submissão, rejeição pelas primeiras revistas, e aceitação final em alguma revista. É estranho, por exemplo, prometer um mundo de papers como fruto de um projeto de dois anos, que ainda por cima inclui trabalho de campo.

O orçamento é realista?

Além de saber quanto tempo cada atividade deve demorar, o proponente deve saber quanto cada uma custará em termos de materiais permanentes, materiais de consumo, serviços e recursos humanos. É comum algumas atividades custarem muito mais do que outras; isso depende do tipo de projeto. Em alguns casos, os materiais permanentes representam o grosso do orçamento; em outros casos, são os serviços que comem a grana. Veja se as proporções orçamentárias condizem com a sintonia entre objetivo, métodos e resultados esperados. Confira também se o orçamento não está, no geral, superfaturado ou sub-faturado.

Um bom orçamento de projeto empírico deve explicar também quanto custará coletar cada unidade amostral. Com base no preço da cada unidade amostral é possível calcular o preço total do esforço de campo ou de bancada do projeto. Por exemplo, um projeto sobre fenologia de plantas (investigando a sazonalidade na produção de flores e frutos em uma espécie de árvore) geralmente envolve idas quinzenais ou mensais ao campo para amostragem de dados. Assim, provavelmente, cada quinzena ou mês representará uma unidade amostral nas análises posteriores. Isso faz com que o custo total de campo de um projeto desse tipo seja igual à soma dos custos parciais das expedições mensais. Já um projeto experimental, feito em laboratório, por exemplo, pode ter como unidade amostral cada indivíduo de uma espécie de animal que passa pelas rodadas experimentais.

Passo a passo

Para concluir, aqui vai uma lista dos passos cruciais para avaliar um projeto de pesquisa:

  1. Leia as instruções para os revisores preparadas pelo financiador;
  2. Dê uma primeira lida geral na proposta, sem avaliar os detalhes;
  3. Avalie a adequação entre o escopo do projeto e o escopo do financiador;
  4. Avalie se o proponente e a equipe estão habilitados a conduzir bem o projeto;
  5. Avalie se a ideia geral faz sentido, se o objetivo está claro, se o argumento central é sólido e se a justificativa é convincente;
  6. Avalie se os resultados esperados valem a pena para o financiador, a academia e a sociedade, e se os métodos ajudarão de fato a chegar a eles;
  7. Avalie a exequibilidade do cronograma e o realismo do orçamento.

Conselho final

“Não atormentes o próximo com aquilo que te aflige” − Udānavarga 5:18

Como vovó já dizia, trate os outros como gostaria de ser tratado. Por um lado, seja rigoroso na avaliação de projetos, tanto para melhorar a qualidade da ciência, quanto para evitar desperdício de dinheiro público ou privado. Por outro lado, seja positivo e, sempre que possível, faça sugestões que ajudem a melhorar escopo, contexto, justificativa ou resultados esperados, especialmente no caso de projetos de aspiras.

Para saber mais

sniper

Fonte da imagem.

Anúncios

5 Replies to “Como avaliar um projeto de pesquisa”

  1. Olá, Marco!

    Participei da elaboração de uma proposta que entregamos em março desse ano.
    Nossa, quanto trabalho!
    As propostas acabam ficando extensas, dentro do limite de páginas, então imagino que avaliar várias delas realmente seja um trabalho bem complicado.

    Obrigado pelas dicas!

    Um abraço,
    Lucas Palhão

    1. Oi Lucas, sim, escrever grants dá muito trabalho mesmo. Avaliar também é penoso. Por isso mesmo a Fapemig resolveu mudar o formato das propostas da Chamada Universal uns anos atrás. Agora ficaram muito mais enxutas. Aqui na Ecologia da UFMG, acabamos de concluir uma seleção de postdocs PNPD usando o modelo de proposta da Fapemig. Veja aqui como é esse modelo enxuto, direto ao ponto.

      1. Puxa, limitações em número de caracteres e não páginas!
        Muito legal.
        Sem espaço para “encheção de linguiça”.

        Apenas a Fapemig usa por enquanto?

        1. Até onde eu sei, no Brasil, apenas a Fapemig está com esse formato mais moderno. Mas há agências estrangeiras que também usam formatos fora da caixinha. A NSF dos EUA, por exemplo, usa algo que chama de “pre-proposal” mais ou menos ao estilo da Fapemig. Se o board gosta da pre-proposal, convida o proponente a enviar a proposta completa.

Deixe um comentário

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s