Fator de impacto: o fetiche do cientista 21/05/13 - 15:56 POR RAFAEL GARCIA
Capas de algumas das revistas científicas indexadas com maior fator de impacto (Imagem: reprodução) POUCA COISA NO MUNDO é mais imprecisa do que a cientometria, a ciência que usa números para medir a qualidade da ciência. Essa disciplina tem seu mérito e sua utilidade, mas é vítima de uma ironia da condição humana: estudos científicos são trabalhos que buscam construir conhecimento com a maior objetividade possível, mas só podem ser avaliados com justiça quando alguém tem paciência para analisá-los um por um, subjetivamente, sem apelar demais para os números da cientometria. Apesar de essa afirmação soar paradoxal, a maioria dos cientistas tende a concordar com ela. Os abusos cometidos contra esse princípio, porém, são tão comuns que motivaram agora uma campanha ética na comunidade acadêmica. Um grupo de pesquisadores está querendo acabar com o uso indiscriminado do chamado fator de impacto, o índice cientométrico considerado por muitos a medida da qualidade de uma revista científica. Num manifesto batizado de DORA (Declaração sobre Avaliação de Pesquisas, acrônimo em inglês), lançado em San Francisco, um grupo de cientistas pede que o fator de impacto das revistas em que estudos são publicados deixe de ser usado em decisões importantes. O documento pede que esse índice seja ignorado em decisões sobre contratação, premiação, promoção e financiamento de cientistas. Para entender o problema em torno do fator de impacto, é preciso conhecer um pouco melhor a dinâmica das referências que cientistas fazem uns aos outros em trabalhos científicos. A base da cientometria está na análise das redes de citações —as menções que um estudo faz a outros estudos. Trabalhos mais importantes tendem a ser mais citados que trabalhos irrelevantes, e toda a lógica da cientometria se constrói em cima disso. O que ela nem sempre leva em conta, porém, é que cientistas sabem como alavancar artificialmente as citações a seus próprios trabalhos. Um pesquisador pode pedir a um colega que o cite para depois retribuir o favor. E se um cientista fatiar o resultado de uma pesquisa em vários estudos (em vez de publicar tudo num único trabalho mais completo), pode vir a receber mais citações. Usando essas táticas de mérito duvidoso, um pesquisador pode turbinar sua produtividade e sua aparente influência quando estas forem estimadas partir do número de citações por estudo publicado. Há alguns métodos estatísticos para impedir que distorções apareçam, mas a eficácia de cada um depende muito da área da ciência à qual é aplicado. Algo que costuma ser aceito como um selo de qualidade de um estudo, porém, é o fator de impacto da revista em que o trabalho é publicado. O fator de impacto é medido pelo número total de citações que uma revista recebe em dois anos dividido pelo número total de artigos publicados no período. A aceitação em um revista de alto impacto é encarada com um cartão de visitas de gala para um estudo. A disputa para entrar nessas publicações é acirrada, e os comitês que analisam os artigos submetidos costumam ser muito rigorosos. Cientistas com muitos trabalhos publicados em periódicos como “Science” e “Nature”, por fim, acabam se cacifando para ocupar cargos mais altos e receber verbas maiores. Mas há uma coisa na ciência que é um segredo de polichinelo: a vasta maioria dos estudos publicados em revistas de alto impacto, na verdade, não é muito influente. O “Journal of Cell Biology”, uma revista de alto impacto que se comprometeu a adotar as medidas propostas pelo DORA, explica o problema em seu editorial desta semana: “O fator de impacto de uma revista científica pode ser impulsionado por apenas uns poucos artigos altamente citados, mas todos os artigos publicados em uma dada revista, mesmo aqueles que nunca são citados, são tidos como detentores do mesmo impacto.” O problema em atribuir importância demais às revistas em que um pesquisador publica seus estudos é que isso gera uma cultura de menosprezar outros critérios de avaliação curricular. O DORA ressalta que os resultados da pesquisa científica são muito variados e não se resumem a artigos. Uma pesquisa pode criar bancos de dados, softwares, novos materiais e métodos de pesquisa, além de servir para treinar novos cientistas. Essa campanha ética começou no campo da biologia celular por ser uma área onde o fetiche do fator de impacto é particularmente nocivo, mas isso se estende por todas as ciências naturais. Outro problema por trás dos fatores de impacto é que áreas da ciência muito concorridas tendem a ver a formação de “panelinhas” de cientistas que dominam algumas das publicações mais disputadas. Isso não é novidade, e todo pesquisador sabe disso. Um dos problemas apontados no manifesto é que muitos estudos preferem citar artigos de revisão no rodapé, em vez de usarem referências a descobertas originais. Isso prejudica o mérito individual de estudos realmente inovadores e faz com que várias revistas com a palavra “review” no nome adquiram impacto altíssimo. Justiça seja feita, a culpa de tudo isso não é da cientometria. O fator de impacto foi criado para orientar bibliotecas sobre quais revistas assinar, não para avaliar a qualidade da ciência publicada nelas. A própria Thomson Reuters, empresa que faz o levantamento sobre fator de impacto hoje reconhece isso em sua definição sobre o índice. E uma das recomendações mais diretas do DORA é que revistas deixem de alardear seus fatores de impacto em suas campanhas promocionais. Resta saber se a campanha contra o fator de impacto vai sensibilizar a comunidade científica. Se o movimento ficar restrito a uma meia dúzia de pesquisadores, instituições e publicações, aqueles que aderirem podem sair prejudicados no fim. Mas algumas grandes revistas já assinaram o manifesto, incluindo a “Science”, que publicou um editorial sobre o assunto. A “Nature” rejeitou o documento, alegando que há itens demais agrupados numa declaração só, o que generaliza demais o problema. Uma demanda do DORA claramente difícil de atender é que a Thomson Reuters abra de graça o banco de dados que usa para calcular o fator de impacto. A “Nature” se declara contrária a abusos no uso do fator de impacto, porém, e já reforçou o ponto em vários editoriais. Agências de fomento de pesquisa, como o brasileiro CNPq, têm procurado adotar critérios mais específicos e menos cientométricos para conceder suas “bolsas de produtividade em pesquisa”. Mas isso não impede que revisores individuais deixem de ser seduzidos por fatores de impacto maiores. Pessoalmente, tendo a concordar com alguns argumentos da “Nature” para não assinar o documento. Independentemente do fator de impacto, algumas publicações sempre terão mais prestígio que outras. E é bom que exista um mercado onde diferentes cientistas disputem espaço por mais atenção. Jornalistas sabem que a probabilidade de uma pesquisa importante sair na “Science” é muito maior do que no “Australasian Journal of Applied Nanoscience”. Com o financiamento à ciência mundial ainda abalado pela crise, não está claro se medidas paliativas como essa vão diminuir o clima de canibalismo e de vale-tudo que está se instaurando em algumas áreas da ciência. Mas se alguém tem de sair perdedor, que pelo menos as regras do jogo sejam mais claras. O DORA tem um mérito importante nesse aspecto. __________________________________________________________________________ PS. Osame Kinouchi, do blog Semciência, levanta uma questão interessante, pertinente ao universo brasileiro das avaliações acadêmicas: “A CAPES ranqueia os programas de pós-graduação usando o fator de impacto das publicações do programa, o assim chamado QUALIS. Imagino que aceitar o DORA significa rejeitar o QUALIS. Ou não?” http://teoriadetudo.blogfolha.uol.com.br/2013/05/21/fator-de-impacto-o-fetiche-do-cientista/<http://www.facebook.com/l/bAQF6CTtL/teoriadetudo.blogfolha.uol.com.br/2013/05/21/fator-de-impacto-o-fetiche-do-cientista/> <http://www.facebook.com/l/bAQF6CTtLAQGrxWDObalNl8XnXAqBZlqpUN7bwqtdvm2MQg/teoriadetudo.blogfolha.uol.com.br/2013/05/21/fator-de-impacto-o-fetiche-do-cientista/>Fator de impacto: o fetiche do cientista - Teoria de Tudo<http://www.facebook.com/l/ZAQG-_ukGAQGoffyWW2il3qGHwnsq3aLEv0FoptSEv0ZAzQ/teoriadetudo.blogfolha.uol.com.br/2013/05/21/fator-de-impacto-o-fetiche-do-cientista/> teoriadetudo.blogfolha.uol.com.br<http://www.facebook.com/l/ZAQG-_ukGAQGoffyWW2il3qGHwnsq3aLEv0FoptSEv0ZAzQ/teoriadetudo.blogfolha.uol.com.br/2013/05/21/fator-de-impacto-o-fetiche-do-cientista/> POUCA COISA NO MUNDO é mais imprecisa do que a cientometria, a ciência que usa números para medir a ...
_______________________________________________ Arquivos da Bib_virtual: http://listas.ibict.br/pipermail/bib_virtual/ Instruções para desiscrever-se por conta própria: http://listas.ibict.br/cgi-bin/mailman/options/bib_virtual Bib_virtual mailing list [email protected] http://listas.ibict.br/cgi-bin/mailman/listinfo/bib_virtual
