JC e-mail 3543, de 30 de Junho de 2008.
2. Avaliação objetiva (?) da pesquisa, artigo de Marcelo Viana
URL: http://www.jornaldaciencia.org.br/Detalhe.jsp?id=56995
"É bem sabido que os casos excepcionais não se acomodam bem a
regras "objetivas", desenhadas para um tratamento de massa. Einstein, caso
trabalhasse no Brasil nos dias de hoje, ganharia bolsa de produtividade do
CNPq?"
Marcelo Viana é pesquisador titular do Instituto Nacional de
Matemática Pura e Aplicada (Impa), membro do Comitê Executivo da International
Mathematical Union (IMU) e coordenador de Área da Matemática, Probabilidade e
Estatística na Capes. Artigo escrito para o "Jornal da Ciência":
A avaliação da qualidade da produção científica é sabidamente um
problema difícil e complexo. Em todo o mundo, e no Brasil em particular, o
acentuado crescimento dos sistemas científicos, tanto em número de
pesquisadores e centros de pesquisa como no volume da produção e diversidade
dos periódicos, vem exercendo forte pressão para que os mecanismos tradicionais
de avaliação se adaptem a uma tarefa cuja escala não tem precedente.
Outra crítica freqüente é à natureza necessariamente subjetiva da
avaliação pelos pares: cresce a demanda por critérios "transparentes e
objetivos". Na prática, isto tem conduzido ao uso crescente de parâmetros
bibliométricos, sobretudo estatísticas relativas a citações, para priorizar
indivíduos, programas, publicações ou periódicos. Cada vez mais, no lugar de
servirem como complemento a outras informações, incluindo as opiniões dos
especialistas, as estatísticas de citações acabam substituindo uma análise
aprofundada do mérito.
Esta tendência global se reflete no nosso país, naturalmente,
embora sua penetração ainda seja muito variável segundo a área científica.
Curiosamente, tais variações parecem ter pouca relação com o grau de
matematização da área enquanto disciplina científica. Em particular, os comitês
de Matemática e Estatística no CNPq e na Capes estão, tradicionalmente, entre
os mais prudentes quanto ao uso de critérios numéricos nos seus julgamentos.
Dados estatísticos de citações, tais como o índice de impacto ou o
fator h, para citar apenas os mais populares, têm o inegável mérito da
simplicidade: cada um oferece uma priorização de pesquisadores, revistas ou
programas, numa ordem completa e fácil de calcular. Mas eles também levantam
algumas perguntas importantes.
Não discutiremos aqui a questão se um sistema de avaliação
determinado por citações pode incentivar, ou mesmo permitir, a originalidade e
a inovação. É bem sabido que os casos excepcionais não se acomodam bem a regras
"objetivas", desenhadas para um tratamento de massa. Einstein, caso trabalhasse
no Brasil nos dias de hoje, ganharia bolsa de produtividade do CNPq?
O foco deste artigo está em outra questão de igual importância: até
que ponto as estatísticas de citações realmente medem relevância e qualidade? A
pesquisa científica consome um volume apreciável de recursos em todo o mundo e
é, evidentemente, necessário avaliar da forma mais precisa possível a eficácia
na utilização desses recursos.
Dada a enorme popularidade de parâmetros estatísticos tais como o
índice de impacto ou o fator h, seria de se esperar que seu uso estivesse
amparado em estudos de validação. Surpreendentemente, não é assim: o uso
corrente de critérios "objetivos" carece da fundamentação adequada e repousa,
mais do que seria razoável, em pressupostos implícitos.
Esta é uma das conclusões do relatório Citation Statistics
recentemente promovido por três importantes organizações internacionais - a
International Mathematical Union (IMU), o International Council of Industrial
and Applied Mathematics (Iciam) e o Institute for Mathematical Statistics
(IMS), e realizado por três destacados especialistas da área de Matemática e
Estatística, com ampla experiência no âmbito da publicação científica: os
professores Robert Adler (Israel), John Ewing (USA) e Peter Taylor (Austrália).
Esse documento pode ser encontrado no site
http://www.mathunion.org/Publications/Report/CitationStatistics. A nosso ver,
ele constitui leitura obrigatória tanto para os responsáveis nos sistemas de
avaliação do fomento, como para todo o usuário desses sistemas.
A partir de ampla biografia existente sobre o tema, e da
experiência acumulada de diversos cientistas, Citation Statistics critica o
modo simplista e mal-informado como critérios baseados em citações são
utilizados em todo o mundo. Embora esteja escrito do ponto de vista de
matemáticos e estatísticos, as mensagens principais do relatório valem para a
Ciência como um todo.
Algumas conclusões principais merecem destaque:
- Dados estatísticos não são mais precisos, se forem usados
indevidamente. De fato, estatísticas podem ser enganadoras, se forem mal-usadas
ou mal-compreendidas. Grande parte do uso atual de critérios estatísticos
apóia-se na intuição para a sua interpretação e validação.
- Embora números pareçam objetivos, essa "objetividade" é ilusória.
O significado de uma citação é mal compreendido e pode ser ainda mais subjetivo
que a avaliação pelos pares. Citações podem ter pouco que ver com "impacto".
- Ainda que seja realmente simples usar um único número para
avaliar qualidade, isso pode conduzir a uma compreensão superficial de algo tão
complexo como é a pesquisa. Números não são inerentemente superiores a
julgamentos sensatos.
Por estas razões, enquanto reconhece que "a avaliação precisa ser
prática e, por essa razão, estatísticas de citações certamente farão parte do
processo", Citation Statistics também alerta contra o uso excessivo de
parâmetros tais como o índice de impacto ou o fator h, "que dão apenas uma
visão limitada e incompleta do que é qualidade", insistindo que "a pesquisa é
demasiado importante para que o seu valor possa ser medido por meio de uma
ferramenta única, e grosseira".
Após uma rápida introdução à problemática da avaliação, o relatório
de Adler, Ewing e Taylor discute o uso, apropriado ou não, de estatísticas de
citação na avaliação de revistas, artigos e pesquisadores. Entre as diversas
críticas concretas ao índice de impacto, destaca-se a afirmação de que o seu
significado não é realmente compreendido por quem toma decisões com base nele.
Um exemplo ilustra bem este ponto e merece ser citado aqui.
As revistas Proceedings of the AMS e Transactions of the AMS, ambas
publicadas pela American Mathematical Society (AMS), têm perfis distintos:
enquanto os Proceedings se restringem a artigos rápidos, com até dez páginas,
as Transactions geralmente publicam artigos bem mais longos. O índice de
impacto das Transactions é o dobro do índice de impacto dos Proceedings. Para a
maioria dos sistemas de avaliação baseados em estatísticas de citações isto
significa que artigos nas Transactions são "melhores" do que artigos nos
Proceedings, no sentido de terem mais citações. Mas será que essa conclusão é
justificada?
Quando consideramos artigos ao acaso nessas duas revistas, qual é a
probabilidade de que o artigo nas Transactions seja realmente "melhor" do que o
artigo nos Proceedings? A resposta pode ser calculada facilmente a partir dos
histogramas de citações das duas revistas: essa probabilidade é de apenas 38%.
Quer dizer que, em quase dois terços dos casos, um artigo na revista com menor
índice de impacto é "tão bom ou melhor" do que um artigo na revista com o dobro
de índice de impacto! Deve ser enfatizado que não há nada de especial na
escolha destas duas revistas.
O relatório de Adler, Ewing e Taylor prossegue com uma discussão do
real significado de citações, desmontando a crença, amplamente disseminada, de
que citações necessariamente se correlacionam com impacto e qualidade
científica.
A par de outros fatores que distorcem a própria contagem das
citações, o relatório chama a atenção para "a nossa ignorância das razões por
que os autores citam algumas publicações em particular e não outras". De fato,
está muito longe de ser claro quando uma citação significa reconhecimento de
uma dívida intelectual a outra publicação e há razões para crer que talvez esse
nem seja o caso na maioria das vezes.
Na última seção do relatório, Adler, Ewing e Taylor discutem o uso
adequado de estatísticas na avaliação científica e como elas podem e devem ser
temperadas com outras informações relevantes de natureza acadêmica. Ao fazê-lo,
voltam a enfatizar a mensagem central de que "a pesquisa tem objetivos
múltiplos, de curto e longo prazos e, portanto, é razoável que seja julgada
usando critérios variados.
Os matemáticos sabem que há muitas coisas, tanto reais como
abstratas, que simplesmente não podem ser ordenadas, no sentido de duas
quaisquer poderem ser comparadas. Freqüentemente a comparação exige uma análise
mais complicada, que nem sempre determina qual das duas é a 'melhor'."
Em resumo, ao esforço para tornar a avaliação da pesquisa "simples
e objetiva" pode e deve ser aplicada a máxima de Albert Einstein: "Tudo deveria
ser tornado tão simples quanto possível. Mas não mais simples do que isso".
*********************************
Prof. Murilo Bastos da Cunha, Ph. D.
Universidade de Brasília
Dept. Ciência da Informação e Documentação
Brasília, DF 70910-900 Brasil
E-mail: [EMAIL PROTECTED]
_______________________________________________
Bib_virtual mailing list
[email protected]
https://listas.ibict.br/mailman/listinfo/bib_virtual
