PessoALL: O Brasil é muito provavelmente o país que mais investe em bibliometria no mundo, visando mensurar em amplos termos o *volume* de sua produção científica --- talvez até para compensar a falta de *conteúdo* científico realmente relevante e sólido da maior parte desta produção. No que diz respeito à definição de critérios para classificação de seus cientistas tendo em vista a sua produção, contudo, parece persistir uma curiosa mistura de política casuísta com oportunismo e manipulação numerológica bem pouco transparente. Neste sentido, farei a seguir um breve apanhado do que temos conseguido com os nossos esforços mais ou menos recentes de tentar compreender e exercer alguma influência sobre a misteriosa cienciometria tupiniquim. Irei ainda comentar alguns dos nossos sucessos anteriores, bem como algumas de nossas atuais falhas de estratégia na empreitada de tentar mudar as coisas, e apontar para alguns pontos que deveriam realmente nos preocupar e nos servir de orientação para conseguirmos alcançar nossos objetivos (uma vez que os tenhamos definidos mais claramente).
Antes de mais nada, contudo, gostaria de fazer um breve esclarecimento (por favor me corrijam se algo que eu disser não estiver inteiramente correto) e lançar algumas questões que, acredito, precisamos levar em consideração. A classificação de periódicos e eventos criadas pela CAPES via *Qualis* tem por objetivo professo a mensuração das produções dos Programas de Pós-Graduação do Brasil. Em conjunto com outros critérios, a qualis-ficação de periódicos, livros e eventos redunda em uma breve classificação da pós-graduação brasileira com notas entre 3 e 7, classificação esta que afeta obviamente a distribuição de recursos entre os programas envolvidos. Há 27 áreas de avaliação, para a CAPES, e cada uma delas possui um "documento de área" atualizado a cada 3 anos pelo circunstante coordenador de área e disponibilizado na íntegra no site do Qualis. Cada documento de área introduz seus próprios critérios para a classificação de periódicos, livros e eventos, com mais ou menos detalhe: por exemplo, para cada estrato A1, A2, B1, B2, B3, B4 e B5 há no documento um arrazoado explicando os critérios ou contas que são feitas para um periódico se encaixar em tal estrato. Na área de Filosofia, por exemplo, o documento de área atual deixa explícito que "a área não utiliza fator de impacto" na classificação, e que livros são importantes. Na área de Computação brasileira, por outro lado, entende-se que conferências têm relevância maior, e o documento atual menciona os fatores JCR, HS e HG que entrariam na composição de um cálculo aparentemente muito preciso (com resultados específicos infelizmente não divulgados) que permitiriam avaliar as informações recebidas dos programas de pós-graduação através do infame "Coleta CAPES"; além disso, na Computação há pesos diferentes associados a cada um dos fatores mencionados de acordo com a pertinência dos periódicos às áreas de (a) Teoria, (b) Sistemas de Computação, (c) Aplicações, (d) Outros (incluindo veículos de outras áreas). A Matemática tem ainda outros critérios de classificação, usando em particular o aqui já mencionado conceito de meia-vida. O sistema Qualis consagrou nos últimos anos na mente dos brasileiros o curioso princípio de que a "qualidade" de um periódico depende de quem a julga: um periódico pode ser ao mesmo tempo bom-para-computação e ruim-para-matemática, ou vice-versa, um periódico irrelevante, obscuro e sem arbitragem por pares pode ser considerado bom-para-filosofia, e assim por diante. No mundo civilizado, contudo, onde a *relevância* ou a *repercussão* de um trabalho se mede por exemplo pelo _número de citações recebidas_ e pela _visibilidade_ da pesquisa produzida (so simple-minded, these gringos!), pareceria estranho ter um critério diferente para cada área da ciência, e haver um periódico em que "é importante de se publicar se você é da área X mas não é importante de se publicar se você é da área Y". De uma maneira ou de outra, tudo que foi dito acima, e o sistema Qualis em particular, em princípio diz respeito exclusivamente à avaliação dos *Programas de Pós-Graduação*. Nunca ninguém disse que aqueles sofisticados critérios um dia seriam usados para classificar *pesquisadores*. Não deixa de ser desafiante, de todo modo, o real problema de avaliar pesquisadores, por exemplo, para o *reconhecimento do mérito* na solicitação de verbas, para a atribuição de *bolsas de produtividade* pelo CNPq, ou para a distribuição de medalhinhas e homenagens. O CNPq tem de fato 48 Comitês de Assessoramento (CA) responsáveis por isso, dentre os quais os comitês COCEX-MA (Matemática), COCHS-FI (Filosofia) e COAPD-CC (Ciência da Computação). Cada CA possui seus próprios critérios para mensuração de "produtividade" para os pesquisadores (critérios que também podem ser conferidos online, na íntegra): por conseguinte, ser declarado "produtivo" aos olhos da área X não implica ser declarado "produtivo" aos olhos da área Y. Vale recordar que os estratos nos quais os "pesquisadores produtivos" são classificados são 1A, 1B, 1C, 1D e 2. Assim, enquanto o comitê MA descreve muito brevemente o perfil esperado do pesquisador pertencente a cada um destes estratos, o comitê FI faz isso de maneira _bem_ mais detalhada, e o detalhamento para o comitê CC é ainda outro. Acresça-se aqui o fato que nenhum dos CAs afirma que produtividade é medida pela "régua Qualis" ; ao contrário, os critérios (na maior parte qualitativos) de mensuração mencionam "liderança", "formação de pesquisadores por orientação", "capacidade de captação de recursos para a pesquisa", além de, claro, "produção científica regular". * * * Embora não tenha voltado a me manifestar sobre este assunto após a discussão que tivemos na lista no último mês a respeito do "julgamento da Lógica na Computação", tenho acompanhado com vivo interesse as recentes iniciativas dos colegas mirando a re-qualis-ficação de alguns veículos da área de Lógica (agradeço em particular Rodrigo, Samuel e Valeria por terem me incluído nas mensagens em que eles discutiram a criação da sua atual tabela). Só para recordar alguns eventos mais recentes, em 2010 publiquei online (http://tinyurl.com/27t7tq2) uma lista com 134 periódicos cujas denominações eu coletei ao longo dos anos, e no fim do ano passado eu atualizei esta mesma lista de *periódicos* enquanto representava em particular os colegas da Computação na re-qualis-ficação das *conferências* da área (http://www.dimap.ufrn.br/pipermail/logica-l/2011-December/006866.html). (Para quem tem mais o que fazer e trabalha ativamente na área pareceria uma imensa perda de tempo, obviamente, fazer listas como estas (embora elas contenham outras informações e links relevantes, para além de meras listagens de rankings e números mágicos) --- a única justificativa seria talvez a de sentirmos uma ameaça no ar...) Bem, na lista de periódicos atual (http://tinyurl.com/83wek6n) constam 126 veículos com respectivos ImpactFactor (JCR 2010), SJR e H-index (SCImago 2011), bem como as classificações Qualis vigentes desde 2010, nas diversas áreas de avaliação do CAPES Qualis. Noto que o excelente trabalho de Rodrigo, Samuel e Valeria resultou na seleção de um subconjunto de 27 periódicos que eles julgaram necessitar uma re-qualis-ficação urgente por cada uma das áreas de Filosofia, Matemática e Computação, e que o excelente trabalho de Jean-Yves resultou em uma seleção de 35 periódicos acompanhados de respectivos índices de impacto, fator bibliométrico que Jean-Yves usou para sugerir a qualis-ficação de 20 destes periódicos entre A2 e B5 pela Matemática, de 17 destes periódicos entre A1 e B5 pela Filosofia, e de 10 destes periódicos como A1, B2 ou B4 pela Computação. Em ambos os trabalhos mencionados, as bem intencionadas propostas parecem ter sido apresentadas de maneira independente do conteúdo atual do "documento de área", e em alguns casos de maneira até inconsistente com aquele documento. * * * Sabendo mais ou menos como as coisas funcionam (confiram acima os parágrafos sobre CAPES e CNPq), e tendo decidido quais os nossos objetivos e como pretendemos alcançá-los, não tenho dúvida de que pode ser útil encaminharmos nossas reclamações e sugestões (na linha dos parágrafos imediatamente anteriores, por exemplo) "para o sistema". Os membros mais antigos desta lista se lembrarão de como houve há poucos anos um movimento encabeçado pela Sociedade Brasileira de Lógica para alterar os critérios de atribuição do selo de "produtividade" por parte do comitê FI quando vacas sagradas da "lógica filosófica" perderam suas bolsas de produtividade nível 1, do CNPq. Em particular, uma das conquistas da "lógica filosófica" na época em que o movimento aconteceu se refletiu na mudança da composição do CA-FI, que entre seus 4 membros passou a contar com 1 membro obrigatoriamente da "sub-área Lógica" (hoje Luiz Carlos Pereira, antes dele Chateaubriand). O movimento também conseguiu afetar a qualis-ficação da CAPES, que passou a contar com um leque de periódicos muito mais generoso para a área de Filosofia, tanto em números absolutos quanto em classificação em altos estratos (confiram a tabela já citada acima). Já no CA-MA há 6 membros, e não me parece que haja reserva por sub-área de estudo ; no CA-CC também há 6 membros, sem sub-áreas especificadas. Há atualmente muitos bolsistas de produtividade na área de "lógica filosófica", em todos os níveis. Desconheço os números na área de "lógica matemática" --- suspeito que sejam baixíssimos. Na Computação brasileira não consegui encontrar mais do que 6 ou 7 nomes de pesquisadores nível 1 que poderiam ser identificados como "lógicos". Talvez seja necessário que mais gente saia da zona de conforto, e que estes nomes percam também suas bolsas para que o pessoal da área comece a se preocupar seriamente com a sua baixa representatividade, e se organizar para ter mais voz na composição dos comitês, nos cálculos e coeficientes dos documentos de área, na qualis-ficação dos periódicos e das conferências. Espero bem que não seja necessária uma motivação tão calamitosa. Imagino que estejamos preocupados neste momento com os próximos documentos de área que estão sendo elaborados pela "turma do Qualis" (a entrega do material do "Coleta CAPES" ocorrerá em meados do próximo mês), e que definirão como será o jogo dos periódicos e das conferências nos próximos anos. Na Computação, por exemplo, já fizemos nossa parte no começo do ano ao sugerirmos acréscimos de conferências "do nosso interesse" à lista considerada no documento de área (quase deixamos de ser consultados, não obstante, por conta do fato de "a Computação" inadvertidamente ter decidido consultar unicamente as Comissões Especiais da SBC por sugestões de eventos, e não fomos capazes ainda de criar uma Comissão Especial de Lógica & Computação). Ainda na área de Computação, para as qualis-ficações está aparentemente sendo construído um big software para coleta e processamento dos índices bibliométricos em questão, seguindo as regras de cálculo do próprio documento de área. Haverá outros membros desta lista que podem explicar melhor como isto vai funcionar. Tudo indica contudo que boa parte das inconsistências já apontadas permanecerão, até porque algumas delas são sistêmicas, e resultam da nossa própria forma de medir as coisas. Talvez não consigamos mudar as coisas de verdade enquanto não pudermos mudar propriamente *as regras do jogo*. Joao Marcos -- http://sequiturquodlibet.googlepages.com/ _______________________________________________ Logica-l mailing list [email protected] http://www.dimap.ufrn.br/cgi-bin/mailman/listinfo/logica-l
