Critérios Painel Avaliação

[jbcspm]

Deparei-me com o facto de haver candidatos a diversos concursos de projectos para vagas para BII, BIC, Doutorados e Pós doutorados em que os candidatos têm currículos muito diferentes.
O mesmo acontece nas candidaturas a bolsas de doutoramento, pós e a projectos de I&D.
Porém, a utilização de um critério baseado nas publicações com maior impacto, por vezes, faz excluir os candidatos com currículo mais impressivo.
Assim, creio que seria de aplicar critérios de ponderação que uniformizassem as avaliações, retirando subjectividade.
Deste modo, dois avaliadores teriam que atribuir valorações semelhantes e não cair na subjectividade e na disparidade de critérios.

Creio que lá fora há normas que uniformizam estes ponderadores, porém nãos os conheço.

Até que alguém apresente sugiro os seguintes, o que acham?

Livros publicados internacionais (por livro) (factor 6)
Livros publicados nacionais (por livro) (factor 5)
Capítulos de livro internacional factor (por capítulo, máximo de 3 por livro) (factor 2)
Capítulos de livro nacional (por capítulo, máximo de 3 por livro) (factor 1)
Sessões plenárias em congressos (1, por evento)
Artigos internacionais e nacionais indexadas no ISI (1- independente do factor de impacto)
Artigos internacionais e nacionais não indexadas (0,5)
Artigos de divulgação em revistas técnicas (0,1)
Comunicações orais em congressos (0,5)
Comunicações em poster em congressos (0,4)
Actas de congressos (só resumo) (0,1)
Actas de congressos (full article) (0,4)

Antigos ministros da ciência (1)

Gostava que este tema fosse discutido. Creio que será utilíssimo para todos.

José Costa

[anidras]

Porque é que achas que não se deve dar importância ao factor de impacto?

Alem disso, pelo que vejo, um "cv impressivo" é subjectivo

[jbcspm]

O factor de impacto não mede o "impacto" da pesquisa, investigação ou do cientista.
O factor de impacto mede a capacidade de a revista ser citada.

O factor de impacto das minhas revistas não reflecte o impacto que tive na sociedade nem o meu valor ou mérito científico ou das minhas teorias ou teses.

O factor de impacto apenas mede a realidade durante 2 anos, tempo demasiado curto para avaliar o "impacto" dos artigos aí publicados, eu, por exemplo, raramente sou citado no ano, ano e meio depois de ter publicado. É muito difícil que uma pesquisa termine, seja escrito um artigo, submetido e aceite no prazo de dois anos desde que um artigo foi publicado, portanto, e também por esta razão, áreas de ciência em que as pesquisas são rápidas têm maior facilidade em manter altos os seus coeficientes.

O coeficiente de impacto de revistas e artigos em que as pesquisas têm um ciclo superior a 2 anos simplesmente não integram a fórmula do ISI, mesmo que esses trabalhos sejam citados 100 vezes!

Por outro o coeficiente de impacto é algo de flutuante. Este ano uma revista pode ter 4 e no seguinte 9 e três anos depois pode baixar para 1.
O mérito do cientista variou assim?

Se o currículo for indexado aos coeficiente de impacto então o currículo de um cientista é como um fundo de investimento na bolsa (sobe e desce).

“Diz na rádio o comentador económico
-O currículo de Joaquim está bem cotado com mais de 14 pontos, mas tem uma tendência decrescente por causa do climagate, devendo fixar-se nos 10 em 2011, prevendo-se uma recuperação para 2013 ou 2014 com a entrada de novos revisores nas revistas em que publicou”

Por isto vemos que o coeficiente de impacto pode ser pernicioso ou mesmo uma balela.

Fazer médias de factores de impacto para avaliar currículos resulta na flutuação, ano a ano, do valor do currículo.

Por outro lado, uma revista pode ser a que tem o melhor coeficiente de impacto de uma área específica, por exemplo, história da avicultura, mesmo assim consegue ser a 14ª no grupo de história. É uma revista sólida, portanto. É de topo, na área.

No entanto, como as revistas de história não passam de 2 ou 3 de factor de impacto, este historiador nunca terá... um currículo bem cotado, mesmo que publique milhares de coisas.

Outro interessante aspecto é verificar que certas matérias não são de interesse para revistas nacionais, e outras não entram nas revistas internacionais.

Por exemplo, descobrir-se que é possível cultivar ananases ao ar livre nas masseiras da Aguçadoura na Póvoa do Varzim seria um facto científico de grande importância, porém, os resultados desta pesquisa, muito interessantes, nunca serão aceites por uma revista internacional, pelo menos decente, pois não tem interesse para mais ninguém do que para os portugueses e provavelmente para os poveiros. Ou que a probabilidade de ser citada no prazo de dois anos era muito baixa!

Isto significava que esta investigação não tinha interesse e que a pesquisa não era ciência? Ou ainda que o pesquisador não tinha capacidade de trabalho? Não.

Daqui a importância de valorizar também as revistas nacionais. E não valorizar um índice que só conta o prazo máximo de 2 anos!

O melhor e justo exemplo vem do Brasil onde o sistema que lá utilizam não leva em conta o sistema ISI, mas outro em que todas as revistas são valorizadas, não havendo, como cá se está a cair em tentação, em que se revista não está no ISI então vale 0!

Finalmente há aqueles que publicaram anos a fio em revistas que não estavam no ISI e que passaram e figurar, esses então têm, de súbito, uma mais valia impressionante, sem sequer terem feito nada! Passaram de nulidades curriculares para um espectáculo (conheço casos em que aconteceu). E num ano pode significar a perda de um projecto ou de uma bolsa e se fosse avaliada um ou dois meses depois teria outro desfecho, usando os mesmo cegos critérios dos júris.

Por fim como currículo impressivo dou como exemplo Charles Darwin.

Escreveu 22 ou mais livros. Todos de grande importância mundial.
Se imaginássemos que um homem como ele nunca tinha escrito artigos para revistas do ISI (o que até fez) então o seu currículo seria uma nulidade visto os livros, nos currículos da FCT, valerem 0?

Não seria de confiar a este homem uma bolsa de investigação, doutoramento ou outorgar um projecto?




Seja como for não ponho em causa que se poderasse os factores de impacto no índice que propus, porém, não podem representar directamente o valor que emana do ISI, pelas razões expostas e outras. Acaba sendo mais justo no número de vezes que cada pessoa é citada, e nesse caso tenho milhares de citações.

[Aragao]

Algumas das ideias discutidas aqui há uns anos tocam o tema que levantas
http://forum.bolseiros.org/viewtopic.php?f=15&t=1348

David