Registar    Entrar    Fórum    Pesquisar    FAQ     RSS

Índice do Fórum » Geral » Novidades, Notícias e Avisos





Criar Novo Tópico Responder a este Tópico  [ 1 mensagem ] 
Autor Mensagem
 Assunto da Mensagem: A FCT, o PRAFU e as métricas do inferno
 Mensagem Enviado: Sábado Jul 01, 2017 6:36 am 
Offline
investigador em formação
investigador em formação

Registado: Quarta Dez 09, 2015 8:17 am
Mensagens: 34
Universidade/ Instituto: Minho
Atenta a demonização de métricas, quaisquer que elas sejam, vertida no Projeto de Regulamento de Avaliação e Financiamento de Unidades-PRAFU, é interessante constatar que lá fora têm entendimento radicalmente diferente sobre as mesmas, como sucedeu por exemplo na avaliação dos resultados do European Research Council, onde aquelas foram utilizadas. Vide links:
https://erc.europa.eu/sites/default/files/document/file/ERC10_Press_pack.PDF
https://erc.europa.eu/sites/default/files/document/file/ERC_Bibliometrics_report.pdf

Como é evidente não é prático nem muito menos economicamente racional avaliar programas de grande envergadura somente com recurso ao tradicional método de revisão por pares-na comparação entre países ou grupos de países nem sequer se usa de todo. Pois é evidente que não só seriam necessários vários anos para que especialistas mundiais lessem os mais de 100.000 artigos produzidos no programa ERC ou sequer os mais de 5000 artigos pertencentes ao grupo 1% mais citado, como isso teria um custo muito desproporcionado relativamente ao beneficio daí resultante. Eventualmente seria possível que esses avaliadores lessem alguns poucos desses artigos mais citados, que foi exactamente aquilo em que consistiu a avaliação por pares levada a cabo no exercício de que se dá conta em anexo, a qual foi efectuada sobre uma pequeníssima amostra de 100 artigos do grupo 1% mais citado, vide link. https://erc.europa.eu/sites/default/files/document/file/ERC_Qual_Paper.pdf

Também não foi certamente por acaso, que na avaliação dos resultados do European Research Council, também foi analisada a variável "Mendeley readers", na tal plataforma com o mesmo nome comprada pela Elsevier em 2013 e que conta com mais de 4 milhões de utilizadores. A tabela 3.3 da página 15 do ficheiro D7 da ERC compara o valor médio de leitores Mendeley para diferentes áreas científicas, quer dos vencedores das bolsas milionárias da ERC mas também de candidatos não seleccionados para financiamento. Trata-se de um parâmetro com algum interesse principalmente para recém doutorados cujos artigos ainda não puderam beneficiar de uma janela temporal suficiente para recolher um número relevante de citações.

Nós por cá porém dispensamos essas métricas, por certo forjadas no inferno e até estamos muitíssimo mais abonados financeiramente do que o European Research Council havendo até quem acredite que os especialistas que a FCT irá contratar para avaliar o desempenho das unidades de I&D irão ser pagos para ler algumas milhares de publicações selecionadas entre as mais de cem mil produzidas pelas unidades do SCTN durante cinco anos. Note-se que uma pesquisa na base Scopus revela que há 112. 214 publicações com afiliação Portuguesa publicadas no quinquénio 2012-2016. Haverá muitas mais que não estão referenciadas. Ainda que só fossem lidas 10 por unidade estaríamos a falar de 3000. E isto já para não falar do mistério que será escolher um número muito limitado de publicações (de representatividade muito discutível), para que os avaliadores possam confirmar a qualidade do seu conteúdo, sem que nessa selecção seja utilizada qualquer métrica, como é referido no texto do PRAFU.


Topo 
 Perfil  
Resposta com citações  
Mostrar mensagens anteriores:  Ordenar por  
 
Criar Novo Tópico Responder a este Tópico  [ 1 mensagem ] 

Índice do Fórum » Geral » Novidades, Notícias e Avisos


Quem está ligado

Utilizadores a navegar neste fórum: Nenhum utilizador registado e 1 visitante

 
 

 
Criar Tópicos: Proibído
Responder Tópicos: Proibído
Editar mensagens: Proibído
Apagar mensagens: Proibído
Enviar anexos: Proibído

Pesquisar por:
Ir para:  
Alojamento oferecido por David A.