Em onde eles publicam

por que você não deve julgar os pesquisadores pelo Journal Impact

[Série Plutão] # 0 - Academia, Estruturalmente fodida
[Série Plutão] # 1 - Pesquisa, a indústria criadora de conhecimento
[Série Plutão] # 2 - Academia, publicação e comunicação acadêmica
[Série Plutão] # 3 - Publicar, mas realmente perecer?
[Série Plutão] # 4 - Publicar ou perecer e perder em vão
[Série Plutão] # 5 - Onde eles publicam
[Série Plutão] # 6 - Número de publicações
[Série Plutão] # 7 - Sobre fundamentos da citação
[Série Plutão] # 8 - Sobre práticas de citação
[Série Plutão] # 9 - Em rastreamento de citações
[Série Plutão] # 10 - Em revisões por pares
[Série Plutão] # 11 - Terminando a série

No post anterior, discutimos o que constitui uma estrutura de incentivo ruim na academia. Um conhecimento mais original e robusto é o objetivo geral da academia como um todo. Caso quaisquer conseqüências indesejadas que não sejam esses valores positivos sejam induzidas pelo incentivo ou falhem em capturar os valores positivos nos meios apropriados, esse incentivo pode ser considerado ruim.

Jornal, fonte: Plush Design Studio, Unsplash

Este post fornece a primeira instância, avaliando os pesquisadores onde eles publicam. É questionável o que essa prática está tentando avaliar e, independentemente do que ela avalie, os valores complexos do conhecimento não podem ser medidos com meios tão simplistas. A estrutura em que essa prática é mantida concedeu poderes excessivos a algumas partes interessadas, levando à falta de transparência, políticas desnecessárias e até condutas antiéticas.

Porquê aqui?

Descrevendo a estrutura de incentivos da academia em um post anterior, foi informado que os pesquisadores frequentemente avaliam sua produtividade com seus registros bibliográficos ou lista de artigos que publicaram em revistas acadêmicas, em combinação com “onde publicam” usando Fatores de Impacto da Revista como valor de proxy deste "onde". Esse “onde” é, obviamente, uma abreviação para “qual periódico revisado por pares” e, mais frequentemente, assume que os periódicos incluídos nos principais índices, como o Web of Science Core Collection (WoSCC) da Clarivate Analytics ou o SCOPUS da Elsevier .

Aparentemente, escolher onde publicar pode parecer incrivelmente importante. Com base no local onde você publica os resultados da sua pesquisa, a extensão em que sua publicação é disseminada pode diferir seriamente. Ou seja, se você escolher um diário adequado para sua publicação, ele poderá ser transmitido a centenas ou milhares de colegas, enquanto uma seleção ruim pode levar a que ninguém em seu campo relevante nunca o leia. É o que você vê quando pesquisa no Google "onde publicar". (é claro que muitos desses "guias de bibliotecas" dizem que você precisa ver se os periódicos estão indexados no WoS ou no SCOPUS)

Outro aspecto significativo a considerar ao escolher “onde publicar” é o conselho editorial da revista. A funcionalidade mais distinta dos periódicos acadêmicos é a revisão por pares, o processo científico de análise por especialistas de campo. Esse processo de revisão por pares é gerenciado pelos conselhos e equipes editoriais. Eles pré-selecionam os manuscritos submetidos, escolhem os revisores e tomam decisões finais sobre aceitar, rejeitar ou sugerir revisão para os manuscritos. Como periódicos diferentes têm editores diferentes, portanto, práticas de revisão diferentes, provavelmente é muito importante escolher um periódico decente editado por especialistas em sua área, com habilidade suficiente para conduzir adequadamente o escrutínio de sua publicação.

Por que NÃO Onde?

Embora pareça claramente importante escolher o local certo para publicar, isso NÃO significa que a pesquisa deva ser avaliada com o local onde é publicada. Primeiro de tudo, não está claro que tipo de valor é capturado. É possível que seja ótimo capturar a extensão de sua disseminação como descrito acima. Mas isso é altamente desafiador, tanto contextual quanto tecnicamente. Devemos olhar para o número absoluto de pessoas únicas que um diário atinge? Sessões e acessos exclusivos de universidades e institutos? Esse tipo de número em periódicos também representa a extensão da divulgação para publicações individuais? Os periódicos e os serviços de informações são capazes de rastrear essas estatísticas? A resposta é, ridiculamente, sim ou não, o sistema nunca se importa com esse aspecto.
(A Altmetrics, estatísticas de uso de serviços de informações on-line, pertence a esse aspecto. Ainda assim, são indicadores diretamente decorrentes de publicações individuais, não de onde estão.)

Quem decide onde?

O valor capturado com “onde” provavelmente pode ser inferido a partir dos critérios de inclusão e processos de avaliação dos índices (critérios e processos do WoSCC, processo e quadro do SCOPUS). Ambos têm requisitos em comum, como registro no ISSN e metadados bibliográficos em inglês (ou romano) (resumos, referências etc.) que são significativamente importantes para manter todo o banco de dados limpo e gerenciável. Outra condição necessária é que o conteúdo dos periódicos seja revisto por pares. Isso, é claro, é positivo. O problema é como eles são mostrados. Como essa é uma condição NECESSÁRIA, um periódico incluído nesses índices deve ser revisado por pares. Mas como sabemos quando eles nunca provam que são? Existem alguns periódicos que publicam relatórios de revisão por pares, juntamente com as publicações originais. Para o restante dos periódicos nos índices, apenas confiamos nos provedores de índices que eles honestamente verificaram as práticas de revisão por pares e as evidências reais?

Isso acontece exatamente com o restante desses processos de inclusão. Além das condições necessárias, existem muitos outros critérios que eles dizem que olham. Para citar alguns: “Contribuição acadêmica para o campo”, “Qualidade e conformidade com os objetivos e escopo declarados da revista”, “Posição do editor”, “novo ponto de vista” e “Público-alvo”. Também são comuns em ambos os índices, embora haja algumas diferenças nas expressões. Todos esses critérios parecem bons e sofisticados e, novamente, a questão é como eles realmente fazem isso. O máximo que eu acho de suas explicações é que elas são avaliadas por suas equipes ou conselhos editoriais (não confunda isso com editores de periódicos). Acabo encontrando NENHUMA informação sobre o conselho editorial no WoSCC, e a página do conselho do SCOPUS fornece 17 acadêmicos aleatórios com suas afiliações, cada um representando uma meta-disciplina (17 pessoas encarregadas de "definir" toda a taxonomia acadêmica, uau). Em resumo, não temos dúvidas sobre quem está decidindo as inclusões nos periódicos, por que eles devem ser responsáveis ​​por esse trabalho ou o que realmente decidiram sobre quais evidências.

Estamos falando de índice de índice. Os artigos são publicados (assim indexados como parte da revista em que são publicados) em periódicos editados pelos especialistas de campo. Nesse ponto, estamos um pouco relaxados, pois muitas páginas da web de periódicos fornecem informações sobre seus conselhos editoriais. * E então esses periódicos são meta-indexados em bancos de dados bibliográficos como WoSCC ou SCOPUS, editados por algumas pessoas aleatórias, onde estamos completamente perdidos. quem são e o que fizeram. Considerando o fato de que esses índices são usados ​​em tantas decisões na academia como critério de avaliação, estamos deixando algumas empresas comerciais decidirem onde os acadêmicos devem enviar seus trabalhos para serem considerados "conhecimento científico" com operações obscuras. Eu questionaria fortemente se é isso que a ciência deveria ser.
(* Veja, por exemplo, o da Lancet. Pessoalmente, vejo muitas informações sobre os editores como requisito mínimo.)

Capturando o impacto

Talvez a resposta seja melhor representada com o número mais usado como proxy para isso: Fatores de impacto no diário (JIFs). Óbvio como o próprio nome diz, parece que as JIFs avaliam o impacto dos periódicos. Ponha de lado a dúvida sobre o que esse impacto significa, parece que o impacto dos periódicos está altamente relacionado às citações, pois os JIFs são calculados com os gráficos de citações. (JIF é o número médio de citações recebidas pelas publicações da revista de interesse nos dois anos anteriores de todas as publicações do índice este ano. Veja a Wikipedia para obter mais descrição)

Não é possível matar vários pássaros com uma pedra simples

É realmente confuso o que esse impacto significa. Uma coisa que podemos dizer claramente. Significa citação média. Seja impacto, valor, avanço, contribuição ou qualquer outra coisa, uma métrica simplista e única não pode (e não deve) representar os aspectos complexos e diversos do conhecimento. Assim como retratado pelos processos de inclusão por índices, há contribuição para o campo, objetivos e escopo e sua conformidade e qualidade, destacando-se no campo, originalidade de idéias, público, ética, transparência ... para citar muito poucos deles. Ninguém jamais encontrará uma maneira de capturar esses valores com uma única métrica.

O uso de uma métrica simplista e única causa sérios danos à academia: leva à lei do poder *. Cunhada por Robert Merton como "Efeito Matthew", essa lei do poder é bem descrita pela expressão "Rico fica mais rico, pobre fica mais pobre". Essa lei de poder na academia é indesejada por duas razões principais. i) Pesquisadores emergentes em suas primeiras carreiras recebem menos oportunidades. ii) Poucos discrepantes recebem autoridades além da comunidade, o que é contra o “ceticismo organizado” da ciência moderna. A ciência é alcançada pelo escrutínio dos pares, não pelas autoridades de poucos.
(* As evidências desta lei de energia incluem: leis de Prices ', Lotka, Zipf, Bradford)

"Onde" nunca substitui "O que"

Além das preocupações com o uso de métrica única, existem críticas à própria JIF. Acima de tudo, por ser calculado a partir de citações, herda a maioria das críticas às citações. Por exemplo, as citações podem ser colocadas em jogo, as contagens reais podem variar significativamente, dependendo do índice de citações usado, e mais importante, as contagens de citações não representam o valor de uma publicação. JIFs também. Mais sobre este ponto será tratado em um post posterior discutindo citações.

Note-se também que as JIFs não devem ser usadas para avaliar publicações individuais. O significado da média é geralmente interpretado como uma medida preditiva, mas é relatado que você não pode prever as citações de uma publicação em um periódico com seu JIF. Isso se deve principalmente à distribuição distorcida das citações. As JIFs são muito afetadas pelos valores discrepantes. Suponha que tenhamos um diário com JIF = 40, escolhemos publicações aleatórias para ver sua contagem de citações, e provavelmente veremos números muito menores que 40. Descrevendo essa advertência, a Nature Materials sugeriu em um editorial que os periódicos deveriam divulgar melhor suas distribuições de citação.

Mais importante ainda, o valor de uma publicação é Universal (U da CUDOS). Não deve mudar de onde é colocado. Você fez o experimento A, coletou o conjunto de dados B, analisou com o método C, obteve o resultado D. Se você o coloca no seu feed do Facebook, no Twitter, no blog, no arxiv ou no publicado em um diário com um JIF exorbitantemente alto, seu valor não deve mude.

Poder esmagador

À medida que os pesquisadores são avaliados sobre onde eles publicam, algumas partes interessadas em relação a esse “onde” passam a exercer grande influência sobre a academia. Como descrito acima, praticamente a definição virtual de ciência (ou "onde precisamos publicar para ser considerada como ciência") é controlada por poucos provedores de índices.

Editores e revistas também ganham poder de autoridade. Como a maioria dos periódicos tem decisões binárias nos manuscritos enviados (ou seja, aceita ou rejeita), os pesquisadores estão sujeitos a essas decisões. Muitos editores e revistas "não dão suporte formal ao arquivamento" * (ou seja, pré-impressões e repositórios). Embora existam locais alternativos para publicação que possam apoiar o arquivamento, os pesquisadores ainda tendem a não usar pré-impressões se um diário de alto impacto de seu campo não o suportar. Essa é a única coisa que impede os pesquisadores de arquivar antes da publicação e colocar em outra direção, é por isso que editores e revistas podem decidir não apoiá-lo.
(** de acordo com SHERPA / RoMEO, 487 de 2566 publicadores (19%) não “apóiam formalmente o arquivamento”. Estender essa estatística ao nível do periódico certamente aumentará a parcela. *)

Estouro de publicação

Os editores com poder autoritário podem levar a mais publicações, em vez de conhecimento melhor e robusto. Como o modelo de negócios da maioria dos editores está colhendo lucros por meio de assinaturas e APCs (os autores pagam isso ao enviar manuscritos para o Open Access), é óbvio que eles prefeririam mais publicações. No nível de cada diário, isso pode não ser verdade, pois mais publicações podem diminuir o JIF. (está no denominador) Mas, no nível de um editor, isso pode ser coordenado aumentando o número de publicações e, ao mesmo tempo, gerando mais citações em seus diários. De fato, o número total de publicações aumentou drasticamente por décadas, mas cabe questionar se isso também levou a mais e melhor conhecimento.

Riscos morais

Outra ressalva aqui é que editores e periódicos podem afetar a direção geral das comunidades e tendências de pesquisa. Como já discutido na publicação anterior, eles tendem a definir políticas que levariam ao aumento da JIF, como aceitar reivindicações atraentes, modernas ou até erradas e rejeitar estudos incrementais, negativos ou replicantes.

Pior ainda são as más condutas que visam aumentar a métrica. Os periódicos, especialmente seus editores, podem forçar antieticamente os autores que os enviam a citar artigos nessa revista. Editores e autores de vários periódicos podem formar cartéis de citações, onde citam os trabalhos uns dos outros para aumentar propositadamente o impacto de cada um. Essas más práticas não são apenas ruins, pois são antiéticas, mas também deprecia a confiabilidade do JIF como métrica. Como tal, contaminam a literatura geral, gerando citações menos relevantes, ou às vezes até sem sentido, nas publicações. No final do dia, eles deterioram a confiança na academia.

Melhorar, não deter

Sempre haverá aspectos discutíveis sobre onde os resultados da pesquisa devem ser compartilhados. Como parte central da comunicação acadêmica, a disseminação de conteúdos acadêmicos sempre envolverá a transferência de informações valiosas de pesquisa de um jogador para outro. Além disso, a avaliação pelo JIF (ou onde eles publicam) tem essa vantagem sobre a citação, pois as citações para uma publicação individual levam muito tempo, enquanto um proxy com a revista pode ser usado imediatamente. No entanto, as práticas atuais de avaliação de pesquisadores e seu conteúdo com base no local de publicação devem ser aprimoradas.

Como uma métrica simplista coloca questões sobre o que captura, meios mais abrangentes para capturar melhor diversos aspectos do conhecimento devem ser investigados. Sempre deve-se levar em conta que um conhecimento e seu valor não mudam de onde é publicado, enquanto lembramos que ainda é importante questionar a quem será comunicado.

As práticas impróprias podem surgir por alguns jogadores que têm muito poder autoritário com interesses longe de gerar conhecimento genuíno. Especificamente, a transparência é imperativa para não permitir que a operação opaca de um pequeno número de participantes com fins lucrativos decida o que será considerado como pesquisa.

PRÓXIMO

No próximo post, será discutido outro exemplo de mau incentivo, ao usar o número de publicações como critério de avaliação, a questão mais central de "publicar ou perecer".

Obrigado sempre pelo apoio e, por favor, CLAP & COMPARTILHE a história com seus colegas, amigos e familiares para convidar mais discussões.

[Série Plutão] # 0 - Academia, Estruturalmente fodida
[Série Plutão] # 1 - Pesquisa, a indústria criadora de conhecimento
[Série Plutão] # 2 - Academia, publicação e comunicação acadêmica
[Série Plutão] # 3 - Publicar, mas realmente perecer?
[Série Plutão] # 4 - Publicar ou perecer e perder em vão
[Série Plutão] # 5 - Onde eles publicam
[Série Plutão] # 6 - Número de publicações
[Série Plutão] # 7 - Sobre fundamentos da citação
[Série Plutão] # 8 - Sobre práticas de citação
[Série Plutão] # 9 - Em rastreamento de citações
[Série Plutão] # 10 - Em revisões por pares
[Série Plutão] # 11 - Terminando a série

Rede de Plutão
Homepage / Github / Facebook / Twitter / Telegrama / Médio
Scinapse: Mecanismo de pesquisa acadêmica
E-mail: team@pluto.network