Minha lista de desejos de revisão por pares

Faz um mês que eu postei aqui. Por quê? Eu tenho lido em vez de escrever. Estive revisando os documentos do SIGCSE, do ICSE, do IEEE Transactions sobre engenharia de software, do ACM Transactions on Computing Education. Venho editando meus 7 maravilhosos trabalhos de doutorado. Eu tenho orientado duas bolsas de pesquisa de pós-graduação da NSF e uma outra candidatura à graduação. E eu tenho lido algumas dezenas de indicações de CRA Outstanding Graduação.

Agora, algumas pessoas não gostam de revisar. Acontece que eu amo isso, especialmente a revisão por pares! (Ocasionalmente) aprendo sobre novas idéias, ajudo minha comunidade acadêmica a melhorar sua bolsa de estudos e resolvo um tipo muito específico de quebra-cabeça: o que posso dizer em 500 a 1000 palavras que transformarão a perspectiva do autor em seu próprio trabalho? O professor em mim aproveita a chance de tentar inferir da escrita de alguém como está pensando e, em seguida, encontra as palavras certas para mudar seu pensamento em direção à minha própria estética de pesquisa. Eu nem sempre sou bem-sucedido (especialmente em meses ocupados como esse), mas geralmente me divirto fazendo isso.

Infelizmente, muitos dos pesquisadores de minhas comunidades não se divertem muito analisando. E não os culpo: recebemos prazos curtos, o trabalho voluntário é quase totalmente ingrato (devido ao anonimato) e quase não há interação com autores ou outras revisões, além de discussões altamente assíncronas e altamente impessoais sobre fracas condições de manutenção e design. groupware como PCS ou EasyChair (sem desprezo contra os desenvolvedores que os mantêm: você tem trabalhos difíceis e com poucos recursos, apenas mantendo esses sites em execução).

Após 15 anos de revisão, no entanto, há algumas coisas que eu acho que podem fazer as pessoas realmente gostarem, e me faria querer fazer ainda mais. Aqui está minha lista de desejos para revisão acadêmica por pares.

Avalie com base em critérios explícitos

Nada me deixa mais louco do que uma caixa que diz "Escreva sua opinião" aqui. Esses processos de revisão por pares completamente não-orientados falham de duas maneiras: resultam em opiniões muito variadas sobre pesquisa, mas também não sinalizam aos novos revisores quais aspectos da pesquisa uma comunidade valoriza ou como avaliá-los. Não há apenas um tipo de revisão, há infinitas, e é tarefa do editor restringir o escopo.

A Conferência Internacional de Engenharia de Software fez alguns progressos recentemente, adicionando critérios específicos, como:

  • Solidez. As reivindicações dos trabalhos são suportadas pelos argumentos e evidências apresentados?
  • Novidade. Quanto o trabalho avança nosso conhecimento?
  • Clareza. Quão clara é a redação e apresentação do trabalho?
  • Replicabilidade. Com alguma experiência em domínio, o trabalho (técnico, empírico ou outro) poderia ser replicado?

O melhor disso é que eles reduzem muitas formas de viés implícito no processo de revisão, obrigando os revisores a abordar cada dimensão. Usei-os para estruturar meus comentários e garantir que estou sendo justo com o que o ICSE deseja selecionar.

Agora, o processo ICSE ainda deixa muito a desejar. Esses critérios não se aplicam a todos os tipos de bolsa de estudos, o que exclui algum tipo de trabalho novo. Os revisores têm idéias bastante variadas sobre esses critérios, o que ainda resulta em muita diversidade em suas avaliações. E não há orientação dos coordenadores do programa sobre onde está o “bar”: um artigo poderia atender a três deles muito bem, mas falhar na novidade e ainda ser publicado? E o último é bem fácil de corrigir: publique-os na chamada de trabalhos para que todos saibam contra o que estão sendo julgados.

Apesar dessas limitações, acho que todos os processos de revisão por pares devem ter critérios explícitos. As comunidades devem se unir para criar e evoluir ao longo do tempo.

Revisores de trem

Um dos problemas com critérios explícitos acima é que diferentes revisores não têm capacidade consistente para julgar cada um deles. Por que não? Porque não ensinamos pesquisadores a revisar pesquisas.

Eu sempre achei essa a maior lacuna na educação de doutorado. Ph.D. os alunos precisam de tantas oportunidades para praticar a revisão da pesquisa com base em critérios explícitos quanto possível, mas poucos são convidados a revisar até se formarem. E se eles são convidados a revisar, as conferências e os periódicos raramente dão treinamento a eles.

Lembro-me da primeira vez que revi para uma conferência. Foi um artigo da CHI, provavelmente em 2006 ou 2007, pouco antes de terminar meu doutorado. Recebi uma caixa que dizia "Escreva seu comentário aqui". E meu primeiro pensamento foi: "O que devo revisar? Tudo? Basta compartilhar minha opinião? Tenho muitas opiniões, você tem certeza de que todas elas são importantes? ”É claro que todas elas são importantes, assim como as de todos os outros, e por isso o jornal obteve pontuações muito variadas, o que provavelmente apenas confundiu os autores. As críticas muito variadas que eu sempre recebi na CHI (e ainda o faço até hoje) continuam sendo desorientadoras.

Como Ph.D. conselheiro, também falhei em treinar meus alunos. Quando ensino meus alunos de doutorado a avaliar o trabalho de outras pessoas? A quem trabalho devo avaliar se a revisão é confidencial? Os grupos de leitura são um local para fazer isso, mas geralmente concentram-se na leitura do melhor e mais relevante trabalho no campo, não no trabalho que precisa de ajuda. A maioria das revisões é de documentos que precisam de ajuda.

Pessoalmente, não acho que seja trabalho do consultor decidir os critérios pelos quais os artigos são revisados. Eu acho que esse é o trabalho de uma comunidade acadêmica e é onde as conferências e os periódicos são onde explicitamente explicamos esses critérios e os treinamos. Na próxima vez que eu programa presidir uma conferência ou me tornar editor de uma revista, treinarei todos os revisores.

Publique tudo, incluindo comentários

Quando conto às pessoas sobre essa ideia, elas acham que sou louco. Antes que você pense o mesmo, me ouça.

Aqui está a idéia básica: quando enviarmos algo para publicação, devemos conduzir nossos processos normais de revisão, mas depois publicar qualquer coisa que os autores desejem publicar, com a condição de que todas as resenhas de seus trabalhos também sejam publicadas e abertas a outras revisões públicas por todos na academia. Como alternativa, os autores poderiam decidir retirar seu trabalho e melhorá-lo ainda mais. O futuro da revisão por pares deve ser aberto, contínuo e transparente, com todos os trabalhos do mundo sujeitos a críticas eternas (moderadas). Por exemplo, eu deveria poder voltar aos meus artigos mais antigos publicados na Biblioteca Digital da ACM e postar um comentário, dizendo: “Este artigo é um lixo. Este outro artigo que publiquei tem um argumento muito melhor. ”E eu deveria poder fazer o mesmo com meus colegas. E todos, inclusive o público, devem poder ver nossos comentários sobre todo o trabalho publicado, permitindo que a comunicação científica prossiga em público.

Por que fazer isso?

  • Primeiro, já passamos de um momento em que precisamos nos preocupar com os custos de impressão. O armazenamento é barato e nossos documentos são pequenos.
  • Segundo, já lemos e avaliamos tudo. Qual é o sentido de fazer toda essa redação e revisão, apenas para permitir que 75% não sejam lidos pela academia?
  • Terceiro, por que o trabalho de gatekeeper artificial que acreditamos tem valor, mesmo que o trabalho não seja perfeito?
  • Quarto, ao rejeitar tanto trabalho, rejeitamos as idéias e os esforços de nossas comunidades, o que é desmoralizante.
  • Quarto, a opacidade da revisão por pares está prejudicando a opinião pública da ciência. Mostre-lhes como a salsicha é feita.

A maioria dos argumentos contra a visão acima se resume a isso: os acadêmicos querem usar as publicações de conferências e periódicos para sinalizar mérito, além de outras pesquisas. “Precisamos rejeitar os papéis para que os papéis aceitos tenham valor”, eles dizem: “Caso contrário, como saberíamos que trabalho é bom e ruim?” O ridículo sobre esse argumento é que, a curto e longo prazo, não sabemos ' t use exclusivamente a publicação para decidir que trabalho é bom e ruim. Usamos cartas de recomendação, usamos os melhores prêmios em papel, usamos os prêmios em papel mais influentes por 10 anos, examinamos as citações. Todos sabemos que conferências e jornais - mesmo os melhores - estão cheios de artigos que não são tão bons, porque nossos processos de revisão por pares não são tão bons. Há pouco dano em perder um sinal quando já temos tantos.

Além disso, ganharíamos novos sinais. Que tipo de diálogo sobre um trabalho publicado se seguiu desde a publicação? Quem está falando sobre o trabalho? Como eles estão falando sobre isso? Imagine como a avaliação de um candidato ao corpo docente mudaria: não seria apenas uma lista de trabalhos publicados, mas um conjunto vibrante de tópicos sobre o significado e o significado de uma publicação - ou o silêncio, que diz outra coisa.

Outros argumentos contra essa visão concentram-se no medo de que as pessoas não analisem mais se suas análises se tornarem públicas. Para mim, isso é apenas um sinal de que não estamos educando adequadamente os intelectuais públicos. Nossos egos são tão frágeis que alguém que vê nossas críticas bem fundamentadas destrói nossa reputação? Ou temos medo de que nossas críticas não sejam tão bem fundamentadas?

Obviamente, haveria muito o que fazer para fazer esse modelo funcionar. Se existe alguma comunidade que pode fazer isso, são as ciências da computação e da informação, especialmente a interação homem-computador.

Largura de banda limita nossa visão

Obviamente, implementar qualquer uma das alterações acima requer tempo. E, como já somos voluntários, o tempo é limitado. Alguns de nós precisam dedicar parte do nosso tempo, especialmente professores titulares como nós, para tornar essas mudanças realidade. Vamos mostrar ao restante da academia o que a revisão por pares pode ser. Quem está comigo?