Pesquisa Confiável

Amar a pesquisa é uma coisa. Confiar nisso é outra.

Foto de Jonas Verstuyft no Unsplash

Durante anos, tenho procurado a metáfora certa de quão impressionável eu acho que sou. Que tal pagar US $ 280.000 por uma educação universitária e quatro anos de profunda imersão no mundo das idéias, apenas para emergir e descobrir que nenhuma das minhas idéias é minha? Isso não é exatamente uma metáfora, mas em algum lugar há um substantivo alemão de 14 letras para descrever esse cenário exato, tenho certeza.

Na faculdade, foram as idéias dos pensadores canônicos ocidentais que me impressionaram, juntamente com as interpretações dos meus professores. Toda nova idéia parecia tão óbvia: é claro que vivíamos no panóptico de Foucault, é claro que tudo podia ser rastreado até a divisão do trabalho à la Marx, e é claro que a história ocidental era apenas história cristã (obrigado, estudante de graduação esquecido). Em algum momento, absorvi a máxima "questionar tudo, inclusive como você aprende a questionar", o que realmente me interessou. Com novas idéias anunciadas como verdade constantemente lançadas para mim com a diretiva para questioná-las, e sem tempo para aprender de uma maneira estruturada como, algo estava prestes a quebrar. No final da faculdade, era minha confiança na academia.

Isso teve efeitos bons e ruins. Passei mais tempo no mundo das pessoas em vez de idéias, e por isso conheci algumas pessoas interessantes, percebi que precisava de algo para fazer depois da faculdade e depois encontrei algo para fazer depois da faculdade. Também aprofundei amizades e encerrei alguns relacionamentos tóxicos. Todas as coisas boas. Mas o custo foi alto: eu habitei um estranho espaço intelectual onde aprendi e me apeguei a novas idéias sem acreditar nelas. Tornei-me o oposto de uma caricatura de um café da faculdade e quase não tinha opinião sobre os grandes problemas.

Essa é uma introdução longa, mas necessária, à questão de hoje: confiar na pesquisa. Agora, com alguma compreensão do espaço que eu ocupava no período imediatamente posterior à faculdade, avance para 28 de abril de 2014. Por meio de meus esforços questionáveis ​​na época para ficar a par da Twittersphere, me deparei com um artigo publicado por Jerry Adler em O Padrão do Pacífico, chamado “A Reforma: Os cientistas sociais podem se salvar?” O artigo foi minha primeira introdução aos métodos estatísticos na pesquisa, e vamos apenas dizer que não os retrata de uma maneira muito favorável. Por exemplo, em 2011, um psicólogo chamado Joseph Simmons conseguiu "provar" que ouvir a música dos Beatles "Quando eu tenho sessenta e quatro" torna você mais jovem. O que, obviamente, é ridículo. Adler escreve,

Entre o laboratório e o estudo publicado, existe uma lacuna que deve ser preenchida pelo laborioso processo de análise de dados. Como Simmons e seus co-autores mostraram, esse processo é uma caixa preta virtual que, como construída atualmente, "permite apresentar algo tão significativo". E se você pode provar o que deseja de seus dados, o que realmente faz? conhecer?

No meu estado impressionável, eu devorei este artigo. Eu aprendi não apenas sobre essa "caixa preta" estatística de análise de dados, mas também sobre hackers, priming, Retraction Watch, reprodutibilidade e as falhas da revisão por pares. Eu fiquei impressionado. A ciência deveria ser a busca da verdade no mundo. Era para ser impenetrável. Meus pais são cientistas e, durante anos, a Nature and Science encheu a casa. Folheando suas páginas quando criança, fiquei impressionado com os diagramas complicados, a linguagem indecifrável que parecia estar escrita em um código científico especial e as imagens de pequenos objetos tirados com sofisticadas técnicas de imagem. Mas agora, lendo este artigo da Pacific Standard, percebi que ter um microscópio eletrônico de varredura não garante nada. A ciência, como o cânone ocidental, tinha seus próprios problemas humanos.

A ciência deveria ser a busca da verdade no mundo. Era para ser impenetrável.

Se os dados são totalmente fabricados ou apenas "ajustados", deve haver uma razão. O desonrado fabricante de dados Diederik Stapel, psicólogo social holandês, disse ao New York Times que ele fez isso de "uma busca pela estética, pela beleza - em vez da verdade". O Economist resumiu a motivação para o hack de dados um pouco menos. poeticamente, com duas palavras justapostas em um artigo de 2013: "confie, mas verifique" versus "publique ou pereça". A base da ciência moderna são resultados reproduzíveis em experimentos repetidos, mas, como afirmou o Economist, "os cientistas modernos confiam demais e não é suficiente verificar. ”Os incentivos não existem para realizar estudos de verificação chatos, ou pior, para passar anos da vida de alguém em um projeto que falha em rejeitar o nulo. Em vez disso, estudantes e pesquisadores estabelecidos são levados a apresentar novos resultados que parecem dizer algo novo sobre o mundo.

"Publicar ou perecer" diz muito não apenas sobre a comunidade científica mais ampla, mas também sobre medicina. O ERAS®, ou o Serviço de Solicitação de Residência Eletrônica, é o serviço centralizado e privado que quase todo aluno de MD ou DO usa para se candidatar a uma residência nos Estados Unidos. É incrivelmente revelador que o ERAS tenha uma página dedicada para os candidatos entrarem em suas publicações. Não existe uma página separada para ensino, voluntariado ou contribuições para sua comunidade. Já se pergunta aos estudantes de medicina: você pode trazer o dinheiro? Sim, ainda é possível se tornar um médico, e bom, sem publicações. Apenas não conte com um dermatologista, um cirurgião ortopédico ou qualquer outro número de especialidades. Um orador esperançoso que eu conheço me disse que ele tem "57 resumos" e certamente espero que seja o suficiente para ele ter sucesso em seus objetivos. Um residente cirúrgico com quem trabalhei celebrou a aceitação de seu trabalho em um jornal pago que pretendia cobrir um campo totalmente diferente, porque era “mais um para o currículo”. Parece que vincular as perspectivas de carreira ao volume de publicações inundou a pesquisa científica com um dilúvio. de porcaria.

Foto de pan xiaozhen em Unsplash

Em todos os níveis da cadeia alimentar, os pesquisadores são motivados pelo volume, não pela verdade - e quem pode culpá-los? O dinheiro flui para os centros médicos acadêmicos de financiadores de pesquisas como o NIH, em níveis que superam qualquer subsídio fundamental ou governamental para ensino ou serviço. Muitas vezes, os pesquisadores são contratados com a expectativa de financiar seus próprios salários e também os de seus funcionários. Eu estava na Universidade de Columbia quando dois dos professores mais populares da Mailman School of Public Health foram demitidos por não terem conseguido conceder 80% de seus salários. Drs. Carole Vance e Kim Hopper eram professores não-titulares que trabalhavam na Mailman por décadas, ambos considerados líderes em seus respectivos campos. Ambos também priorizaram o ensino. Falando à Nação, uma ex-aluna de Vance disse: “Tive o privilégio incrível de muitos ótimos professores e colegas incríveis, mas, na verdade, não há mais ninguém que mencione com a intensidade que Carole faz” ... “Ela está sendo ativamente punida por sendo um mentor extraordinário - é nessa direção que a universidade corporativa está se movendo. A orientação não paga. Mentoria não é algo que você possa vender para um financiador. ”

O dinheiro flui para os centros médicos acadêmicos de financiadores de pesquisas como o NIH, em níveis que superam qualquer subsídio fundamental ou governamental para ensino ou serviço.

E, no entanto, em um mundo em que os médicos cometem suicídio com o dobro da população em geral, a orientação é o que importa. Em vez de aprender a ocupar o papel de um médico humanista a partir de mentores de modelos, os estudantes de medicina aprendem a produzir papéis dos quais se orgulham pouco e que poucos provavelmente lerão, e perpetuam o ciclo de publicação ou perecimento. Eu argumentaria que a campanha de publicação prejudica todos os aspectos da medicina, incentivando resultados fabricados ou de má qualidade; dificultando a separação da pesquisa verdadeiramente valiosa (existe, tenho certeza) do joio; e incentivar os valores errados em nossos profissionais de saúde.

E ninguém está imune. Mesmo nos níveis mais altos (em medicina, chamamos isso de Harvard), os pesquisadores estão publicando dados falsificados. Ainda nesta semana, a Harvard Medical School e seu afiliado, o Brigham and Women´s Hospital, recomendaram que 31 artigos impressionantes do ex-diretor de laboratório Dr. Piero Anversa fossem retirados de várias revistas. O Retraction Watch mantém uma lista dos dez principais papéis retratados mais citados. Todos eles continuaram recebendo citações após a retração, o que significa que eles efetivamente corromperam a consciência científica.

Os problemas com a pesquisa são tão numerosos que comecei a tocar a superfície. Outra questão enorme é questionar as origens de nossos padrões e diretrizes atuais, talvez dos quais sejam derivados de estudos de homens predominantemente brancos. De acordo com um comentário de 2015 no PLoS One, “menos de 2% dos mais de 10.000 ensaios clínicos de câncer financiados pelo Instituto Nacional do Câncer incluíram participantes minoritários suficientes para atender aos próprios critérios e metas do NIH [e] menos de 5% dos financiados pelo NIH a pesquisa respiratória relatou a inclusão de minorias étnicas / raciais. ”Mesmo na faculdade de medicina, aprendi que“ mulheres ”estão entre os grupos que podem apresentar sintomas atípicos de um ataque cardíaco -“ mulheres ”. Você sabe, essa metade da população. Que tipo de pesquisa está subjacente à nossa compreensão de um ataque cardíaco "típico" se não incluir mulheres?

Foto de Vlad Tchompalov em Unsplash

Pesquisa não é apenas um termo amorfo. Ela afeta todos os aspectos de nossas vidas, desde a água que você bebe, até a maneira como você cuida em um hospital, até uma última chance na vida em um ensaio clínico. Todo artigo enviado para publicação deve ser bem feito e ter significado para seus autores. A pesquisa deve ser mais do que apenas um número em um aplicativo. Meu encontro casual com o artigo da Pacific Standard, há quatro anos, impressionou-me uma apreciação cética pela pesquisa e, desde então, tenho trabalhado para encontrar discrepâncias verdadeiramente significativas.