Persuadir Algoritmos com um Deslocamento de AI

A verificação de fatos pode reduzir a disseminação de notícias não confiáveis. Também pode fazer o oposto.

(este post apareceu originalmente em civilservant.io)

Os leitores da r / worldnews no reddit costumam relatar notícias de tabloides aos moderadores voluntários, pedindo-lhes que banam tablóides por seus artigos sensacionalizados. Essas histórias embelezadas chamam a atenção das pessoas, atraem controvérsias e são notadas pelo algoritmo de classificação do reddit, que as espalha ainda mais.

A proibição de notícias de tabloides poderia encerrar esse ciclo de feedback, mas os moderadores da comunidade se opõem às proibições gerais. Para resolver esse enigma, os moderadores precisavam responder a uma pergunta no centro dos debates sobre as chamadas "notícias falsas": como podemos preservar a liberdade dos contribuidores enquanto também influenciamos o comportamento mútuo de pessoas e algoritmos para o bem da comunidade?

Neste inverno, os moderadores trabalharam com o CivilServant para testar uma idéia: quais são os efeitos de incentivar a verificação de fatos na resposta a notícias não confiáveis? Queríamos ver como a comunidade r / worldnews reagiria. Também observamos o efeito nas classificações do reddit. Se os algoritmos do reddit interpretarem a verificação de fatos como popularidade, artigos não confiáveis ​​poderão se espalhar ainda mais.

As notícias dos tablóides representam aproximadamente 2,3% de todos os envios para essa comunidade de 15 milhões de assinantes que discute notícias fora dos EUA. Na r / worldnews, 70 moderadores revisam aproximadamente 450 artigos por dia e permitem que 68% desses artigos permaneçam. Por ser um subreddit padrão, a maioria dos leitores de reddit recebe notícias do mundo por meio dessa comunidade. Embora o alcance da comunidade seja diminuído pelo Facebook, a r / worldnews pode ser o maior grupo único para discutir notícias do mundo em qualquer lugar da Internet que fala inglês. Mesmo pequenos efeitos nessa comunidade podem fazer uma grande diferença na maneira como milhões de pessoas entendem as informações potencialmente não confiáveis ​​sobre o mundo.

Em nosso estudo, de 27 de novembro a 20 de janeiro, testamos as mensagens A / B incentivando a comunidade a verificar fatos e votar em notícias dos tablóides. Aqui está o que encontramos:

O efeito de incentivar a verificação de fatos no comportamento da comunidade

Nas discussões sobre envios de tablóides sobre r / worldnews, incentivar a verificação de fatos aumenta a taxa de incidência de comentários com links em 2x em média, e incentivar a verificação de fatos + votação tem um efeito semelhante.

O efeito de incentivar a verificação de fatos nos algoritmos do Reddit

Observando mais de 24 horas, também descobrimos que, em média, comentários persistentes incentivando a verificação de fatos causaram uma redução de 2x na pontuação do reddit de envios de tablóides, um efeito estatisticamente significativo que provavelmente influenciou as classificações no subreddit. Quando também incentivamos os leitores a votar, esse efeito desapareceu.

A IA cutuca: persuadir algoritmos enquanto preserva a liberdade

Nossas perguntas sobre as notícias dos tablóides adicionaram uma dimensão algorítmica a uma questão clássica de governança: como as pessoas com poder podem trabalhar em prol do bem comum, minimizando as restrições à liberdade individual?

podemos convencer os algoritmos a se comportarem de maneira diferente, convencendo as pessoas a se comportarem de maneira diferente.

Na internet, as pessoas aprendem a conviver com sistemas de IA que não conseguem controlar. Por exemplo, os motoristas do Uber ajustam sua direção para otimizar sua renda. Nosso comportamento coletivo já influencia os sistemas de IA o tempo todo, mas até agora o público carece de informações sobre o que realmente é essa influência. Esses resultados opacos podem ser um problema quando os algoritmos desempenham papéis importantes na sociedade, como saúde, segurança e justiça. Para resolver esse problema, alguns pesquisadores estão projetando sistemas “sociedade em loop” [4]. Outros estão desenvolvendo métodos para auditar algoritmos [5] [6]. No entanto, nenhuma das abordagens oferece uma maneira de gerenciar o comportamento cotidiano dos sistemas cujo código não podemos controlar. Nosso estudo com a r / worldnews oferece uma terceira direção; podemos convencer os algoritmos a se comportarem de maneira diferente, convencendo as pessoas a se comportarem de maneira diferente.

Algumas pessoas podem se perguntar se esse experimento constitui manipulação de votos, o que é contra as políticas do reddit. Nossas notas adesivas não violam nenhuma das regras do reddit para ganho pessoal (também não criamos contas falsas, informamos às pessoas como votar ou organizamos um bloco de votação). Mas mostramos que incentivar as pessoas a checar os fatos teve um efeito sistemático nos algoritmos do reddit.

A idéia de "cutucadas de IA" nos dá uma maneira de pensar nos esforços pró-sociais para influenciar o comportamento humano e da máquina, preservando a liberdade individual. Richard Thaler e Cass Sunstein primeiro propuseram "cutucadas" como formas de as instituições exercerem seu poder, preservando a liberdade individual [7]. Comparado à proibição de notícias de tabloides, o estímulo da IA ​​para incentivar a verificação de fatos é a ação mais leve que os moderadores podem adotar. A capacidade de ninguém compartilhar notícias, comentários ou votos é removida, mas a cutucada da IA ​​ainda amortece a disseminação de notícias não confiáveis.

Como Sunstein e Thaler apontam, nem sempre é óbvio se essas intervenções de toque leve terão o resultado desejado. É por isso que devemos testar sistematicamente seus efeitos, principalmente porque sistemas não testados podem ter resultados inesperados.

A Governança e Ética dos Nudges da IA

Sugestões de governos e experimentos sociais de plataformas on-line costumam atrair críticas semelhantes. Acho que as pessoas têm razão em esperar responsabilidade daqueles que exercem poder de cutucada. Ao trabalhar com moderadores voluntários, pude trabalhar com maiores níveis de transparência e responsabilidade do que é típico em computação social. Todos os estudos do CivilServant são projetados com e por equipes de moderação, e todos os resultados são divulgados primeiro à comunidade em uma análise de subreddit. Nossos desenhos de estudo são listados publicamente no Open Science Framework antes de começarmos, e todo o nosso código é de código aberto. Os detalhes completos da análise também são públicos, para que qualquer pessoa possa verificar nossas conclusões. A única coisa que retemos são os dados reais, pois respeitamos a privacidade de todos os envolvidos.

No geral, espero que os estímulos da IA, especialmente quando liderados pelas próprias comunidades, ofereçam uma direção empolgante para o público gerenciar o papel dos algoritmos na sociedade, preservando também a liberdade individual.

Como o estudo funcionou

Para este teste, os moderadores começaram com uma lista de fontes de notícias que frequentemente recebem reclamações. De 27 de novembro a 20 de janeiro, atribuímos aleatoriamente cada novo link de tabloide a uma das três condições: (a) nenhum comentário fixo, (b) um comentário fixo que incentivava o ceticismo, (c) um comentário fixo que incentivava o ceticismo + votação (detalhes completos aqui )

Postamos esta mensagem no topo das discussões de notícias dos tablóides

O segundo incentiva as pessoas a verificar o artigo de fato e considerar a possibilidade de votar no link se não encontrarem evidências de suporte para suas reivindicações:

Esta segunda mensagem incentivou as pessoas a considerar reduzir o voto

O comportamento de verificação de fatos pode influenciar como os algoritmos do reddit veem notícias não confiáveis?

Embora estivéssemos confiantes de que os leitores do r / worldnews ajudariam se os moderadores perguntassem, também nos perguntávamos: se aumentarmos os comentários nas notícias dos tablóides, poderíamos acidentalmente causar os algoritmos do reddit para promover esses links dos tablóides?

Se a verificação de fatos aumentar a popularidade de fontes de notícias não confiáveis, a comunidade poderá precisar repensar onde colocar seus esforços. É por isso que os moderadores testaram um segundo comentário, aquele que incentiva os leitores a considerarem voto negativo.

Para testar o efeito dos comentários persistentes sobre os algoritmos do reddit, o software CivilServant coletou dados sobre a pontuação das postagens a cada quatro minutos. A plataforma não publica exatamente o que entra na pontuação ou exatamente como funcionam as classificações (perguntei). No entanto, foi possível prever com confiabilidade o ranking da página HOT do subreddit a partir de sua idade e pontuação (detalhes completos aqui). Basicamente, se a verificação de fatos teve um grande efeito na pontuação de um artigo, provavelmente teve um efeito na classificação de um artigo ao longo do tempo na primeira página do subreddit. Testei isso de duas maneiras: comparando as pontuações após 24 horas e modelando as alterações nas pontuações ao longo do tempo.

Eu usei um modelo binomial negativo para testar o efeito nas pontuações após 24 horas. Como os algoritmos do reddit permaneceram durante nosso experimento, encorajar a verificação de fatos fez com que os envios de tablóides recebessem 49,1% (2,04x mais baixo) da pontuação de envios sem comentários, depois de 24 horas, em média, em r / worldnews. O efeito é estatisticamente significativo. Nesse modelo, não consegui encontrar um efeito nos comentários persistentes que incentivavam os leitores a considerarem voto negativo.

Também testei o efeito da verificação de fatos na taxa de crescimento da pontuação de uma postagem ao longo do tempo. Para fazer essa pergunta, ajustei um modelo de regressão linear de interceptação aleatória na pontuação transformada em log para um post a cada quatro minutos. Eu descobri que encorajar a verificação de fatos faz com que a taxa de crescimento da pontuação seja menor. Aqui, descobri que o incentivo à votação realmente tem um pequeno efeito positivo na taxa de crescimento da pontuação ao longo do tempo, em média. Como estávamos realizando o experimento durante uma alteração nos algoritmos do reddit no início de dezembro de 2016, também descobri que o efeito desses comentários persistentes nos algoritmos do reddit pode ter mudado depois que o reddit ajustou seus algoritmos (detalhes).

Quem ajudou a verificar os artigos de notícias?

Dos 930 comentários não-bot com links que os moderadores permitiram permanecer, 737 contas de usuários contribuíram com links para mais evidências. Destas, 133 contas fizeram mais de um comentário com links. Muitas pessoas verificaram seus próprios envios, com os remetentes postando 81 comentários para obter mais informações.

O que não podemos saber deste estudo?

Esse teste analisa os resultados nas discussões, e não nas contas individuais, para que não possamos saber se cada pessoa foi convencida a ser mais cética ou se os comentários persistentes fizeram com que pessoas já céticas investigassem e compartilhassem. Também não tenho nenhuma evidência sobre o efeito da verificação de fatos nos leitores, embora outras pesquisas sugiram que a verificação de fatos influencia as crenças dos leitores [2] [3].

Este estudo não pode nos dizer muito sobre o motivo pelo qual observamos uma mudança tão grande nos efeitos algorítmicos quando alteramos a mensagem, incentivando os leitores a considerarem voto negativo. Essa diferença pode ser um exemplo do que os psicólogos chamam de "reatância", uma resistência às sugestões da autoridade. Ou, se os apresentadores de notícias temem que seus links possam ter votos negativos, eles podem pedir ajuda, o que equilibra o comportamento dos leitores.

Isso funcionaria com outros tipos de links, em outros subreddits ou em outros sites? Este estudo é limitado a uma comunidade específica e a uma lista de sites. Embora eu suspeite que muitas grandes comunidades online de leitores ajudariam a verificar os fatos se os moderadores perguntassem, nossas descobertas sobre o algoritmo reddit estão muito mais situadas.

Poderíamos responder a essas perguntas se mais subreddits decidissem fazer experimentos semelhantes. Se você estiver interessado, entre em contato comigo no reddit para discutir a execução de um experimento semelhante e se inscrever para receber atualizações por email.

Saiba mais sobre esta experiência

Meu doutorado envolve apoiar comunidades para testar os efeitos de suas próprias práticas de moderação. Projetei esse experimento em conjunto com os moderadores da r / worldnews e foi aprovado pelo Comitê do MIT sobre o Uso de Humanos como Assuntos Experimentais. Se você tiver alguma dúvida ou preocupação, entre em contato com natematias no redditmail.

Esse experimento, como todas as minhas pesquisas sobre o reddit até agora, foi conduzido independentemente da plataforma do reddit, que não teve nenhum papel no planejamento ou no design do experimento. O experimento ainda não foi revisado por pares. Todos os resultados do CivilServant são publicados publicamente de volta às comunidades envolvidas assim que os resultados estiverem prontos, com publicações acadêmicas chegando mais tarde.

Detalhes completos do experimento foram publicados com antecedência em um plano de pré-análise em osf.io/hmq5m/. Se você está interessado nas estatísticas, publiquei todos os detalhes da análise.

Referências

[1] Salganik, M.J. & Watts, D.J. (2008). Desviando o rebanho: um estudo experimental de profecias auto-realizáveis ​​em um mercado cultural artificial. Psicologia social trimestral, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz e John Cook. Desinformação e sua correção Influência Contínua e Debiasing com Sucesso. Ciência psicológica de interesse público, 13 (3): 106–131, dezembro de 2012.

[3] Thomas Wood e Ethan Porter. O efeito ilusório do tiro pela culatra: a aderência factual constante das atitudes de massa. Artigo Scholarly SSRN ID 2819073, Rede de Pesquisa em Ciências Sociais, Rochester, NY, agosto de 2016.

[4] Rahwan, Iyad (2016) Sociedade em loop: programação do contrato social algorítmico. Médio

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios e Cedric Langbort. 2014. Algoritmos de auditoria: Métodos de pesquisa para detecção de discriminação em plataformas da Internet. Dados e Discriminação: Convertendo Preocupações Críticas em Inquérito Produtivo, Reunião Anual da International Communication Association, 2014

[6] Diakopoulos, N. & Koliska, M. (2016). Transparência algorítmica na mídia. Jornalismo Digital, 1–20.

[7] Thaler, R.H., & Sunstein, C.R. (2003). Paternalismo libertário. The American Economic Review, 93 (2), 175-179.