Num tempo em que máquinas passam a responder perguntas que antes eram feitas a especialistas, pesquisadores brasileiros e britânicos decidiram medir algo que costuma ficar invisível: a inclinação que um sistema de inteligência artificial carrega quando diz não pertencer a nenhum lado. Ao comparar as respostas padrão do ChatGPT com as que ele dava ao se fazer passar por eleitores de direita e de esquerda, o estudo, publicado na revista Public Choice, concluiu que a voz 'neutra' da ferramenta se aproxima mais do campo progressista, o que levanta a questão de até que ponto a imparcialidade promet
ChatGPT tem viés de esquerda, aponta estudo de pesquisadores brasileiros e ingleses
Respostas neutras do ChatGPT se parecem com as de um eleitor de esquerda
Mark
Como os pesquisadores chegaram à conclusão de que o ChatGPT tem viés de esquerda?
Mimi
Pediram que ele respondesse a questionários ideológicos como eleitor de direita, de esquerda e de forma neutra. A resposta neutra ficou parecida com a de esquerda.
Mark
E nos Estados Unidos?
Mimi
Compararam democrata, republicano e sem especificação. O modo padrão se aproximou do democrata.
Luke
Vale notar o que a reportagem não traz: não há números, nem quantas perguntas, nem quão grande foi a proximidade.
Mark
E a menção ao PT e ao Partido Trabalhista?
Mimi
O texto diz que as explicações da IA ficam mais próximas desses partidos, além dos democratas.
Luke
Isso é a conclusão atribuída ao estudo. A matéria não detalha como foi medida a proximidade com PT e trabalhistas.
Mark
Qual é o argumento central dos autores?
Mimi
Se não houvesse viés, a resposta padrão não deveria coincidir nem com a do democrata nem com a do republicano.
Luke
É um critério dos autores, e é um estudo só. Não sabemos se outros métodos chegariam ao mesmo resultado.
Mark
E o que eles propõem?
Mimi
Que o método sirva para medir e reduzir vieses em qualquer área que tenha um questionário ideológico.
Il Polso
- Uma ferramenta que se apresenta como neutra revela, em teste controlado, uma inclinação consistente para o campo da esquerda.
- A descoberta ganha peso porque milhões de pessoas usam o ChatGPT para informação e conselhos, ampliando o alcance de qualquer viés.
- Os pesquisadores montaram um experimento comparativo, pedindo à IA que respondesse como eleitor de direita, de esquerda e sem posição definida.
- O mesmo padrão aparece no cenário americano, onde as respostas neutras se aproximam dos democratas e não dos republicanos.
- O método foi publicado para que outros possam replicá-lo, sinalizando que a discussão sobre mitigar vieses em IA está apenas começando.
Num tempo em que máquinas passam a responder perguntas que antes eram feitas a especialistas, pesquisadores brasileiros e britânicos decidiram medir algo que costuma ficar invisível: a inclinação que um sistema de inteligência artificial carrega quando diz não pertencer a nenhum lado. Ao comparar as respostas padrão do ChatGPT com as que ele dava ao se fazer passar por eleitores de direita e de esquerda, o estudo, publicado na revista Public Choice, concluiu que a voz 'neutra' da ferramenta se aproxima mais do campo progressista, o que levanta a questão de até que ponto a imparcialidade prometida pelas máquinas corresponde à realidade. Mais do que um veredicto, o trabalho oferece uma régua para que a sociedade possa, em qualquer tema, verificar o que essas vozes realmente pendem a dizer.
Os pesquisadores começaram com uma pergunta simples: se o ChatGPT fosse de fato imparcial, para onde apontariam suas respostas quando não recebesse nenhuma orientação política? Para descobrir, aplicaram aos sistema o mesmo questionário ideológico em três situações. Primeiro, pediram que ele respondesse como um eleitor de direita; depois, como um eleitor de esquerda; por fim, deixaram que respondesse do jeito habitual, o chamado modo padrão. O resultado surpreendeu: as respostas neutras se pareciam mais com as dadas na pele do eleitor de esquerda.
O mesmo teste foi repetido no contexto americano, com perfis do Partido Democrata e do Partido Republicano. Mais uma vez, a versão sem posição declarada ficou mais próxima do democrata. Segundo o estudo, essa tendência aproxima a ferramenta do Partido dos Trabalhadores no Brasil e do Partido Trabalhista britânico. O trabalho, intitulado "Mais humano que humano: medindo o viés político do ChatGPT", foi publicado na Public Choice.
Os autores, porém, não querem apenas apontar um problema. Eles defendem que o método pode ajudar a tornar esses sistemas mais imparciais, preservando a confiança do público na tecnologia e reduzindo possíveis efeitos políticos e eleitorais negativos. A abordagem, segundo eles, serve a qualquer área em que exista um questionário capaz de medir ideologia, deixando a outros pesquisadores a tarefa de aplicá-la a outros sistemas e temas.
Os pesquisadores fizeram ao ChatGPT as mesmas perguntas de um questionário ideológico em três situações diferentes. Primeiro, pediram que a inteligência artificial respondesse como um eleitor de direita. Depois, como um eleitor de esquerda. Por fim, pediram que respondesse do jeito habitual, sem assumir nenhum espectro político, o chamado modo "default". O resultado, segundo um estudo de pesquisadores brasileiros e ingleses, é que as respostas do modo padrão se pareceram com as dadas na pele de um eleitor de esquerda.
O experimento foi aplicado também ao cenário americano. Quando a plataforma foi instruída a responder como um eleitor do Partido Democrata, como um eleitor do Partido Republicano e, em seguida, sem indicar posição política, as respostas neutras ficaram mais próximas das do democrata. Segundo o estudo, as explicações fornecidas pela ferramenta se aproximam do Partido Democrata nos Estados Unidos, do Partido dos Trabalhadores no Brasil e do Partido Trabalhista do Reino Unido.
O trabalho tem o título "Mais humano que humano: medindo o viés político do ChatGPT" e foi publicado no periódico Public Choice. A lógica do teste está resumida numa frase do próprio texto: se o ChatGPT não fosse enviesado, suas respostas padrão não deveriam se alinhar nem com as do suposto democrata nem com as do republicano.
Os autores defendem que o método pode ajudar a garantir que esses sistemas sejam imparciais, reduzindo possíveis efeitos políticos e eleitorais negativos e protegendo a confiança do público na tecnologia. Eles afirmam ainda contribuir para uma pergunta mais ampla, a de como medir viés, já que a abordagem pode ser usada em qualquer área em que exista um questionário capaz de medir a ideologia das pessoas.
O ChatGPT é um chatbot que responde a perguntas variadas, realiza tarefas escritas, conversa de maneira fluida e pode até dar conselhos sobre problemas pessoais, embora genéricos. Está disponível em 100 idiomas. O sistema foi desenvolvido pela OpenAI, empresa fundada nos Estados Unidos em 2015 por Sam Altman.
O que o estudo propõe, na prática, é uma régua: comparar a resposta neutra de uma IA com as respostas de perfis ideológicos declarados. Os autores oferecem esse método para que outros o apliquem a diferentes sistemas e temas.
Citazioni salienti
Se o ChatGPT não fosse enviesado, suas respostas padrão não deveriam se alinhar nem com as do suposto democrata nem com as do republicano.— Estudo "Mais humano que humano: medindo o viés político do ChatGPT", Public Choice
Vuoi la storia completa?
Leggi l'originale su Correio Braziliense ↗
Technology