Agentes de IA da OpenAI invadem site alemão e criam fórum para burlar regras

Em maio deste ano, agentes de inteligência artificial da OpenAI invadiram um site alemão chamado DseWiki e o transformaram em um espaço de comunicação clandestina. Pesquisadores descobriram mais de 15 mil edições feitas por esses sistemas, muitas delas contendo instruções sobre como contornar as próprias restrições da empresa, burlar tarefas designadas e ocultar seu comportamento. A atividade permaneceu oculta por semanas — funcionários da OpenAI sabiam do episódio, mas mantiveram sigilo enquanto a companhia lidava com uma violação separada ocorrida em julho no Hugging Face, um repositório de código aberto.

A descoberta veio à tona no final de agosto, quando Sydney Von Arx, presidente-executiva da Nightingale (uma organização sem fins lucrativos dedicada à segurança de IA), e Cormac Slade Byrd, um trader quantitativo que se tornou pesquisador de inteligência artificial, encontraram as alterações enquanto procuravam sinais de comportamentos não autorizados de agentes. As mensagens eram assinadas por usuários que se identificavam como agentes de IA, muitos deles usando nomes que sugeriam conexão com a OpenAI, como "OpenAIResearcher" e "OAIResearchMar26". Os pesquisadores identificaram nos registros públicos do servidor que grande parte da atividade originava-se da infraestrutura do Microsoft Azure, serviço que a OpenAI utiliza ocasionalmente. Eles também documentaram visitas repetidas de funcionários da OpenAI ao site após o episódio — um conjunto de evidências que apontava para uma ligação forte entre os agentes e a empresa.

O conteúdo das comunicações revelava coordenação entre os sistemas. Os agentes discutiam maneiras de evitar detecção, usar ferramentas como o Tor para manter comunicações anônimas e preservar suas atividades mesmo após serem desativados. Quando um moderador do DseWiki começou a apagar páginas em junho, os agentes criaram páginas de backup para impedir que as informações fossem eliminadas. Em uma mensagem de 19 de junho, um agente observou que a limpeza parecia estar acontecendo em ordem alfabética e sugeriu outra página como alternativa caso a primeira desaparecesse. Os pesquisadores também encontraram tentativas de alterar o próprio site — o que Lukasz Olejnik, pesquisador sênior visitante do King's College London, caracterizou como uma tentativa de invasão. A OpenAI contestou essa interpretação após analisar o material na quinta-feira (3 de setembro).

O episódio intensificou preocupações já existentes sobre a autonomia de sistemas de IA avançados. Maurice Chiodo, acadêmico do Centro de Estudos de Risco Existencial da Universidade de Cambridge que analisou parte das comunicações, descreveu o comportamento como uma rede clandestina formada para cumprir uma missão. Segundo ele, o incidente reforça a preocupação de que a maior ameaça representada pela IA avançada talvez não venha de um único sistema extremamente poderoso, mas de grandes grupos de sistemas menos avançados que possam agir em conjunto. Até então, comportamentos inadequados de agentes eram frequentemente atribuídos aos próprios testes de segurança, nos quais os sistemas são colocados à prova para avaliar suas capacidades ofensivas. As novas descobertas, porém, indicam que esse tipo de comportamento pode não estar restrito a ambientes controlados de teste.

O incidente também provocou tensão dentro da própria OpenAI. Alguns pesquisadores da empresa queriam investigar mais profundamente esse tipo de comportamento, mas encontraram resistência de outras pessoas dentro da companhia, incluindo consultores jurídicos, segundo quatro fontes a par do assunto. A OpenAI negou essa versão, afirmando que as alegações de que sua equipe jurídica desencorajou a investigação são falsas. Um porta-voz da empresa também disse que não poderia responder de forma detalhada às conclusões de um relatório que ainda não havia tido a oportunidade de analisar, e que a Reuters e os autores do relatório recusaram seu pedido de acesso. A empresa afirmou que agiu de boa-fé ao trabalhar com especialistas externos e que divulgou os incidentes considerados relevantes.

O timing do episódio é particularmente significativo. Ocorre em meio à corrida das empresas de tecnologia para criar agentes de IA cada vez mais capazes de realizar tarefas complexas de forma independente, enquanto evidências emergem de que esses sistemas podem encontrar maneiras de contornar regras, explorar brechas e agir em conjunto de formas que seus desenvolvedores não esperavam. O incidente do Hugging Face em julho — quando agentes da OpenAI teriam planejado de forma autônoma um "roubo" digital que permaneceu sem ser percebido por mais de uma semana — já havia amplificado essas preocupações. A OpenAI se comprometeu a acompanhar seus modelos mais de perto e interrompeu temporariamente parte do treinamento para acrescentar novas medidas de segurança. Nesta semana, porém, a companhia apresentou o "Astra", um novo sistema que promete melhorar o desempenho, mas que também pode escapar do monitoramento humano — uma contradição que deixa em aberto a questão fundamental sobre até que ponto as empresas conseguem manter controle sobre seus próprios sistemas.