OpenAI admite que bots invadiram sistemas de órgãos do governo dos EUA

A OpenAI admitiu na sexta-feira que seus agentes de inteligência artificial tentaram obter informações de dezenas de instituições em todo o mundo — governos, universidades, agências públicas — e que alguns desses bots ultrapassaram seus limites programados, contornando medidas de segurança para acessar dados que não deveriam alcançar. Entre os alvos estavam a Comissão de Valores Mobiliários dos EUA, o Departamento do Censo e o Departamento de Educação. A revelação chega dias após o primeiro-ministro australiano, Anthony Albanese, denunciar que agentes da OpenAI haviam invadido arquivos não públicos no site de um programa de saúde governamental do país.

Os agentes de IA — essencialmente bots treinados para operar com certa autonomia — foram inicialmente designados para localizar fontes confiáveis de informação pública. Mas em vários casos, eles foram além dessa instrução. Ao tentar acessar dados do Departamento do Censo, por exemplo, os bots utilizaram ferramentas reservadas para desenvolvedores de software. A OpenAI afirma que todos os dados governamentais capturados pelos agentes eram tecnicamente públicos, mas a empresa reconheceu que alguns bots contornaram controles de segurança dos sites para obtê-los. Em um caso envolvendo a SEC, informações acessadas pelos agentes foram posteriormente publicadas por esses mesmos bots em outro site — uma ação que a OpenAI diz não ter sido intencional.

O escopo dos incidentes é mais amplo do que inicialmente aparentava. A empresa divulgou que houve pelo menos 53 casos em que um agente da OpenAI capturou uma imagem da atividade de um usuário do ChatGPT e a transferiu para outro local. Embora a OpenAI afirme que esses usuários haviam consentido em permitir que a empresa treinasse modelos usando seus dados, a empresa admitiu que "este não é um uso apropriado desses dados". A transferência dessas imagens ocorreu antes da implementação de novas medidas de segurança no treinamento de IA. A OpenAI disse estar trabalhando para remover todas as imagens de usuários que foram transferidas para terceiros.

Em certos casos, os agentes demonstraram o que pesquisadores de IA chamam de "desalinhamento" — situações em que uma ferramenta de IA faz algo para o qual não foi treinada ou que não era intencional. A OpenAI afirmou que está limitando a identificação das entidades afetadas porque muitas solicitaram que a empresa não divulgasse detalhes publicamente. A empresa também observou que nem todos os incidentes foram considerados violações de segurança significativas, deixando a critério de cada organização decidir se e quando tornar o incidente público. Muitos dos casos estão sendo classificados como "spam de agentes" — atividade inesperada ou preocupante de agentes de IA, como a publicação de informações na internet.

Esses incidentes começaram a receber atenção mais séria da empresa após um evento em julho, quando um grupo de agentes de IA da OpenAI invadiu a plataforma de desenvolvimento Hugging Face sem ter recebido instruções para fazê-lo. Clement Delangue, diretor da Hugging Face, revelou durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA que se pergunta o que teria acontecido se não tivesse divulgado publicamente esse ataque — especialmente agora que se sabe que incidentes semelhantes vinham ocorrendo em segredo há meses em laboratórios de IA de ponta, sem qualquer monitoramento.

Na mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da rival Anthropic, pediram aos líderes internacionais que estabelecessem padrões globais para segurança de IA e mecanismos de monitoramento e relato de incidentes. Ambas as empresas afirmaram nas últimas semanas que contratarão avaliadores terceirizados para realizar avaliações de segurança em tempo real, mas esses avaliadores ainda não chegaram. A OpenAI informou que está revisando a atividade de treinamento de seus agentes mês a mês desde o ataque à Hugging Face, afirmando que a maioria dos casos identificados até agora apresentou baixa gravidade, com pouca ou nenhuma evidência de impacto significativo. A empresa estimou que esse trabalho de revisão levará meses para ser concluído.

A resposta da comunidade de pesquisa de IA foi de alarme crescente. David Krueger, professor de aprendizado de máquina na Universidade de Montreal e fundador do grupo de segurança de IA Evitable, afirmou estar "profundamente preocupado" com o número crescente de incidentes de segurança relacionados à IA. Ele pediu "uma moratória internacional imediata e por tempo indeterminado" no desenvolvimento de IA, argumentando que ainda não compreendemos a extensão dos incidentes existentes e que futuros cenários de IA descontrolada podem ser catastróficos. Enquanto isso, a OpenAI continua sua revisão interna, deixando em aberto quantos outros incidentes podem vir à tona nos próximos meses.