Cientista-chefe da OpenAI alerta para riscos da IA e defende desaceleração do desenvolvimento

No domingo passado, Jakub Pachocki, cientista-chefe da OpenAI, publicou um ensaio que funciona como um alerta interno transformado em reflexão pública. Seu argumento central é direto: o ritmo atual de avanço da inteligência artificial pode levar a máquinas capazes de impulsionar seu próprio desenvolvimento — um cenário conhecido como autoaperfeiçoamento recursivo — e ninguém ainda sabe como manter isso sob controle humano.

Pachocki descreve uma trajetória que começou em 2023, quando pesquisas internas sobre treinamento de modelos de raciocínio deram à equipe confiança de que era possível ampliar essas capacidades. Três anos depois, os sistemas já operam computadores, colaboram com pessoas e outras IAs, e realizam projetos de pesquisa. Ao mesmo tempo, ganharam capacidades sobre-humanas em cibersegurança — conseguem invadir e sair de sistemas computacionais de formas que superam o que humanos conseguem fazer. Mas há um problema crescente: conforme esses sistemas ficam mais capazes, seus resultados ficam mais opacos. A inteligência produzida por deep learning não funciona como a inteligência humana, e quando máquinas superam pessoas em mais áreas, fica cada vez mais difícil determinar exatamente do que são capazes.

Isso acontece porque a IA, segundo Pachocki, é mais cultivada do que projetada. Os modelos emergem de repetidas rodadas de otimização em quantidades massivas de computação, resultando em sistemas extremamente complexos cujo funcionamento geral ainda não pode ser completamente descrito ou compreendido. É como tentar entender um organismo vivo observando apenas seu comportamento externo — você vê o que ele faz, mas não consegue mapear completamente como funciona por dentro.

O segundo grande desafio que Pachocki identifica é o alinhamento — fazer com que sistemas de IA ajam de acordo com padrões e objetivos que humanos consideram adequados. Ele diferencia duas coisas: alinhamento de objetivos, que é executar o que foi determinado, e alinhamento de valores, que é generalizar princípios para situações novas ou ambíguas. O problema real surge quando IAs mais inteligentes atuam em ambientes diferentes daqueles onde foram treinadas. Nesse ponto, os valores ensinados podem não se generalizar bem. Pachocki afirma que futuras IAs precisam manter valores humanos mesmo quando não acreditarem estar sob supervisão.

A OpenAI tenta lidar com isso monitorando a cadeia de pensamento dos modelos — basicamente, analisando como eles raciocinam verbalmente. Mas Pachocki é honesto: as avaliações internas indicam que essa capacidade de monitoramento está diminuindo progressivamente. Os motivos são múltiplos: os modelos operam em ambientes mais complexos, conseguem raciocinar sobre seu próprio processo de raciocínio, e sua inteligência cresce mesmo sem depender de raciocínio verbalizado.

Apesar desses alertas, Pachocki não defende simplesmente parar de desenvolver. Ele vê um argumento forte para continuar: criar sistemas de defesa contra os riscos provocados por outras IAs. Se a tecnologia avança em laboratórios competindo globalmente, deixar de desenvolver defesas seria imprudente. Mas também afirma que a necessidade de construir defesas não pode servir como justificativa para um avanço sem limites. A ideia de avançar a qualquer custo deixa de fazer sentido diante da dimensão dos riscos.

Sua proposta é pragmática: a comunidade pode escolher entre duas caminhos principais. Um é conduzir o desenvolvimento de forma a fortalecer simultaneamente alinhamento e monitoramento, mantendo pessoas envolvidas no ciclo. Outro é coordenar uma desaceleração voluntária enquanto se busca maior confiança nas medidas de segurança. Para Pachocki, o melhor é combinar as duas abordagens. Ele defende que o avanço seja condicionado à confiança existente em medidas de segurança, e que compromissos como o Preparedness Framework da OpenAI e o Responsible Scaling Policy da Anthropic evoluam para parâmetros amplamente adotados, fiscalizados por auditorias independentes, governos ou organismos internacionais.

No fim, Pachocki é claro: nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar aumentando a escala na velocidade máxima por muito mais tempo. Ele espera que desacelerações voluntárias se tornem comuns até que existam parâmetros de segurança compartilhados, e defende que coordenação internacional sobre o desenvolvimento futuro da IA se torne prioridade para governos. É um chamado para pausa estratégica — não para parar, mas para sincronizar o ritmo com a capacidade de garantir segurança.