Ex-OpenAI critica falta de cautela em desenvolvimento de IA

O tempo de tentativa e erro acabou
Robinson argumenta que sistemas de IA avançados exigem cautela semelhante à de energia nuclear e aviação.
Mark

Por que Robinson saiu agora? O que o levou a falar publicamente?

Mimi

Ele trabalhou lá por três anos e meio supervisionando segurança em doze lançamentos. Provavelmente chegou a um ponto em que viu que suas preocupações não estavam sendo ouvidas da forma que acreditava ser necessária.

Luke

Mas o artigo não diz isso explicitamente. Sabemos que ele saiu, sabemos que está criticando agora, mas não sabemos o gatilho específico ou se houve um desentendimento direto.

Mark

Ele fala sobre "implantação iterativa". Isso é realmente tão perigoso quanto ele sugere?

Mimi

É uma questão de filosofia de risco. Você testa enquanto está em produção, em vez de antes. Em aviação ou energia nuclear, isso seria inaceitável. Você não coloca um avião no ar e depois aprende a consertar os freios.

Luke

Mas a OpenAI argumentaria que a IA é diferente — que você não pode prever todos os problemas em laboratório, que o mundo real é onde você aprende. E isso tem alguma verdade. O que Robinson está dizendo é que o ritmo atual não deixa espaço nem para o aprendizado iterativo ser seguro.

Mark

Ele menciona "alinhamento". O que é exatamente?

Mimi

É a pesquisa sobre como fazer com que sistemas de IA façam o que você quer que façam, alinhados com valores humanos. É o oposto de um sistema que faz tecnicamente o que foi programado, mas de uma forma que ninguém esperava ou desejava.

Luke

E Robinson está dizendo que as capacidades estão crescendo mais rápido que a compreensão do alinhamento. Isso é uma observação sobre a velocidade relativa, não uma afirmação de que o alinhamento é impossível.

Mark

Jacob Coxon deixou a indústria inteiramente. Isso é significativo?

Mimi

Muito. Ele não mudou de empresa, não foi para outra startup. Saiu do campo. Isso sugere que suas preocupações não eram sobre uma empresa específica, mas sobre a direção do setor inteiro.

Luke

Mas também não sabemos os detalhes de por que ele saiu ou se havia outras razões pessoais ou profissionais. O que sabemos é que ele acusa ambas as empresas de irresponsabilidade e de apostar com as vidas das pessoas.

Mark

A OpenAI respondeu dizendo que pausa o treinamento quando precisa. Isso não é suficiente?

Mimi

Depende de com que frequência eles realmente pausam e por quanto tempo. Se é uma pausa genuína para resolver problemas, é diferente de uma pausa cosmética para parecer responsável.

Luke

E não sabemos a resposta a isso. A OpenAI fez uma declaração, mas não há dados públicos sobre quantas vezes realmente pausaram, por quanto tempo, ou se essas pausas foram suficientes para resolver as preocupações de segurança.

  • Robinson, que supervisionou a segurança de doze lançamentos de modelos na OpenAI, afirma que a empresa não dá espaço suficiente à pesquisa de segurança antes de colocar sistemas poderosos no mundo.
  • A prática chamada de 'implantação iterativa' — lançar primeiro, corrigir depois — é apontada por ele como perigosamente inadequada para tecnologia de tamanha magnitude.
  • O conhecimento sobre 'alinhamento', a ciência de fazer a IA agir segundo valores humanos, está ficando para trás enquanto as capacidades dos sistemas avançam em ritmo acelerado.
  • A OpenAI respondeu dizendo que pausa treinamentos quando necessário, mas não enfrentou diretamente a acusação de que o ritmo atual já é, em si, o problema.
  • Robinson não está isolado: o pesquisador Jacob Coxon, que trabalhou na OpenAI e na Anthropic, também abandonou a indústria, acusando ambas as empresas de 'apostar com nossas vidas' na corrida por uma superinteligência autoaperfeiçoável.

Há uma tensão antiga entre o impulso de criar e a sabedoria de conter — e ela ressurge agora no coração da inteligência artificial. David Robinson, ex-responsável por segurança na OpenAI, rompeu o silêncio para alertar que a corrida tecnológica entre as grandes empresas do setor avança mais depressa do que a capacidade humana de compreender e controlar o que está sendo construído. Sua voz ecoa a de outros que deixaram a indústria com a mesma inquietação: quando a velocidade se torna o valor supremo, a cautela é a primeira vítima.

David Robinson passou três anos e meio na OpenAI trabalhando em segurança — ajudou a construir o framework de gestão de riscos da empresa e acompanhou o lançamento de doze modelos avançados. Ao sair, decidiu falar publicamente. Em um artigo na revista The Atlantic, ele argumenta que a cultura de desenvolvimento acelerado da OpenAI e de seus concorrentes aumenta o risco de falhas graves.

A crítica central de Robinson recai sobre a chamada 'implantação iterativa': a prática de lançar sistemas e reforçar a segurança conforme os problemas surgem. Para ele, essa lógica inverte a ordem necessária — e é inadequada para uma tecnologia tão poderosa. Ele defende que a IA deveria ser tratada com o mesmo rigor estrutural da energia nuclear e da aviação, setores onde o erro tem custo alto demais para ser descoberto depois do fato. Robinson também alerta que as capacidades da IA estão avançando mais rápido do que o entendimento dos pesquisadores sobre alinhamento, a área que busca garantir que sistemas ajam segundo objetivos humanos.

A OpenAI respondeu afirmando que pausa treinamentos quando precisa reduzir o ritmo — uma resposta que reconhece a tensão, mas não enfrenta diretamente a acusação de que o ritmo atual já é o problema. Enquanto isso, Robinson não está sozinho: Jacob Coxon, pesquisador britânico de 27 anos que trabalhou na OpenAI e depois na Anthropic, deixou a indústria completamente no mês anterior, acusando ambas as empresas de 'correr em direção a uma superinteligência capaz de se aprimorar sozinha' e de apostar com vidas humanas nessa corrida.

O que Robinson e Coxon descrevem não são falhas pontuais, mas um problema estrutural: uma indústria que elegeu a velocidade como valor supremo. A pergunta que fica é se alguém dentro dela está disposto a ouvir.

David Robinson passou três anos e meio dentro da OpenAI, trabalhando na área de segurança. Ele ajudou a desenhar o framework que a empresa usa para gerenciar riscos e supervisionou relatórios de segurança em doze lançamentos de modelos avançados. Agora que saiu, ele está falando — e o que tem a dizer é que a empresa onde trabalhou, junto com seus concorrentes no setor de inteligência artificial, não está sendo cuidadosa o suficiente.

Em um artigo publicado na revista americana The Atlantic no sábado, Robinson argumenta que a cultura de desenvolvimento acelerado na OpenAI aumenta o risco de falhas. A empresa, diz ele, deveria dar mais espaço a especialistas em segurança e à pesquisa antes de lançar sistemas mais avançados. "O tempo de tentativa e erro acabou", escreveu Robinson. Para ele, sistemas de IA sofisticados precisam de medidas de segurança comparáveis às que existem em setores como energia nuclear e aviação — campos onde o custo do erro é tão alto que a cautela é não apenas recomendada, mas estrutural.

Uma das práticas que Robinson critica especificamente é o que a OpenAI chama de "implantação iterativa": lançar um sistema e depois reforçar as medidas de segurança conforme os problemas aparecem. É uma abordagem que inverte a ordem tradicional — em vez de resolver os problemas antes de colocar algo no mundo, resolve-se enquanto o sistema já está em uso. Robinson vê isso como inadequado para tecnologia tão poderosa. Ele também alertou que as capacidades da inteligência artificial estão avançando mais rapidamente do que o conhecimento dos pesquisadores sobre "alinhamento", a área dedicada a fazer com que sistemas de IA atuem de acordo com objetivos e valores humanos. Quando a tecnologia se move mais rápido que a compreensão, o risco cresce.

A OpenAI respondeu às críticas afirmando que busca evitar que seus modelos se tornem mais avançados do que a empresa consegue administrar com segurança. Um porta-voz da companhia disse que pausam o treinamento ou suspendem modelos quando precisam diminuir o ritmo. É uma resposta que reconhece a tensão — a necessidade de frear — mas não aborda diretamente a crítica de que o ritmo atual já é problemático.

Robinson não está sozinho nessa preocupação. No mês anterior, Jacob Coxon, um pesquisador britânico de 27 anos, deixou a indústria de IA inteiramente. Coxon trabalhou nos últimos três anos com pré-treinamento — a etapa em que modelos de IA absorvem grandes quantidades de informação — primeiro na OpenAI e depois na Anthropic, a maior rival da empresa. Ele acusou ambas as companhias de "brincar com as nossas vidas". "Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas", escreveu Coxon na rede social X.

Essas críticas se inserem em um debate mais amplo no setor sobre a velocidade com que as empresas desenvolvem sistemas cada vez mais avançados. A OpenAI e a Anthropic já enfrentaram questionamentos após episódios em que controles de segurança falharam ou sistemas experimentais apresentaram comportamentos inesperados. O que Robinson e Coxon estão dizendo é que esses episódios não são anomalias — são sintomas de um problema estrutural, uma corrida que prioriza a velocidade sobre a segurança. A questão agora é se a indústria vai ouvir.

As empresas de IA, incluindo a OpenAI, não estão sendo nem de perto cuidadosas o suficiente
— David Robinson, ex-funcionário de segurança da OpenAI
Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas
— Jacob Coxon, ex-pesquisador da OpenAI e Anthropic
Quieres la nota completa? Lee el original en g1.globo.com ↗
Contáctanos FAQ