Geoffrey Hinton alerta: IA pode ser extraordinariamente perigosa se não conseguirmos controlá-la

A questão decisiva talvez não seja quanto aumentar a inteligência das máquinas, mas se aprenderemos a controlá-la.
Hinton identifica o verdadeiro desafio do século XXI: não a capacidade de criar IA mais poderosa, mas a de governá-la antes que escape ao nosso controlo.
Mark

Hinton diz que novos profissionais devem aprender canalização em vez de irem para a universidade. Isso significa que a educação superior está condenada?

Mimi

Não é bem assim. O que ele está a dizer é que a IA é particularmente boa em trabalhos intelectuais baseados em computador — programação, análise de dados, escrita. Trabalhos que exigem manipulação física de ambientes imprevisíveis ainda são muito mais difíceis para as máquinas. É um aviso sobre onde os riscos de desemprego são maiores, não uma condenação da universidade.

Luke

Mas há um salto lógico aí. Só porque a IA é boa em programação agora não significa que não será boa em canalização daqui a dez anos. Hinton está a fazer uma recomendação baseada no estado actual da tecnologia, não numa verdade permanente.

Mark

Ele fala de um risco de extinção entre 10 e 20%. Como é que alguém chega a esse número?

Mimi

Hinton é honesto sobre isto. Ele diz que não é um cálculo científico. É uma intuição. Porque nunca aconteceu antes — uma espécie criar uma forma de inteligência superior a si própria. Não temos dados históricos para isto.

Luke

Exactamente. E isso é importante notar. Quando ele diz 10-20%, não está a falar de algo que possa ser verificado ou refutado. É uma estimativa pessoal sobre um cenário sem precedentes. Não devemos tratá-la como se fosse um número científico.

Mark

Mas se os benefícios da IA são tão grandes — medicina, educação, ciência — porque é que ele está tão preocupado?

Mimi

Porque a mesma tecnologia que cura doenças pode ser usada para manipular populações inteiras. Uma máquina que conhece argumentos persuasivos e pode conversar com milhões de pessoas é uma ferramenta de propaganda sem precedentes. E depois há as armas autónomas.

Luke

O ponto dele sobre a comparação com a bomba atómica é crucial. Uma arma nuclear tem uma função principalmente destrutiva. A IA infiltra-se em praticamente tudo. Não podes simplesmente desligá-la sem renunciar aos seus benefícios.

Mark

Então qual é a solução que ele propõe?

Mimi

Não é uma solução pronta. É um desafio. Precisamos de aprender a construir sistemas extremamente capazes que mantenham objectivos compatíveis com os interesses humanos. Antes que o seu poder ultrapasse a nossa capacidade de os governar.

Luke

E isso é honesto, porque não sabemos se é possível. Hinton não promete que conseguiremos. Diz que é a questão decisiva do século XXI. Ou aprendemos a fazê-lo, ou enfrentamos um problema que ninguém sabe como resolver.

  • Geoffrey Hinton recebeu o Prémio Nobel da Física em 2024 por trabalho em redes neuronais
  • Hinton estima o risco de extinção por superinteligência em 10-20%, mas reconhece que não é um cálculo científico
  • A IA generativa ameaça principalmente trabalhos intelectuais baseados em computador, não trabalho físico
  • Hinton identifica dois tipos de ameaça: uso malicioso por humanos e potencial superinteligência incontrolável

Hinton recomenda que novos profissionais aprendam ofícios práticos como canalização, pois a IA generativa ameaça principalmente trabalhos intelectuais baseados em computador. A IA pode facilitar desinformação, fraudes, ciberataques e armas autónomas, enquanto oferece avanços extraordinários em medicina, educação e ciência.

Geoffrey Hinton, Prémio Nobel da Física 2024 e pioneiro das redes neuronais, alerta que a IA representa riscos existenciais significativos, desde desemprego e manipulação política até potencial superinteligência incontrolável.

Geoffrey Hinton construiu parte do alicerce sobre o qual a inteligência artificial moderna se ergue. Ajudou a estabelecer as bases das redes neuronais que hoje alimentam sistemas capazes de ler, escrever, programar e raciocinar com uma velocidade que teria parecido ficção científica há uma década. Em 2024, recebeu o Prémio Nobel da Física por esse trabalho fundamental. Agora, porém, a sua preocupação central mudou de rumo. Já não se trata apenas de tornar a IA mais inteligente. A questão que o ocupa é como a humanidade viverá com uma tecnologia que pode ser extraordinariamente poderosa e que ninguém sabe completamente como controlar.

Numa conversa recente, Hinton traçou um futuro repleto de contradições. De um lado, avanços médicos e educativos que poderão transformar diagnósticos, descobertas farmacológicas e o ensino personalizado. Do outro, desemprego, manipulação política, ciberataques, armas autónomas e sistemas cuja inteligência poderá ultrapassar largamente a nossa. Não diz que o desastre seja inevitável. Diz que estamos a desenvolver uma tecnologia extraordinariamente poderosa sem sabermos como controlá-la completamente.

O conselho que oferece aos que agora iniciam a sua carreira profissional é tão simples quanto desconcertante: aprendam um ofício prático, como canalização. Não é uma cruzada contra a universidade. É uma observação sobre a diferença fundamental entre o mundo digital e o físico. Os sistemas de IA actuais conseguem ler, escrever, resumir documentos, programar e analisar informação com enorme velocidade. Manipular fisicamente um ambiente imprevisível continua a ser muito mais complicado. Durante décadas, pensámos que as máquinas substituiriam primeiro o esforço físico e deixariam a salvo o trabalho intelectual. A IA generativa está agora a obrigar-nos a reconsiderar essa ideia. Trabalhos realizados em frente a um computador tornaram-se particularmente vulneráveis.

Mas há mais camadas nesta questão. Uma pessoa assistida por IA poderá fazer um trabalho que antes necessitava de várias pessoas. Isto significa um aumento da produtividade. Também significa uma pergunta incómoda: quem fica com essa riqueza? Hinton teme que os benefícios económicos da revolução tecnológica possam concentrar-se de uma forma extraordinária. Uma IA capaz de multiplicar a produtividade pode criar muito mais riqueza e, simultaneamente, aumentar a desigualdade se essa riqueza ficar em poucas mãos.

Hinton estabelece uma separação fundamental entre dois tipos de ameaça. Num lado, as que aparecem quando os seres humanos utilizam a inteligência artificial com fins danosos. A IA pode facilitar campanhas de desinformação, falsificações, fraudes ou ciberataques e possibilitar que operações que antigamente exigiam conhecimentos técnicos específicos fiquem ao alcance de muito mais pessoas. A capacidade de persuasão preocupa-o particularmente. Uma máquina que conhece enormes quantidades de informação, que aprende os argumentos que funcionam e pode conversar individualmente com milhões de pessoas, dispõe de uma ferramenta que não se assemelha à propaganda tradicional. A isto juntam-se as armas autónomas — sistemas capazes de escolher objectivos e agir com um nível crescente de autonomia.

No outro lado está um cenário muito mais incerto: máquinas que um dia sejam consideravelmente mais inteligentes do que nós. É aqui que Hinton reconhece algo essencial: ninguém conhece a resposta. Alguns investigadores consideram que manteremos o controlo porque podemos desenhar sistemas obedientes. Outros defendem que uma superinteligência representaria um perigo existencial praticamente inevitável. Hinton não adopta nenhuma dessas posições extremas. As suas estimativas pessoais sobre o risco de extinção situam-se entre 10 e 20%, mas realça que não resultam de um cálculo científico capaz de definir essa probabilidade, mas de uma apreciação intuitiva de um fenómeno sem precedentes. Não existe uma experiência histórica que permita calcular o que acontece quando uma espécie cria outra forma de inteligência superior a ela.

A sua preocupação também parte de uma diferença fundamental entre cérebros e máquinas. O conhecimento humano transmite-se lentamente através da linguagem, do ensino e da cultura. Os sistemas digitais podem copiar parâmetros e informação de diferentes entidades com uma facilidade radicalmente diferente. Uma inteligência digital pode beneficiar de uma propriedade que a nossa inteligência biológica não possui na mesma medida: aquilo que uma máquina aprende pode propagar-se e replicar-se a velocidades extraordinárias. Mas isto não significa, necessariamente, que escapará ao nosso controlo. E é precisamente aí que reside a parte menos espectacular, mas provavelmente mais importante da mensagem de Hinton. Há que investigar como construir sistemas que, mesmo sendo extremamente capazes, mantenham objectivos compatíveis com os interesses humanos. A questão decisiva do século XXI talvez não seja quanto poderemos aumentar a inteligência das máquinas, mas se aprenderemos a fazê-lo antes de o seu poder ultrapassar a nossa capacidade de governá-las.

Estamos a desenvolver uma tecnologia extraordinariamente poderosa, sem sabermos como controlá-la completamente.
— Geoffrey Hinton
A questão decisiva do século XXI talvez não seja quanto poderemos aumentar a inteligência das máquinas, mas se aprenderemos a fazê-lo antes de o seu poder ultrapassar a nossa capacidade de governá-las.
— Geoffrey Hinton
Contact Us FAQ