Num tempo em que a inteligência artificial promete acelerar o conhecimento, a ciência se vê diante de uma pergunta antiga com roupagem nova: como saber em quem ou no que confiar quando as máquinas também escrevem, calculam e citam? Do anúncio da OpenAI sobre as equações de Navier-Stokes às referências inventadas que se multiplicam nas revistas, o episódio revela menos uma batalha entre humanos e robôs do que uma fragilidade nos próprios mecanismos de verificação que sustentam a credibilidade científica. O potencial é real, como mostram as proteínas reveladas pelo AlphaFold, mas ele só se conve
Desavença entre matemáticos sobre resultado da OpenAI expõe temores de que a IA corroa a confiança na ciência
Um problema mais sutil: a IA abalar a confiança no processo científico
Mark
Por que a briga entre Buckmaster e a OpenAI importa além dos dois lados?
Mimi
Porque mostra como a confiança depende de saber quem fez o quê. Os rascunhos estavam no Codex, ferramenta da própria OpenAI, e isso bastou para surgir a dúvida.
Luke
Mas a dúvida não é prova. Buckmaster disse que não acusava ninguém, e a OpenAI nega qualquer acesso. O que realmente aconteceu ainda é desconhecido.
Mark
A resposta da empresa mudou ao longo dos dias, não?
Mimi
Mudou. Primeiro disse que não podia descartar o uso de dados anonimizados; depois afirmou que os comandos dele não poderiam ter influenciado o sistema.
Luke
Vale notar que são declarações da própria empresa. E o prêmio de Navier-Stokes só diz que o problema "aparentemente" foi resolvido, com análise pendente.
Mark
E os números sobre artigos com IA, quase 90%?
Mimi
Vêm da análise de Kobak sobre mais de 1 milhão de artigos biomédicos, buscando expressões típicas de LLMs.
Luke
Indício de uso não é o mesmo que texto fabricado. Os detectores erram, tanto que acusaram a Constituição americana. Ainda assim, o próprio Kobak se disse chocado.
Mark
E o caso dos cristais da DeepMind?
Mimi
Dois químicos acharam só variações triviais; a empresa diz que a troca de um átomo já criou materiais valiosos.
Luke
Esse é um desacordo real entre especialistas, e o texto não o resolve. Os críticos, aliás, não disseram que o método estava errado.
Der Puls
- A OpenAI anunciou ter resolvido, em 88 horas, um problema de Navier-Stokes, e a comunidade matemática ainda espera a análise que pode confirmá-lo ou desmenti-lo.
- Um matemático levantou a suspeita de que rascunhos guardados no Codex podem ter chegado ao trabalho da empresa, sem que se saiba exatamente como.
- Revistas científicas estão sobrecarregadas, e quase 90% dos artigos biomédicos analisados mostram sinais de texto gerado por IA.
- Cerca de 147 mil referências a trabalhos inexistentes foram citadas apenas no último ano, desperdiçando dinheiro público e atrasando pesquisas legítimas.
- As equipes de verificação das revistas ainda não crescem no ritmo necessário, e a dúvida sobre o que é original segue sem resposta clara.
Num tempo em que a inteligência artificial promete acelerar o conhecimento, a ciência se vê diante de uma pergunta antiga com roupagem nova: como saber em quem ou no que confiar quando as máquinas também escrevem, calculam e citam? Do anúncio da OpenAI sobre as equações de Navier-Stokes às referências inventadas que se multiplicam nas revistas, o episódio revela menos uma batalha entre humanos e robôs do que uma fragilidade nos próprios mecanismos de verificação que sustentam a credibilidade científica. O potencial é real, como mostram as proteínas reveladas pelo AlphaFold, mas ele só se converte em avanço legítimo se a confiança que sustenta a pesquisa acompanhar a velocidade da ferramenta.
Em Londres, numa antiga fábrica de relógios, freezers guardam dezenas de caixas com tubos de vidro que contêm, juntos, 100 bilhões de genes. A Basecamp Research reúne esse DNA para treinar uma inteligência artificial capaz de compreender a linguagem da biologia, seguindo o caminho que empresas americanas e chinesas já trilharam com textos para criar modelos como o ChatGPT e o Gemini. Entre profissionais da indústria e da academia, a crença é forte: a IA vai impulsionar a ciência. Mas a polêmica cresce junto.
No mês passado, a OpenAI anunciou que seus agentes haviam resolvido um dos grandes problemas abertos da matemática, ligado às equações de Navier-Stokes. Horas antes, o matemático Tristan Buckmaster, da Universidade de Nova York, havia revelado suas preocupações: ele e Levent Alpöge, que trabalha para a Anthropic, rival da OpenAI, buscavam a mesma solução e guardavam seus rascunhos no Codex, ferramenta de programação da empresa. Buckmaster não acusou ninguém, mas questionou como a notícia do avanço chegara à OpenAI. A empresa negou qualquer acesso ao trabalho concorrente e, depois, garantiu que os comandos do matemático não poderiam ter influenciado o sistema. Ainda assim, o que realmente aconteceu segue incerto.
O episódio expõe um temor menos falado que o de robôs criando armas: o de que a IA corroa a confiança na ciência, afetando a originalidade e a precisão das pesquisas. As chamadas alucinações, em que modelos inventam informações, aparecem cada vez mais em trabalhos acadêmicos. A jornalista Dalmeet Singh Chawla observa que as revistas precisarão ampliar drasticamente suas equipes de checagem, e que, por enquanto, parecem não dar conta.
O potencial, contudo, é concreto. O AlphaFold, da Google DeepMind, previu em um ano a estrutura de 200 milhões de proteínas, algo que levaria séculos no laboratório, e seus criadores receberam o Nobel de Química. Em outras frentes, porém, as promessas geram ceticismo: químicos de Berkeley analisaram novos materiais apontados pela DeepMind e disseram não ter encontrado nada realmente inovador. A empresa rebate, afirmando ter verificado cada composto.
O risco maior, para muitos, está na enxurrada de textos gerados por máquinas. Um estudo analisou mais de um milhão de artigos biomédicos e encontrou sinais de IA em quase 90% deles, ainda que os detectores falhem. Outra pesquisa indicou que parte dos pareceres de revisores em conferências também foi reescrita por modelos de linguagem. E, segundo a Cornell, cerca de 147 mil trabalhos inexistentes foram citados apenas no último ano. O custo é concreto: tempo e recursos públicos desperdiçados em becos sem saída, e atrasos em medicamentos e tecnologias que poderiam, de fato, mudar vidas.
Em uma antiga fábrica de relógios no centro de Londres, uma fileira de freezers brancos guarda dezenas de pequenas caixas com tubos de vidro identificados por códigos de barras. Juntos, os tubos contêm 100 bilhões de genes. Segundo o médico Oliver Vince, um dos fundadores da Basecamp Research, apenas duas dessas caixas poderiam armazenar dez vezes mais informação do que todos os textos disponíveis na internet. A empresa quer coletar o máximo possível de DNA para treinar uma inteligência artificial capaz de compreender a linguagem da biologia, estratégia parecida com a de empresas americanas e chinesas que reuniram enormes volumes de texto para criar modelos como o ChatGPT e o Gemini.
Vince, como muitos profissionais da indústria e da pesquisa acadêmica, acredita que a IA dará grande impulso à ciência. Mas o uso dela tem gerado controvérsias crescentes. No mês passado, a OpenAI anunciou que seus agentes de IA haviam resolvido, em 88 horas, um dos grandes problemas em aberto da matemática, ligado às equações de Navier-Stokes. A organização que concede o prêmio a quem encontrar a solução disse que a questão "aparentemente foi resolvida", mas avisou que a análise do resultado levará tempo.
Horas antes do anúncio, o matemático Tristan Buckmaster, da Universidade de Nova York, havia tornado públicas suas preocupações. Ele formara uma equipe independente com Levent Alpöge, matemático que também trabalha para a Anthropic, concorrente da OpenAI. Os dois buscavam resolver o mesmo problema e guardavam os rascunhos no Codex, ferramenta de programação da OpenAI. Buckmaster disse que seu colega fora informado de que notícias sobre o avanço da pesquisa haviam "chegado" à OpenAI, sem explicar como. Questionou se o material armazenado no Codex poderia ter sido usado no trabalho da empresa, embora tenha dito que "não estava acusando ninguém de nada".
A OpenAI afirmou que ninguém na empresa, humano ou IA, teve acesso ao trabalho da outra equipe antes da publicação. De início, disse que, embora improvável, não podia "descartar" que dados anonimizados do uso de seus produtos tivessem ajudado a aprimorar seus modelos. Dias depois, declarou que os comandos inseridos por Buckmaster no Codex nos dois meses anteriores ao anúncio "não poderiam ter influenciado o sistema de forma alguma". Ainda não se sabe exatamente o que aconteceu.
O episódio ilustra uma preocupação menos noticiada do que a dos robôs que criariam vírus ou armas químicas: a de que a IA abale a confiança no processo científico, levantando dúvidas sobre a originalidade e a precisão das pesquisas. Há também o problema das "alucinações", em que ferramentas como Claude e Gemini produzem informações falsas, e há indícios de que isso ocorre cada vez mais na ciência. Dalmeet Singh Chawla, jornalista que há uma década cobre má conduta científica, diz que a IA generativa transformou todo o processo e que as equipes de verificação das revistas precisarão crescer drasticamente. "No momento, parece que não estão conseguindo", afirma.
O potencial, porém, é real. Em 2020, a Google DeepMind, sediada no Reino Unido, resolveu um dos grandes desafios da biologia, o modo como proteínas se dobram em formas tridimensionais. Seu modelo AlphaFold previu com precisão as estruturas de 200 milhões de proteínas em um ano, trabalho que levaria centenas de milhões de anos em laboratório. Os resultados foram abertos aos pesquisadores, e o diretor da DeepMind e o principal cientista do projeto receberam o Nobel de Química. Pushmeet Kohli, responsável pela área científica da empresa, chama o feito de "marco histórico".
Em outras áreas, houve acusações de exagero. Um modelo da DeepMind apontou mais de 2 milhões de novas estruturas cristalinas, o equivalente, segundo a empresa, a quase 800 anos de conhecimento, e cerca de 380 mil foram consideradas promissoras para produção em laboratório. Os químicos Anthony Cheetham e Ram Seshadri, da Universidade da Califórnia, analisaram uma amostra aleatória e escreveram na Chemistry of Materials que não encontraram nenhum composto realmente inovador, só adaptações triviais de materiais conhecidos. A DeepMind rejeita a crítica e diz que checou a originalidade de cada composto, lembrando que a troca de um único átomo originou muitos materiais úteis.
O risco maior é a enxurrada de AI slop nas revistas. Em 2024, Dmitry Kobak, da Universidade de Ghent, analisou mais de 1 milhão de artigos biomédicos atrás de expressões típicas de LLMs e concluiu que, até dezembro do ano passado, quase 90% mostravam indícios de IA, embora os detectores não sejam infalíveis: alguns classificaram a Constituição americana como texto gerado por IA. Uma equipe de Stanford, liderada por Weixin Liang e James Zou, achou que até 17% dos pareceres de revisores em quatro conferências de computação haviam sido substancialmente alterados por modelos de linguagem. E pesquisadores da Cornell descobriram que a IA inventava estudos inexistentes nas referências: cerca de 147 mil trabalhos fictícios foram citados no último ano. O custo possível é tempo e dinheiro público gastos em caminhos sem saída, e atraso para medicamentos e tecnologias sustentáveis legítimos.
Bemerkenswerte Zitate
No momento, parece que não estão conseguindo.— Dalmeet Singh Chawla, jornalista especializado em ciência
Não estava acusando ninguém de nada.— Tristan Buckmaster, matemático da Universidade de Nova York
Möchten Sie die ganze Geschichte?
Das Original lesen bei BBC ↗
Science & Space