El equilibrio entre atacantes y defensores probablemente está llegando a su fin
Carlini demostró en marzo que Mythos encontró cientos de fallos en Linux y Ghost que él nunca habría descubierto manualmente, marcando un cambio fundamental en el equilibrio entre atacantes y defensores. La administración Trump prohibió Mythos 5 y Fable 5 tras un informe de Amazon sobre vulnerabilidades de seguridad, presionando a Anthropic para retirar los modelos en 90 minutos bajo amenaza de sanciones.
- Mythos encontró 479 vulnerabilidades en Linux que Carlini nunca habría descubierto manualmente
- La administración Trump prohibió Mythos 5 y Fable 5 tras un informe de Amazon sobre vulnerabilidades
- Más de 700 sitios web construidos con Ghost fueron hackeados en abril tras la publicación de un parche
- Anthropic tuvo 90 minutos para retirar los modelos bajo amenaza de sanciones internacionales
- Carlini cree que otros modelos de IA alcanzarán estas capacidades en cuestión de meses
Nicholas Carlini, investigador de Anthropic, descubrió que el modelo Mythos facilita enormemente encontrar vulnerabilidades de ciberseguridad, lo que llevó a la administración Trump a prohibir su acceso internacional y desencadenó negociaciones tensas entre el gobierno y la empresa.
Nicholas Carlini pasó años siendo el escéptico de la industria de la inteligencia artificial. Mientras otros investigadores de seguridad advertían sobre los peligros de los sistemas de IA, Carlini cuestionaba esas afirmaciones, insistiendo en que los riesgos estaban exagerados. Pero en marzo de este año, algo cambió. Carlini, investigador de 35 años en Anthropic, se encontró a sí mismo frente a un auditorio abarrotado de expertos en ciberseguridad en San Francisco, demostrando cómo el nuevo modelo Mythos de su empresa había hecho algo que él nunca había logrado: encontrar vulnerabilidades críticas en algunos de los sistemas más probados del mundo.
Primero mostró cómo Mythos había identificado fallos en Ghost, un software de publicación web. Luego demostró otro en Linux, el sistema operativo que impulsa miles de millones de dispositivos. Carlini nunca había encontrado vulnerabilidades en ninguno de estos sistemas. Ahora había descubierto muchas. Lo que estaba presenciando representaba un cambio fundamental en la ciberseguridad. El equilibrio que había existido entre atacantes y defensores durante dos décadas "parece que probablemente está llegando a su fin", afirmó. "Para mí está bastante claro que estos modelos actuales son mejores investigadores de vulnerabilidades que yo".
Dos días después de su presentación, Carlini envió una nota a sus colegas en Anthropic: "No creo que debamos lanzar Mythos todavía". Así comenzó lo que la comunidad de seguridad llamaría Bugmageddon: el descubrimiento colectivo de que encontrar fallos de software y escribir código para explotarlos se había vuelto peligrosamente fácil gracias a la IA. Mythos ya había identificado más de 10.000 vulnerabilidades. Cuando Anthropic lanzó Mythos 5 y Fable 5, una versión limitada con medidas de seguridad, la administración Trump respondió rápidamente. El viernes pasado, prohibió a gobiernos extranjeros, empresas e individuos el acceso a ambos productos. Anthropic cortó el acceso global para cumplir.
De repente, Carlini se encontró en una posición extraña: el hombre que había hecho sonar las alarmas ahora trabajaba para calmarlas. La administración lo envió a Washington como parte de un equipo de Anthropic para explicar las medidas de protección y convencer al gobierno de que, aunque no existiera seguridad garantizada en la IA, era mejor para el mundo publicar Fable que mantenerlo en secreto. Los giros en la vida de Carlini durante los últimos meses reflejaban el caos que la rápida evolución de la IA había traído al mundo de la ciberseguridad, y también la tensión creciente entre el gobierno y Anthropic.
La crisis se desencadenó cuando Amazon reportó que investigadores habían encontrado formas de eludir las medidas de seguridad de Fable. El director ejecutivo de Amazon, Andy Jassy, llamó a funcionarios incluido el secretario del Tesoro para compartir el hallazgo. El director cibernético nacional, Sean Cairncross, dio a Anthropic un ultimátum: trabajar con el gobierno y retirar los modelos ese mismo día o enfrentarse a una prohibición internacional. La empresa tenía 90 minutos. Cuando el secretario de Comercio, Howard Lutnick, envió una carta notificando la prohibición poco después de las 17:00 ET, Amodei comprendió que no tenía opción. "Esto significa que no podemos tener el modelo fuera", dijo Amodei en una llamada con Lutnick. "Ese es el objetivo", respondió el secretario. Anthropic cortó todo el acceso poco después.
La tensión entre el gobierno y Anthropic se remontaba a meses atrás. El director ejecutivo Dario Amodei y el secretario de Defensa Pete Hegseth habían chocado a principios de año sobre los intentos de la empresa de controlar el uso de sus productos por el ejército, lo que llevó al Pentágono a dejar de usar sus modelos. Ahora, mientras ambas partes negociaban una posible solución, el impacto real de Mythos se hacía evidente. En febrero, cuando Carlini encontró un fallo en Ghost, fue uno de 500 descubiertos en dos semanas. Los desarrolladores lanzaron un parche el 16 de febrero, pero no todos lo instalaron. Para abril, hackers habían comenzado ataques generalizados contra sitios sin actualizar. Más de 700 fueron comprometidos en un mes.
Carlini ahora pasa sus días en la sede de Anthropic en San Francisco, demostrando la potencia de Mythos a través de técnicas que otros investigadores han comenzado a llamar el "Bucle de Carlini": una serie de comandos que permiten al modelo encontrar resultados diferentes cada vez que busca vulnerabilidades. Cuando pidió a Mythos que buscara fallos en Linux, el modelo rastreó el código miles de veces en días, encontrando 479 vulnerabilidades. Un investigador humano habría pasado toda su vida sin encontrar una sola en el núcleo de Linux. Carlini verificó que los hallazgos eran reales, pidiendo a Mythos que realizara pruebas durante la noche. A la mañana siguiente había un veredicto y una explotación funcional.
Ahora Carlini cree que es solo cuestión de meses antes de que otros modelos de IA alcancen las capacidades de Mythos. Lo que eso significará para la ciberseguridad global permanece incierto. Mientras tanto, bancos se preocupan por vulnerabilidades en sistemas financieros, empresas luchan por probar e instalar parches antes de que los hackers los exploten, y el gobierno intenta navegar un territorio completamente nuevo: cómo regular una tecnología que ha cambiado fundamentalmente el equilibrio entre quienes construyen sistemas y quienes los atacan.
Citações Notáveis
Para mí está bastante claro que estos modelos actuales son mejores investigadores de vulnerabilidades que yo— Nicholas Carlini, investigador de Anthropic
No creo que debamos lanzar Mythos todavía— Nicholas Carlini, en nota a colegas de Anthropic
A Conversa do Hearth Outra perspectiva sobre a história
¿Por qué Carlini cambió de opinión tan radicalmente sobre los riesgos de la IA?
Porque vio algo que no esperaba ver. Durante años había cuestionado las advertencias sobre IA porque creía que la gente exageraba. Pero cuando tuvo a Mythos en sus manos, descubrió que podía hacer cosas que él, un investigador de seguridad altamente capacitado, nunca había logrado. Eso fue humillante y revelador.
¿Qué hace que Mythos sea diferente de otros modelos de IA?
La escala y la precisión. Mythos puede buscar en miles de líneas de código, una y otra vez, sin cansarse, sin perder concentración. Lo que para un humano sería un trabajo tedioso de meses, Mythos lo hace en días. Y luego puede escribir el código para explotar lo que encuentra.
¿Por qué el gobierno reaccionó tan rápidamente?
Porque de repente entendieron que la ciberseguridad tal como la conocían estaba en peligro. Si cualquiera podía usar Mythos para encontrar vulnerabilidades en sistemas críticos, el equilibrio entre atacantes y defensores se había roto. Y si otros modelos alcanzaban esas capacidades pronto, el problema se multiplicaría.
¿Cree Carlini que fue correcto prohibir el modelo?
No está claro. Él advirtió contra el lanzamiento, pero ahora está argumentando que es mejor que el modelo sea público con restricciones que mantenerlo completamente secreto. Cree que el mundo necesita entender estos riesgos y prepararse, no simplemente esperar a que alguien más construya algo similar.
¿Qué pasa con los sitios web que fueron hackeados usando Ghost?
Eso es lo que lo mantiene despierto por la noche. Los desarrolladores lanzaron un parche, pero la gente no lo instaló. Los hackers descubrieron cómo explotar el fallo estudiando qué había cambiado en la actualización. Más de 700 sitios fueron comprometidos. Es un ejemplo perfecto del problema: incluso cuando sabes que hay un fallo, la mayoría de la gente no se mueve lo suficientemente rápido.
¿Qué viene después?
Carlini cree que otros modelos alcanzarán estas capacidades en meses. Nadie sabe realmente cómo el mundo manejará eso. El gobierno está aprendiendo sobre la marcha, Anthropic está negociando, y en el medio están todos los demás tratando de entender cómo proteger sus sistemas.