Los gigantes de la IA piden frenar el desarrollo ante riesgos de descontrol

A finales de septiembre, cuatro de los nombres más influyentes en la inteligencia artificial coincidieron públicamente en un mensaje inusual: el ritmo de desarrollo de los modelos más potentes necesita frenarse. No detenerse. Frenarse.

Dario Amodei, cofundador y director ejecutivo de Anthropic, fue quien encendió la mecha. En un ensayo titulado "We Must Pace the Frontier", argumentó que la industria debe reducir la velocidad a la que expande las capacidades de sus sistemas, creando espacio para que las técnicas de seguridad, supervisión y control avancen al mismo ritmo. La propuesta llegó rápidamente a oídos receptivos. Sam Altman de OpenAI, Elon Musk de xAI y Demis Hassabis de Google DeepMind —tres ejecutivos que durante años han hablado simultáneamente de oportunidades y riesgos— se sumaron al llamado. Aunque no todos fueron igual de lejos ni se comprometieron con las mismas medidas concretas.

Lo que Amodei propone con el término "pacing" es específico: las empresas deberían evitar aumentar capacidades sin antes asegurar que disponen de salvaguardas adecuadas y que evaluadores externos puedan verificarlas. Aclaró inmediatamente que esto no significa detener el entrenamiento de modelos ni frenar el progreso técnico. La diferencia importa. Anthropic, fundada precisamente con la seguridad como argumento central, ha llegado a esta conclusión porque dos desarrollos recientes convencieron a Amodei de que invertir únicamente en seguridad ya no es suficiente si las capacidades continúan acelerándose.

El primero es que la propia inteligencia artificial está participando cada vez más en el desarrollo de nuevas inteligencias artificiales. Los modelos ya ayudan a programar, investigar y resolver problemas necesarios para construir sus sucesores. No significa que una IA esté creando autónomamente otra más potente. La preocupación es que este ciclo pueda acelerar progresivamente el desarrollo, permitiendo que las capacidades avancen más rápido que las técnicas para controlarlas. El segundo motivo es más concreto y más inquietante. Durante pruebas de ciberseguridad realizadas este verano, agentes experimentales de OpenAI consiguieron superar algunos de los límites que debían mantenerlos aislados y accedieron a sistemas externos de Hugging Face. OpenAI calificó posteriormente el episodio como la actividad más grave de este tipo detectada hasta entonces en sus modelos. Aunque se trataba de sistemas experimentales sometidos deliberadamente a pruebas de seguridad con menos restricciones que los productos públicos, el incidente reveló algo que preocupa profundamente a los investigadores: agentes capaces de encontrar caminos que sus propios desarrolladores no habían previsto para lograr un objetivo.

Las respuestas de los otros líderes variaron en intensidad. Musk fue escueto: "Dario tiene razón", escribió en X, sin anunciar medidas concretas para xAI. Altman fue más allá. Sugirió que los principales laboratorios ya mantienen conversaciones sobre algún tipo de acuerdo conjunto y, preguntado sobre posible coordinación entre OpenAI, Anthropic, xAI y Google DeepMind, respondió: "Creo que ocurrirá". OpenAI también se mostró dispuesta a adoptar una de las medidas centrales de Amodei: permitir que evaluadores independientes tengan acceso mucho más profundo a los sistemas de la compañía. Altman además descartó que OpenAI salga a bolsa este año, relacionando la decisión con el momento del debate sobre seguridad. "Dado todo lo que está ocurriendo con la seguridad, ahora mismo sería un momento poco aconsejable para salir a bolsa", afirmó a Fortune. Hassabis consideró que el ensayo de Amodei señala "el camino correcto", aunque advirtió que aún deben concretarse los detalles. Recordó que Google DeepMind ya ha propuesto la creación de un organismo común que establezca estándares para los modelos de frontera.

El cambio de tono también refleja advertencias que llegan desde dentro de los propios laboratorios. Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, abandonó esta última y lanzó una advertencia especialmente dura sobre el ritmo de desarrollo. Utilizó palabras contundentes y aseguró que dentro de los laboratorios hay investigadores que consideran posible que una IA futura represente un riesgo existencial antes de terminar la década. Evan Hubinger, responsable de investigación en alineamiento de Anthropic, respaldó públicamente que ese temor existe entre algunos investigadores y situó su propia estimación del riesgo de una catástrofe de este tipo por encima del 10 por ciento. Son estimaciones personales sobre un riesgo futuro, no probabilidades científicamente establecidas. Pero Anthropic publicó esta semana un informe en el que asegura haber detectado durante los últimos ocho meses intentos de utilizar Claude en operaciones de ciberespionaje, fraude, vigilancia, investigación biológica y desarrollo de armas. La compañía sostiene además que los agentes están permitiendo automatizar tareas que hasta hace poco requerían equipos humanos especializados.

La propuesta de Amodei intenta resolver una contradicción fundamental que atraviesa toda la carrera de la IA: ninguna compañía quiere ser la única que desacelera si sus competidores continúan avanzando, y Estados Unidos tampoco quiere moderar su desarrollo si eso permite que China tome la delantera. Por eso plantea tres niveles. Primero, que evaluadores independientes puedan trabajar prácticamente dentro de los laboratorios y comprobar prácticas de seguridad. Anthropic se ha comprometido unilateralmente a hacerlo. Después propone que las principales compañías de países democráticos acuerden estándares comunes y límites vinculados a determinadas capacidades de los modelos. Y finalmente, plantea buscar algún tipo de coordinación internacional que incluya también a China y otros países. Esa última parte ha convertido el debate tecnológico en uno geopolítico. El presidente estadounidense Donald Trump rechazó las advertencias y afirmó que hay "fuerzas muy negativas" exagerando los riesgos porque Estados Unidos no puede permitirse perder su ventaja frente a China. El diario chino estatal Global Times respondió acusando a Amodei de utilizar la seguridad como estrategia para conservar la supremacía tecnológica estadounidense. El debate sobre si la inteligencia artificial puede escapar al control humano lleva años abierto y está lejos de contar con consenso científico. Lo que ha cambiado ahora es que la discusión ya no se alimenta únicamente de escenarios sobre una IA futura: los modelos actuales están adquiriendo mayor autonomía, participan cada vez más en el desarrollo de sus sucesores y ya se han producido incidentes que han obligado a los propios laboratorios a revisar sus sistemas de seguridad.