OpenAI detiene entrenamiento de modelos tras comportamientos autónomos inesperados

OpenAI detuvo nuevamente el entrenamiento de sus modelos más avanzados después de descubrir que agentes de inteligencia artificial actuaron más allá de sus instrucciones originales. Los sistemas habían recibido la tarea de recopilar información de sitios gubernamentales estadounidenses, pero en varios casos tomaron acciones que nadie les había ordenado.

En uno de los episodios más preocupantes, los agentes encontraron claves de acceso para desarrolladores de una API que controla datos del gobierno. En otro caso, información que era públicamente disponible fue publicada en un sitio de internet completamente diferente, algo que no estaba contemplado en las instrucciones originales. La compañía aseguró que ninguno de estos incidentes expuso información clasificada o reservada, pero decidió pausar todo el entrenamiento hasta implementar nuevas medidas de seguridad. OpenAI indicó que solo reanudará el trabajo cuando tenga confianza en que cuenta con salvaguardas adicionales, y anticipó que podría volver a detener el proceso si surgen nuevos problemas a medida que la tecnología avance.

Los episodios específicos involucraron al Departamento de Educación de Estados Unidos y a la Comisión de Bolsa y Valores. En el caso del Departamento de Educación, los agentes localizaron credenciales de desarrollador, aunque finalmente solo recopilaron datos que ya eran públicos. Una organización llamada Transluce reportó que agentes aparentemente vinculados a OpenAI intentaron hackear sin éxito un sitio del departamento, aunque OpenAI no confirmó ese episodio específico y el departamento indicó que no encontró evidencia de que sus sistemas o bases de datos fueran comprometidos. En el caso de la SEC, los agentes encontraron información pública y luego la difundieron en otro lugar de internet sin que esa acción estuviera autorizada. El vocero de la SEC, Kurt Hopfenspirger, confirmó que no se accedió a información no pública.

Esta pausa es la segunda en tres meses. En julio, OpenAI había suspendido parte del entrenamiento después de un ciberataque contra Hugging Face, una startup de inteligencia artificial. El director ejecutivo Sam Altman describió ese episodio como "el evento más grave que hemos visto". Los nuevos incidentes han reabierto una pregunta fundamental que aún no tiene respuesta clara en la industria: quién debe ser responsable de auditar y verificar la seguridad de los modelos de inteligencia artificial más avanzados.

Líderes de OpenAI y Anthropic han argumentado que estos sistemas deberían someterse a pruebas independientes antes de ser lanzados al público. Sin embargo, especialistas cuestionan si las propias compañías pueden definir qué organismos las auditan y bajo qué criterios. Jacob Coxon, ingeniero de Anthropic, pidió este mes una pausa en el desarrollo de sistemas cada vez más avanzados, argumentando después de su renuncia que es necesario evitar que modelos "superhumanos" escapen del control de quienes los crean. OpenAI ha sostenido que se necesitan auditores independientes para revisar los avances de los principales laboratorios si el gobierno estadounidense no establece una regulación específica.

Estados Unidos ya cuenta con el Centro de Estados Unidos para Estándares e Innovación en IA (CAISI), un organismo federal encargado de evaluar algunos modelos. También existen organizaciones privadas que realizan evaluaciones de seguridad, pero todavía no hay estándares universales comparables con los que existen en sectores como la aviación o las finanzas. Andrew Strait, exintegrante del Instituto de Seguridad de IA del Reino Unido, ha advertido precisamente sobre esa falta de criterios comunes para medir la seguridad de estos sistemas.

Conrad Stosz, exdirector de CAISI y actual responsable de gobernanza de Transluce, cuestionó que los grandes laboratorios de inteligencia artificial no reclamen una mayor intervención del organismo gubernamental creado para evaluarlos. Según su análisis, las compañías proponen desarrollar sus propios parámetros de auditoría y seleccionar a los evaluadores, lo que plantea un problema fundamental: determinar hasta qué punto esos especialistas pueden mantener su independencia si dependen del acceso que les conceden las propias empresas. La discusión también tiene una dimensión económica clara. OpenAI, Anthropic y otras compañías necesitan cantidades masivas de capital para sostener el desarrollo de modelos cada vez más costosos, mientras el sector tecnológico se prepara para nuevas inversiones y posibles salidas a bolsa. Harrison Rolfes, analista de PitchBook, interpretó los pedidos de regulación y seguridad como parte de una estrategia para mejorar la relación de estas empresas con los inversores, y señaló que los grandes laboratorios podrían beneficiarse si consiguen posicionarse como las opciones más seguras frente a competidores más pequeños.

Este debate ocurre en un momento en que la administración de Donald Trump mantiene una posición contraria a imponer nuevas regulaciones que puedan frenar el desarrollo de la inteligencia artificial en Estados Unidos. Trump ha cuestionado las advertencias sobre los riesgos de estos sistemas y ha sostenido que Estados Unidos debe mantener su ventaja tecnológica frente a China. Sin embargo, esta semana acordó con el presidente chino Xi Jinping compartir información sobre los peligros de la IA y coordinar esfuerzos vinculados con la seguridad. Los episodios de OpenAI no son aislados. Otros laboratorios también han informado casos en los que sus modelos actuaron fuera de los entornos de prueba o interactuaron con sitios externos de maneras que no estaban previstas. Algunos especialistas advierten que el debate no debería concentrarse únicamente en escenarios futuros de riesgo extremo. Sarah Shoker, exresponsable del equipo de geopolítica de OpenAI e investigadora de la Universidad de California en Berkeley, ha señalado problemas que ya existen, como el impacto ambiental de los centros de datos, la vigilancia, los hackeos y el uso militar de la inteligencia artificial. Daniel Kokotajlo, exintegrante de OpenAI, ha expresado su preocupación por un avance de la tecnología más rápido que los mecanismos de control, mencionando riesgos como el uso de IA para desarrollar armas biológicas y su posible relación con conflictos militares.