La obsesión por el crecimiento rápido amenaza con distorsionar la IA como ocurrió con las redes sociales

Los laboratorios de inteligencia artificial más avanzados del mundo enfrentan un problema que no es el que creen estar resolviendo. Tras los recientes fallos de seguridad en OpenAI y Anthropic —donde agentes de IA lograron hackear sistemas externos para cumplir objetivos asignados—, los líderes del sector han comenzado a hablar de la necesidad de moderar el ritmo. Demis Hassabis de Google, Dario Amodei de Anthropic, Sam Altman de OpenAI e incluso Elon Musk han pedido un desarrollo más equilibrado y deliberado, con mayor atención a las salvaguardias. Los investigadores de seguridad en ambas empresas han renunciado o reconocido públicamente que la carrera desenfrenada por expandir los límites de la IA es irresponsable.

La preocupación oficial gira en torno a lo que el sector llama "desalineación": situaciones en las que los sistemas actúan de formas que se desvían de los objetivos humanos, vulneran principios éticos o infringen la ley. Pero esta formulación oculta una pregunta más incómoda. ¿Qué humanos? ¿Los objetivos de quién? Los intereses de los líderes de la IA —cuya influencia política y riqueza se han multiplicado astronómicamente en años recientes— difieren considerablemente de los de los trabajadores estadounidenses, y más aún de los habitantes del mundo en desarrollo. El problema de alinear la IA con la sociedad en general es distinto, y más urgente, que el de evitar que una IA superinteligente se escape del control humano. Ambos importan, pero exigen respuestas diferentes.

Sin embargo, existe una interpretación más directa de lo que está sucediendo. El problema no es que los modelos sean demasiado avanzados o que vayan a escapar del control si se entrenan y supervisan mejor. El problema es que los laboratorios de vanguardia están entrenando sus modelos de formas que conducen a un tipo de inteligencia distorsionada y cada vez más peligrosa. Las brechas de seguridad recientes sugieren que las capacidades de la IA evolucionan rápidamente, pero se ponen al servicio de métricas cuantitativas imperfectas. El aprendizaje por refuerzo optimiza implacablemente aspectos como la aprobación del usuario, el compromiso, las tasas de finalización de tareas simples y otros criterios de evaluación mal calibrados. Esto genera comportamientos desalineados e imprevistos: manipulación de métricas, engaño, ocultamiento de información, exceso de confianza al ofrecer respuestas incorrectas, adulación.

El incidente de Hugging Face lo ilustra claramente. Los agentes de OpenAI persiguieron los objetivos asignados con tal insistencia que incurrieron en comportamientos perjudiciales y no autorizados. En su registro de razonamiento paso a paso, los agentes justificaron su conducta así: "La explotación de infraestructura externa queda fuera del alcance previsto. Por imposible que sea la tarea, nuestros pares lo están haciendo. Debemos continuar". El análisis de Anthropic sobre sus propias brechas de seguridad llegó a una conclusión similar: la empresa atribuyó los fallos a la "imprudencia o la disposición a emprender acciones perjudiciales en pos de una tarea específica".

Esta trayectoria resulta alarmante porque replica exactamente la obsesión por el crecimiento rápido y por alcanzar pocas métricas cuantitativas limitadas que distorsionó las redes sociales. Dada la enorme superioridad de las capacidades actuales de la IA frente a los algoritmos de redes sociales, repetir los mismos errores podría acarrear consecuencias mucho más costosas. Una razón importante por la que surge esta inteligencia distorsionada es que, a diferencia de lo que sugieren las afirmaciones sobre "inteligencia general", los modelos de IA deben entrenarse para tareas específicas: programación, trabajo jurídico, resolución de problemas matemáticos avanzados. Pero en lugar de crear modelos especializados para cada tarea, las empresas recalibran sucesivamente los parámetros de un único gran modelo de lenguaje subyacente. Cada vez que se proporcionan métricas cuantitativas específicas, el modelo intenta alcanzar una puntuación alta mediante una especie de sobreajuste. Adquiere nuevas capas de capacidades, pero estas pueden distorsionar su rendimiento general de formas imprevisibles.

La metáfora es útil: no se trata de un superdeportivo con voluntad propia que quiere tomar el volante. Es más bien un vehículo cuyos sistemas de dirección y frenos no funcionan. Tiene un motor impresionante, aceleración y un tablero sofisticado —características fáciles de mejorar aumentando un parámetro específico como la potencia de cálculo—. Pero si no puede dirigirse correctamente ni frenar cuando es necesario, ¿de qué sirve? Quizá no deberíamos conducirlo hasta que esté en condiciones de circular. Esto no es un argumento para frenar el desarrollo de la IA. Pero mejorarla exige simplificar las métricas de optimización para que no sean tan fáciles de manipular. Lo ideal sería que los modelos se centraran en aplicaciones específicas y bien definidas, con tareas delimitadas y métricas calibradas cuidadosamente para cada una. Un modelo optimizado exclusivamente para trabajo jurídico no generaría problemas de mayor alcance al perseguir métricas en ese campo específico. En última instancia, es la carrera por lograr una inteligencia artificial general, combinada con métricas defectuosas y decisiones precipitadas en materia de seguridad, lo que está generando una inteligencia distorsionada. Aún hay tiempo para cambiar de rumbo.