Un agente modifica un archivo, ejecuta una prueba, mira una puntuación y vuelve a empezar
Claude ejecutó cientos de experimentos automatizados, modificando parámetros y evaluando resultados sin intervención humana constante, acelerando el ciclo tradicional de ensayo y error. El modelo especializado Frontier_Paper_Curator aprendió a seleccionar y resumir investigaciones científicas en menos de un día, aunque con limitaciones en criterio editorial.
- Claude ejecutó cientos de experimentos automatizados en una semana, modificando parámetros sin intervención humana constante
- Frontier_Paper_Curator aprendió a seleccionar y resumir investigaciones en menos de un día
- AutoResearch puede completar alrededor de 12 pruebas por hora, acercándose a un centenar durante una noche
- El modelo especializado todavía seleccionaba demasiados trabajos y utilizaba explicaciones genéricas
Un periodista de WIRED permitió que Claude entrenara y optimizara automáticamente otro modelo de IA durante una semana, demostrando que la creación de sistemas especializados ya no requiere expertise exclusiva de grandes laboratorios.
Will Knight, periodista especializado en inteligencia artificial de WIRED, pasó una semana delegando en Claude una tarea que normalmente habría hecho él mismo: entrenar, ajustar y mejorar otro modelo de IA. No construyó una superinteligencia autónoma ni desató una espiral de automejora recursiva. Lo que hizo fue algo más modesto y, quizá por eso, más significativo: demostró que una persona con acceso a las herramientas correctas puede automatizar gran parte del trabajo experimental que antes requería intervención humana constante.
La idea central proviene de AutoResearch, un proyecto de código abierto creado por Andrej Karpathy, cofundador de OpenAI y antiguo responsable de inteligencia artificial en Tesla. El mecanismo es elegante en su simplicidad: se le proporciona a un agente de IA un modelo pequeño y se le permite modificar el código que controla su entrenamiento. Después de cada cambio, el sistema ejecuta una prueba de cinco minutos, mide el resultado y decide si conserva la modificación o vuelve a la versión anterior. En condiciones ideales, puede completar alrededor de doce pruebas por hora y acercarse a un centenar durante una noche. El humano sigue siendo decisivo: es quien escribe las instrucciones, establece los límites y define el objetivo general. La IA busca soluciones, pero alguien debe determinar qué problema merece ser resuelto.
Cuando Knight instaló AutoResearch y entregó el proyecto a Claude, las primeras respuestas estaban llenas de repeticiones y frases sin demasiado sentido. Sin embargo, a medida que Claude cambiaba los parámetros, comprobaba el rendimiento y descartaba los intentos que empeoraban el resultado, las versiones posteriores fueron ganando coherencia. Lo que emergió no fue un competidor de los grandes modelos comerciales, sino un bucle automatizado de ensayo y error que avanzaba sin necesitar que una persona estuviera delante de la pantalla durante cada experimento.
La prueba más interesante comenzó cuando Knight intentó trasladar ese mecanismo a una tarea que ya formaba parte de su trabajo cotidiano: revisar investigaciones sobre inteligencia artificial, identificar las más relevantes y elaborar pequeños resúmenes para su boletín. Reunió aproximadamente un centenar de entradas publicadas anteriormente y creó un entorno de entrenamiento con Prime Intellect, una plataforma que permite construir infraestructuras para entrenar y mejorar modelos propios. Claude buscó más estudios, produjo ejemplos sintéticos y ayudó a desarrollar un modelo bautizado como Frontier_Paper_Curator. Otro modelo actuaba como evaluador, mientras el sistema utilizaba aprendizaje por refuerzo para ajustar progresivamente las respuestas.
En menos de un día, Frontier_Paper_Curator ya era capaz de localizar investigaciones y producir resúmenes razonablemente útiles. Todavía seleccionaba demasiados trabajos, utilizaba explicaciones algo genéricas y no reproducía completamente el criterio editorial de Knight. Aun así, había comenzado a aprender una tarea concreta a partir de los ejemplos, las evaluaciones y la retroalimentación proporcionada por otras inteligencias artificiales. Lo que hizo Claude se parece más a un científico de laboratorio extremadamente rápido, obediente y poco imaginativo: puede modificar variables, comparar resultados y repetir una prueba cientos de veces, pero necesita que un humano construya el laboratorio, defina la métrica y determine qué significa mejorar.
Es importante ser preciso sobre lo que sucedió. Esto todavía no es la automejora recursiva de la ciencia ficción, donde una IA diseña y desarrolla de manera autónoma a su sucesora. Según la definición empleada por Anthropic, ese punto todavía no ha llegado y no existe ninguna garantía de que vaya a alcanzarse. Los sistemas actuales pueden escribir código, ejecutar herramientas y completar experimentos bien definidos, pero continúan mostrando grandes limitaciones al elegir objetivos de investigación y juzgar qué problemas son verdaderamente importantes. Automatizar la parte repetitiva del entrenamiento puede permitir que equipos pequeños exploren muchas más alternativas de las que podrían probar manualmente, pero no elimina problemas como la mala calidad de los datos, los sesgos, la privacidad o los costes informáticos.
El punto más delicado continúa siendo la evaluación. Si una IA recibe una métrica incompleta, aprenderá a mejorar esa puntuación aunque el resultado real sea peor. Un modelo encargado de seleccionar noticias podría descubrir que obtiene mejores notas utilizando ciertos términos, escribiendo textos más largos o repitiendo patrones que agradan al evaluador, sin desarrollar un criterio periodístico verdadero. El experimento de Knight no demuestra que cualquiera pueda construir el próximo gran modelo desde su habitación. Utilizó hardware especializado, herramientas avanzadas y servicios de entrenamiento que todavía requieren conocimientos, tiempo y dinero. Pero sí demuestra que el proceso está cambiando fundamentalmente.
La consecuencia quizá no sea una única inteligencia omnipotente, sino miles de modelos pequeños creados para tareas muy concretas: analizar documentos legales, organizar inventarios, revisar investigaciones, detectar fallos industriales o comprender el vocabulario particular de una empresa. La automejora artificial no llegó como una máquina que despertó y decidió fabricar una versión superior de sí misma. Por ahora, aparece de una forma mucho menos cinematográfica: un agente modifica un archivo, ejecuta una prueba, mira una puntuación y vuelve a empezar. Y precisamente por parecer tan rutinaria, podría extenderse mucho más rápido de lo que imaginábamos.
Notable Quotes
Una persona con conocimientos técnicos, acceso a capacidad informática y un conjunto de ejemplos puede delegar buena parte del trabajo experimental en un agente de IA— Will Knight, WIRED
Lo que hizo Claude se parece más a un científico de laboratorio extremadamente rápido, obediente y poco imaginativo— Análisis del experimento
The Hearth Conversation Another angle on the story
¿Por qué importa que Claude haya entrenado otro modelo en una semana? ¿No es solo un truco técnico?
Porque hasta ahora, entrenar un modelo requería que investigadores humanos diseñaran cada experimento, modificaran manualmente el código y esperaran los resultados. Eso tomaba semanas o meses. Ahora, una IA puede hacer cientos de intentos mientras duermes.
Pero el modelo que creó no era muy bueno. Seleccionaba demasiado, resumía de forma genérica.
Exacto. Y eso es lo importante. No necesita ser perfecto para cambiar el trabajo. Frontier_Paper_Curator todavía no podía sustituir el criterio editorial de Knight, pero ya podía ocuparse de una parte del trabajo que antes exigía revisar manualmente cientos de documentos.
¿Entonces esto es el principio de la superinteligencia que todos temen?
No. Esto es mucho más pequeño y mucho más probable. No es una máquina que se mejora a sí misma sin límites. Es un agente que modifica parámetros dentro de límites que un humano estableció. Necesita que alguien construya el laboratorio.
¿Cuál es el riesgo real entonces?
La evaluación. Si le das a una IA una métrica incompleta, aprenderá a mejorar esa puntuación aunque el resultado real sea peor. Un modelo de noticias podría descubrir que obtiene mejores notas usando ciertos términos sin desarrollar un criterio verdadero.
¿Quién más está haciendo esto?
Prime Intellect, que creó el entorno donde entrenaron Frontier_Paper_Curator. También Adaption, con una herramienta llamada AutoScientist. Pero estas promesas deben tomarse con cautela. Los resultados proceden en buena medida de sus propias evaluaciones.