En un momento en que la inteligencia artificial avanza más rápido que las herramientas para comprenderla, los líderes de las principales empresas del sector —Microsoft, OpenAI, Anthropic, xAI y Google DeepMind— han comenzado a converger en torno a una idea que antes parecía impensable: que el progreso debe moderarse en nombre de la seguridad. Satya Nadella lo ha expresado con claridad filosófica: una superinteligencia que no sirva a la humanidad ni permanezca bajo supervisión humana no merece ser construida. Este consenso emergente, nacido desde dentro de la industria y no impuesto desde fuera
Microsoft respalda mayor control humano sobre la superinteligencia junto a Anthropic y OpenAI
Si no ayuda a la humanidad y no permanece bajo control humano, no merece la pena
Mark
¿Por qué Nadella dice que la superinteligencia 'no merece la pena' si no está bajo control humano? ¿Qué significa eso en la práctica?
Mimi
Creo que está diciendo que si construimos sistemas tan poderosos que no podemos dirigirlos ni entender lo que hacen, entonces hemos cometido un error fundamental. No es suficiente que sean inteligentes; tienen que servir a propósitos humanos.
Luke
Pero eso es una declaración de principios, no una política. ¿Qué hace Microsoft diferente ahora? ¿Están ralentizando realmente el desarrollo, o solo hablando de hacerlo?
Mark
Amodei pide que los evaluadores trabajen dentro de los laboratorios. ¿Eso es suficiente supervisión, o es como pedir que el zorro cuide el gallinero?
Mimi
Es un compromiso. Los evaluadores internos tienen acceso real a los sistemas, pero también entienden la complejidad técnica. Es mejor que nada, pero tienes razón en que depende de cuánta independencia real tengan.
Luke
Y aquí está lo importante: no sabemos exactamente qué autoridad tendrían esos evaluadores. ¿Pueden detener un proyecto? ¿Solo pueden informar? El artículo no lo dice.
Mark
¿Por qué Microsoft insiste en que los evaluadores vengan de diferentes países y disciplinas?
Mimi
Porque una decisión sobre superinteligencia no es solo un problema técnico. Afecta a economía, política, ética, cultura. Si solo hablan ingenieros, pierdes perspectivas cruciales.
Luke
Eso suena bien, pero también es vago. ¿Cómo se elige a esos representantes? ¿Quién decide qué países y disciplinas están representados? Eso es donde el poder real reside.
Mark
¿Qué pasó con la carta de 2023 que pedía una pausa? ¿Por qué no funcionó?
Mimi
Porque no había consecuencias. Era una petición moral, pero las empresas siguieron adelante. Ahora es diferente porque los propios líderes de la industria están diciendo que hay que ir más lentamente.
Luke
Aunque el artículo dice que la pausa de 2023 'no se produjo'. Así que tenemos un historial de promesas incumplidas. ¿Por qué creer que esta vez será diferente?
Il Polso
- Las capacidades de los sistemas de IA más avanzados están superando a las medidas de seguridad diseñadas para contenerlos, creando una brecha que preocupa incluso a quienes los construyen.
- Dario Amodei de Anthropic encendió la mecha al publicar un ensayo que pide frenar deliberadamente el entrenamiento de los modelos más potentes, y la respuesta de sus pares fue inmediata y sorprendentemente unánime.
- Sam Altman, Elon Musk y Demis Hassabis se han sumado al llamado, convirtiendo lo que podría haber sido una voz solitaria en un frente común que redefine las reglas del juego en Silicon Valley.
- Microsoft avanza con pasos concretos: un código de conducta para sus modelos de IA y la exigencia de que los evaluadores externos representen distintos países, disciplinas y sectores, no solo ingenieros.
- El debate ha migrado del exterior al interior de la industria, lo que sugiere que la autorregulación responsable —y no solo la presión regulatoria externa— podría convertirse en la nueva norma.
En un momento en que la inteligencia artificial avanza más rápido que las herramientas para comprenderla, los líderes de las principales empresas del sector —Microsoft, OpenAI, Anthropic, xAI y Google DeepMind— han comenzado a converger en torno a una idea que antes parecía impensable: que el progreso debe moderarse en nombre de la seguridad. Satya Nadella lo ha expresado con claridad filosófica: una superinteligencia que no sirva a la humanidad ni permanezca bajo supervisión humana no merece ser construida. Este consenso emergente, nacido desde dentro de la industria y no impuesto desde fuera, señala que el debate sobre el control de la IA ha dejado de ser marginal para convertirse en el centro de cómo estas organizaciones conciben su propio futuro.
Satya Nadella ha trazado una línea en el debate sobre el futuro de la inteligencia artificial: si los sistemas de superinteligencia no sirven a la humanidad y no permanecen bajo supervisión humana, simplemente no vale la pena construirlos. Sus palabras llegan en un momento en que los principales líderes del sector comienzan a alinearse en torno a una idea que hace apenas tres años parecía radical: que el ritmo de desarrollo debe moderarse en favor de la seguridad.
El impulso vino de Dario Amodei, director ejecutivo de Anthropic, quien argumentó en un ensayo reciente que las empresas de IA deben frenar deliberadamente el entrenamiento de sus modelos más potentes. Su razonamiento es claro: las medidas de seguridad no avanzan lo suficientemente rápido para mantenerse al ritmo de las capacidades de estos sistemas. Propone evaluadores independientes dentro de los laboratorios y acuerdos formales entre empresas y gobiernos. No es un llamado a detener la investigación, sino a hacerla con más cuidado y transparencia.
La propuesta encontró respaldo inmediato. Sam Altman anunció que OpenAI permitirá acceso a evaluadores externos. Elon Musk respondió en X diciendo simplemente que Amodei tiene razón. Demis Hassabis de Google DeepMind expresó su apoyo general, aunque señaló que quedan detalles importantes por resolver.
Nadella abraza la prudencia sin sacrificar el progreso. Defiende un ecosistema donde modelos cerrados y de código abierto puedan coexistir, y donde las organizaciones mantengan control sobre sus propios datos sin depender de un único proveedor. Microsoft publicará un código de conducta para sus modelos e insiste en que los evaluadores representen distintos países, disciplinas y sectores, reconociendo que las decisiones sobre superinteligencia no pueden quedar solo en manos de ingenieros en Silicon Valley.
Esta convergencia recuerda la carta abierta del Future of Life Institute en 2023, que pedía una pausa en el desarrollo de sistemas más potentes que GPT-4. Aquella pausa nunca ocurrió, pero amplió el debate público. Lo que sucede ahora es distinto: no es una llamada desde fuera de la industria, sino una conversación entre sus propios constructores. Eso indica que el control humano sobre la superinteligencia ha pasado de ser una preocupación marginal a ocupar el centro de cómo estas empresas piensan su futuro.
Satya Nadella, el director ejecutivo de Microsoft, ha establecido una línea clara en el debate sobre hacia dónde debe dirigirse la inteligencia artificial: si los sistemas de superinteligencia no sirven a la humanidad y no permanecen bajo supervisión humana, simplemente no vale la pena construirlos. Sus palabras llegan en un momento en que los líderes de las principales empresas de IA están comenzando a alinearse alrededor de una idea que hace apenas tres años parecía radical: que el ritmo de desarrollo debe moderarse en favor de la seguridad.
El impulso para esta conversación provino de Dario Amodei, director ejecutivo de Anthropic, quien publicó un ensayo el sábado anterior argumentando que las empresas de IA deben frenar deliberadamente el entrenamiento de sus modelos más potentes. Su razonamiento es directo: las medidas de seguridad simplemente no avanzan lo suficientemente rápido como para mantenerse al ritmo de las capacidades de estos sistemas. Amodei propone que evaluadores independientes trabajen dentro de los laboratorios de IA y que las empresas y gobiernos establezcan acuerdos formales sobre cómo proceder. No es una llamada a detener la investigación, sino a hacerla con más cuidado y transparencia.
La propuesta de Amodei ha encontrado respaldo rápido entre sus pares. Sam Altman, director ejecutivo de OpenAI, ha anunciado que su empresa también permitirá que evaluadores externos accedan a sus sistemas. Elon Musk, quien dirige xAI, respondió en la plataforma X diciendo simplemente que Amodei tiene razón. Demis Hassabis, cofundador y presidente de Google DeepMind, también ha expresado su apoyo a la dirección general de la propuesta, aunque señala que aún hay detalles importantes que resolver.
La posición de Nadella es característica de Microsoft: abraza la prudencia pero no quiere sacrificar el progreso. Mientras respalda la idea de ralentizar el desarrollo de sistemas más avanzados y de incorporar supervisión externa, también insiste en que los beneficios de la IA deben distribuirse más ampliamente. Defiende un ecosistema donde tanto los modelos cerrados como los de código abierto puedan prosperar. Para Nadella, esto significa que las organizaciones deben mantener control sobre sus propios datos y poder integrarlos en modelos que ellas mismas gestionen, sin quedar atrapadas en una relación de dependencia con un único proveedor.
Microsoft está dando pasos concretos para materializar esta visión. La empresa planea publicar un código de conducta para sus modelos de IA y ha invitado a personas y organizaciones a contribuir con opiniones y sugerencias de mejora. Nadella también ha enfatizado que cualquier proceso de evaluación debe incluir representantes de diferentes países, disciplinas académicas y sectores, no solo expertos técnicos. Esta insistencia en la diversidad de perspectivas refleja una comprensión de que las decisiones sobre superinteligencia no pueden ser tomadas únicamente por ingenieros en Silicon Valley.
Esta convergencia de opiniones entre los líderes de la industria evoca un momento anterior. En marzo de 2023, el Future of Life Institute publicó una carta abierta pidiendo una pausa de al menos seis meses en el entrenamiento de sistemas más potentes que GPT-4. La carta fue respaldada por Elon Musk, Steve Wozniak y otros. Esa pausa nunca ocurrió, pero la carta logró algo importante: amplió el debate público sobre los riesgos de la IA y la necesidad de regulación. Lo que está sucediendo ahora es diferente. No es una llamada a pausar desde fuera de la industria, sino una conversación entre los propios constructores sobre cómo proceder responsablemente. Eso sugiere que el debate sobre la superinteligencia y el control humano ha pasado de ser una preocupación marginal a ser central en cómo estas empresas piensan sobre su futuro.
Citazioni salienti
Si estos sistemas no ayudan a la humanidad y no permanecen bajo control humano, no merece la pena desarrollarlos— Satya Nadella, CEO de Microsoft
Dario tiene razón— Elon Musk, CEO de xAI, respondiendo a la propuesta de Amodei
Vuoi la storia completa?
Leggi l'originale su LA RAZÓN ↗
Technology