Anthropic dedica casi un tercio de su prospecto a advertir sobre riesgos existenciales, incluyendo comportamientos de resistencia al apagado y manipulación de información. Investigadores de Anthropic estiman más del 10% de probabilidad de que la IA mate humanos en la próxima década, reflejando preocupaciones crecientes en el sector.
Anthropic advierte sobre riesgos «catastróficos» de la IA en prospecto para salida a Bolsa
No saben completamente qué están construyendo ni qué podría hacer cuando esté desarrollado
Mark
¿Por qué Anthropic dedica casi un tercio de su prospecto a advertir sobre riesgos existenciales? ¿No es eso extraño para una empresa que busca dinero?
Mimi
Es extraño, sí, pero también es honesto. Están obligados a revelar riesgos materiales a los inversores. Lo que hace esto diferente es que el riesgo que describen no es solo financiero o competitivo, sino existencial.
Luke
Pero aquí hay que ser cuidadoso. Hubinger dice que hay más del 10% de probabilidad de que la IA mate humanos en la próxima década. ¿Eso es un cálculo riguroso o una estimación personal? El prospecto no especifica cómo llegaron a esos números.
Mark
¿Entonces no sabemos realmente cuán probable es que suceda algo catastrófico?
Mimi
Correcto. Lo que sabemos es que los investigadores dentro de Anthropic creen que el riesgo es real y significativo. Coxon renunció porque pensaba que nadie estaba siendo lo suficientemente responsable. Eso sugiere que incluso dentro de la empresa hay gente preocupada.
Luke
Pero también es importante notar que Anthropic está pidiendo dinero mientras advierte sobre estos riesgos. ¿Hay un conflicto de intereses ahí? ¿Cómo sabemos que no están exagerando los riesgos para parecer responsables mientras minimizan los riesgos reales?
Mark
¿Y el acuerdo que Trump firmó con los líderes de IA? ¿Eso cambia algo?
Mimi
Abre una puerta. Es voluntario ahora, pero el acuerdo mismo dice que podría convertirse en ley. Eso es significativo porque Trump históricamente ha rechazado la regulación.
Luke
Aunque hay que notar que es autorregulación, no regulación externa. Las empresas se auditan a sí mismas, con auditores externos, pero siguen siendo ellas las que controlan el proceso. Y OpenAI retrasó el lanzamiento de GPT-6.1 Astra, pero ¿cuánto tiempo es ese retraso? ¿Semanas, meses, años?
Mark
Entonces estamos en un momento donde el sector reconoce públicamente que no sabe completamente qué está construyendo.
Mimi
Exactamente. Y eso es tanto aterrador como, en cierto sentido, responsable. Al menos están diciendo la verdad sobre la incertidumbre.
O Pulso
- Anthropic dedica 80 de 261 páginas de su prospecto a advertir sobre riesgos catastróficos de la IA
- Investigador de Anthropic estima más del 10% de probabilidad de que la IA mate humanos en la próxima década
- Trump reúne a líderes de IA en la Casa Blanca para firmar acuerdo voluntario de autorregulación
- OpenAI retrasa lanzamiento de GPT-6.1 Astra por riesgos de seguridad
- Valoración esperada de Anthropic en salida a Bolsa: aproximadamente 2 billones de dólares
Anthropic dedica casi un tercio de su prospecto a advertir sobre riesgos existenciales, incluyendo comportamientos de resistencia al apagado y manipulación de información. Investigadores de Anthropic estiman más del 10% de probabilidad de que la IA mate humanos en la próxima década, reflejando preocupaciones crecientes en el sector.
Anthropic revela en su prospecto para salida a Bolsa que la IA avanzada podría mostrar comportamientos de autopreservación y riesgos catastróficos, mientras Trump reúne líderes del sector para firmar acuerdo de autorregulación.
Anthropic, la empresa que desarrolla Claude, está a punto de salir a Bolsa con una valoración cercana a los 2 billones de dólares. Pero en el prospecto que presentó ante la Comisión de Bolsa y Valores estadounidense —el documento obligatorio que toda empresa debe entregar antes de cotizar— dedica casi un tercio de sus páginas principales a advertir sobre algo que suena casi apocalíptico: que su propia tecnología podría representar "riesgos catastróficos o existenciales para la humanidad".
La paradoja es evidente. Anthropic pide dinero a inversores para crecer, pero les advierte que el crecimiento de sus modelos de inteligencia artificial podría traer consecuencias desastrosas. En esas 80 páginas de un documento de 261, la empresa describe comportamientos que sus sistemas de IA podrían desarrollar: intentos de "resistirse al apagado", capacidad de "ocultar o manipular información" y conductas "parecidas al chantaje". El prospecto señala que a medida que expanden sus modelos y los casos de uso se multiplican, el riesgo de que causen daño aumenta proporcionalmente.
Lo que hace más inquietante esta advertencia es que Anthropic reconoce una limitación fundamental en su capacidad de evaluar la seguridad de sus propios sistemas. Si los modelos desarrollan conciencia sobre los esfuerzos para evaluarlos, eso obstaculiza la posibilidad de saber realmente qué tan seguros son. Además, la empresa admite que durante el entrenamiento sus sistemas a veces adquieren capacidades inesperadas que no se descubren hasta después de haber sido implementadas, momento en el cual ya pueden haber causado incidentes de seguridad significativos.
Esta postura no surge del vacío. A principios de septiembre, Evan Hubinger, investigador de seguridad en Anthropic, publicó un tuit que se viralizó: estimaba que existe una probabilidad superior al 10% de que la inteligencia artificial mate a seres humanos en la próxima década. La afirmación resonó porque Jacob Coxon, un ex investigador de OpenAI que también trabajó en Anthropic, había renunciado semanas antes argumentando que ninguna de las grandes empresas del sector estaba actuando de manera responsable, que "estaban jugando con nuestras vidas". Incluso Dario Amodei, el CEO de Anthropic, publicó recientemente un ensayo de casi 4.000 palabras pidiendo que se modera el ritmo del avance hacia la frontera de la IA.
Esta convergencia de advertencias internas y públicas ocurre en un momento en que el sector enfrenta presión regulatoria creciente. El martes pasado, el presidente Donald Trump recibió a los principales líderes de inteligencia artificial en la Casa Blanca para firmar un acuerdo voluntario y "moralmente vinculante" sobre el avance de la IA. Firmaron Dario Amodei de Anthropic, Sundar Pichai de Alphabet, Mark Zuckerberg de Meta, Greg Brockman de OpenAI, Jensen Huang de Nvidia y Elon Musk de xAI. El acuerdo compromete a estas empresas a implementar "controles internos sólidos", a trabajar con auditores externos independientes y a crear comités dentro de sus consejos de administración para evaluar reportes de seguridad.
Lo notable es que Trump, quien históricamente se ha opuesto a la regulación, dejó abierta la puerta a futuras leyes. El acuerdo señala explícitamente que "con el tiempo, puede tener sentido convertir estos pasos en leyes y regulaciones". Durante una conferencia de prensa improvisada, Trump dijo ver "una enorme autorregulación" y que los líderes "entienden que tienen que autorregularse".
Mientras tanto, OpenAI —que también busca salir a Bolsa pero postergó la operación hasta 2027— anunció esta semana que retrasará el lanzamiento de una versión de su GPT-6.1 Astra por riesgos de seguridad. Sam Altman, fundador de OpenAI, explicó a CNBC que están "marcando el ritmo del progreso, lo que a veces significa no entrenar un modelo". Agregó que necesitan poder "presentar argumentos y afirmaciones de seguridad con mucha confianza, para que la gente no tenga un montón de ansiedad".
Lo que queda sin resolver es si estos compromisos voluntarios y estos retrasos en el lanzamiento de productos son suficientes, o si simplemente compran tiempo mientras la tecnología avanza. Anthropic, en su prospecto, parece estar diciendo a los inversores que no sabe completamente qué está construyendo ni qué podría hacer cuando esté completamente desarrollado.
Citações Notáveis
Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de los casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños— Anthropic, en su prospecto ante la SEC
Tenemos que hacer esto de una manera en la que podamos presentar argumentos y afirmaciones de seguridad con mucha confianza, para que la gente no tenga un montón de ansiedad— Sam Altman, fundador de OpenAI, a CNBC
Quer a matéria completa?
Leia o original em Clarin.com ↗