El CEO de Anthropic, a días de salir a bolsa: “Somos muy paranoicos” con los agentes de IA

El viernes 13 de noviembre, Dario Amodei, cofundador y CEO de Anthropic, subió a un escenario junto a Jamie Dimon, el jefe de JPMorgan Chase, y dijo algo que no es lo habitual en un ejecutivo que está a punto de salir a bolsa: que lo que frena a los agentes de inteligencia artificial no es lo que pueden hacer, sino la posibilidad de usarlos de forma segura. La charla en vivo formó parte de la gira de presentación ante inversores.

El contexto es el debut bursátil. Anthropic presentó su prospecto ante la SEC, el organismo que controla la bolsa en Estados Unidos. Allí figura que la compañía y algunos de sus accionistas venderán 825 millones de acciones a un precio de entre 70 y 78 dólares cada una, lo que valuaría a la empresa en hasta 1,4 billones de dólares. Según Reuters, las acciones empezarían a cotizar en el Nasdaq el 19 de noviembre.

Dimon le planteó una pregunta concreta: qué deben hacer las empresas reguladas, que dependen de la confianza de sus clientes, antes de darles a los agentes acceso a información sensible. Los agentes son programas de IA que ejecutan tareas por su cuenta, como escribir código o completar procesos de trabajo.

Amodei respondió que lo primero es la seguridad. Dijo que los agentes avanzan a un ritmo “increíble” y que la dificultad ya no está en que resuelvan una tarea compleja de ciencias de la vida o de arquitectura de software. Para él, el desarrollo de la tecnología, su uso dentro de Anthropic y su adopción por parte de los clientes comparten el mismo límite. “No queremos que estos agentes se descontrolen”, afirmó.

Agregó que Anthropic invirtió, “creo, más que cualquier otra empresa del sector”, en hacer segura esta tecnología, y que cuenta con un equipo de alineación “muy grande”, el que trabaja para que un modelo haga lo que se espera de él. “Somos muy paranoicos”, dijo. Explicó que cada pocos meses, pese a todo el esfuerzo ya realizado, la empresa decide emprender otra tanda intensiva de trabajo para sumar todavía más seguridad.

La otra mitad de su respuesta fue sobre el negocio. “Elegimos a las empresas como foco de forma más o menos deliberada, porque entendimos que iba de la mano con nuestra apuesta por la seguridad”, explicó. En su razonamiento, a las empresas les importan la confianza, las relaciones de largo plazo y su reputación más que a los consumidores, y quieren asegurarse de que los modelos no causen estragos.

Sostuvo que la seguridad le importa a Anthropic “por una cuestión de valores” desde su fundación, y que el negocio con empresas funcionó como “un incentivo prosocial”: alinea los intereses comerciales de la compañía con lo que quiere lograr para la sociedad. Según Barron’s, Amodei también confirmó que la empresa rechaza a postulantes con capacidad técnica que no estén “orientados al beneficio público”.

Lo que Amodei no respondió es qué ocurre cuando esa prioridad choque con lo que pidan los accionistas. No se refirió a eso. De cumplirse el calendario, desde el 19 de noviembre será el mercado el que le pida esa explicación.