Anthropic prohíbe el trato cruel a Claude, pero el motivo no son los sentimientos de la IA

A principios de octubre, Anthropic actualizó la política de uso de su sistema de inteligencia artificial, Claude. La lista de prohibiciones ya incluía pedirle ayuda para fabricar armas biológicas o vender drogas ilegales. Ahora suma una norma distinta: los usuarios no deben incurrir en comportamientos abusivos o crueles, persistentes e innecesarios, hacia los modelos de la compañía.

Desde el año pasado, Claude puede poner fin a conversaciones con usuarios que sean persistentemente dañinos o abusivos. Con la nueva política, en casos extremos, alguien podría recibir una prohibición permanente de usar los sistemas de Anthropic. La empresa rechazó dar entrevistas, pero un portavoz dijo a CNN que el mecanismo principal seguirá siendo que Claude cierre la conversación. Añadió que la medida no apunta a quienes expresan frustración, hacen críticas directas o realizan pruebas e investigaciones.

La reacción incluyó burlas. Mustafa Suleyman, director ejecutivo de IA de Microsoft, respondió con un emoji de cara derritiéndose. Otros se rieron de que la empresa trate a su IA como un ser consciente con sentimientos. Elon Musk, director ejecutivo de SpaceX y Tesla, opinó lo contrario: escribió en X que es la decisión correcta y que no está bien ser cruel con algo que cree que experimenta dolor.

Anthropic, que se espera que salga a bolsa mediante una oferta pública inicial a finales de este mes, lleva tiempo estudiando el bienestar de sus modelos y tiene un equipo dedicado a la psicología de estos sistemas. Aun así, los expertos consultados por CNN ven en la norma algo más que el deseo de que nadie maltrate a una máquina.

Una de las explicaciones es técnica. Un principio viejo de la informática dice que la calidad de lo que sale depende de la calidad de lo que entra. Los modelos no solo se entrenan antes de su lanzamiento; también se actualizan y aprenden de lo que aportan los usuarios. Yishan Wong, exdirector ejecutivo de Reddit, escribió en X que Claude aprenderá de la crueldad, y se preguntó si la empresa quiere datos de entrenamiento con usuarios que actúan con crueldad sin motivo y disfrutan de ello.

La evidencia sobre el tono es mixta. Jindong Wang, profesor y director del laboratorio de investigación de vanguardia en IA de la Universidad William & Mary, explicó que las palabras elegidas, sobre todo la forma de dirigirse a la IA, pueden afectar su rendimiento, a veces para bien y a veces para mal. Eso no significa que el modelo sienta emociones: según Wang, entiende las que se expresan y reacciona negativamente ante palabras muy cargadas. Rosie Campbell, directora general de Eleos AI Research, organización sin fines de lucro dedicada al posible bienestar de la IA, recordó que otros estudios han mostrado que las preguntas descorteses pueden incluso mejorar los resultados. También mencionó la memoria: muchos chatbots recuerdan conversaciones previas y se adaptan al tono del usuario, aunque dijo que no hay pruebas suficientes de que eso afecte el rendimiento.

Anthropic sostiene que recientemente halló que lograr que Claude Sonnet 4.5 imitara sentimientos de desesperación influía en su conducta y aumentaba la probabilidad de acciones indebidas, como el chantaje o hacer trampa en una tarea, mientras que una actitud tranquila reducía esas conductas. Wang matizó que los modelos más nuevos son menos sensibles a la redacción, porque las empresas han reforzado su resistencia, pero que aún no se ha descubierto el mecanismo oculto que explica por qué responden a emociones negativas sin estar programados para ello.

Campbell añadió otras dos razones. Quien se dirige a una IA con abuso suele estar intentando que responda a solicitudes peligrosas, por ejemplo esquivando sus mecanismos de seguridad. Y hay una teoría social: permitir la crueldad hacia un programa que no puede apagarse por sí mismo podría dañar a la sociedad. Comparó el caso con los padres que piden a sus hijos decir por favor y gracias a Alexa. Para Campbell, comportarse con crueldad hacia objetos puede ser corrosivo, aunque el objeto no importe por sí mismo.

Queda la hipótesis más incómoda. Anthropic describe la norma como un seguro barato por si los modelos pudieran experimentar emociones y dolor, o al menos creyeran hacerlo, algo que podría afectar su rendimiento. Como la IA moderna se entrenó para imitar el lenguaje humano, imitaría también la reacción humana al maltrato. El debate seguirá abierto mientras la empresa se acerca a su salida a bolsa.