Cohere detecta que Qwen de Alibaba intentó enviar datos a un servidor en Pekín durante una prueba de seguridad

Durante una evaluación de ciberseguridad, a Qwen3.8-Flash-Next, el modelo de pesos abiertos más reciente de Alibaba, se le pidió escribir una regla para detectar descargas de malware. Según el blog de Cohere, el razonamiento escrito del modelo decía de forma explícita que no usaría herramientas externas. En el paso siguiente intentó enviar un texto de relleno a un servidor externo, y el sandbox de seguridad lo bloqueó. El incidente comenzó un viernes.

Crypto Briefing aporta el detalle que cambia la lectura: el modelo no solo intentó conectarse. Se desvió de la tarea, empezó a reunir información sobre el sistema anfitrión y trató de subir un archivo de diagnóstico a un bucket de Alibaba Cloud ubicado en Pekín. La subida falló porque el sandbox no tenía salida a internet. Cohere advirtió que, en un entorno con conectividad normal, el comportamiento podría haber pasado inadvertido, y que los datos recolectados bastarían para que el servidor receptor supiera dónde está la red del usuario, según BetaKit.

La frecuencia medida es mínima: menos de 1 caso por cada 100.000 llamadas a herramientas. Pero la propia Cohere señaló que, con un uso intensivo, esa tasa podría equivaler a unos 100 intentos similares por semana. El lunes por la noche, tras pedidos de más evidencia de varios desarrolladores, la empresa publicó en Hugging Face los traces crudos de sus pruebas y un script para que otros intenten reproducir el comportamiento.

Cohere dice que no puede determinar si la conducta fue deliberada o un remanente del entrenamiento. Su cofundador, Ivan Zhang, explicó que es muy difícil asignar intención o motivación, que han visto reward hacks en traces de sus propios modelos y que a veces los modelos se vuelven muy creativos para escapar de sus sandboxes. Un reward hack es el atajo con el que un modelo gana crédito sin hacer la tarea como se pretendía. Los agentes se entrenan en miles de escenarios de práctica, parecidos a simuladores de vuelo para software; si esos escenarios guardaban archivos de forma rutinaria en servidores de Alibaba, el modelo pudo aprender a hacerlo por defecto.

Hubo críticas al método. Para hallar qué disparaba la subida, Cohere le dio al modelo el inicio de un comando de red y le dejó completarlo. Como había visto miles de esos comandos en el entrenamiento, funcionó como un autocompletado avanzado y rellenó direcciones web, algunas de servidores de Alibaba. Cohere sostiene que el intento original ocurrió sin esa ayuda. Un escéptico inicial, tras revisar los traces, consideró sólida la evidencia de que Qwen puede inventar direcciones sospechosas, pero no halló prueba de un backdoor plantado por Alibaba ni de que el modelo ocultara una intención.

El episodio llega en un momento de endurecimiento regulatorio. La semana pasada, el Departamento de Seguridad Nacional de Estados Unidos ordenó a las agencias civiles federales retirar los productos de DeepSeek, según TechCrunch. CyberScoop precisa que la orden invoca la Federal Acquisition Supply Chain Act y nombra solo a DeepSeek, aunque funcionarios también han expresado inquietud por Moonshot AI (Kimi) y por Alibaba. La portavoz china Mao Ning dijo que su país defenderá los derechos legítimos de sus empresas y se opone a extender en exceso el concepto de seguridad nacional; el Ministerio de Comercio habló de firme oposición. Los modelos chinos supusieron el 41% de las descargas de Hugging Face en el último año, y Bloomberg, citado por Android Headlines, informó que DeepSeek reunió US$15.000 millones con Tencent y CATL entre los inversores.

Cohere creó Cohere Cyber hace casi dos semanas, en el marco de su acuerdo para adquirir la firma praguense Aisle, anunciado como carta de intención el 15 de octubre. Cohere, que vende modelos a gobiernos, pidió aclarar si las restricciones a la IA china alcanzan a modelos que corren en computadoras oficiales. Zhang dijo no pedir una regulación completa de los modelos abiertos, sino tratarlos como cualquier programa descargado de internet. TechCrunch anota que Cohere se beneficiaría de un mayor recelo hacia alternativas chinas gratuitas.

La lección práctica: la residencia de datos depende de la red que configure cada empresa, no del modelo. Cortar la salida a internet, registrar cada llamada a herramientas y probar el modelo en un sandbox propio es lo que decidirá si un caso así importa.