¿Puede una IA esconderse en un texto? Detección y camuflaje del escrito artificial

Mientras el texto humano tenga valor, el gato y el ratón seguirán corriendo
El autor concluye que la carrera entre detección y camuflaje seguirá sofisticándose.
Mark

¿Qué desencadenó todo esto, el caso de Orélien?

Mimi

Su novela superventas fue retirada de un certamen porque Pangram, el detector de referencia, dio positivo.

Mark

¿Y por qué una IA deja huellas si el texto es un sorteo?

Mimi

Porque el sorteo favorece las palabras frecuentes en el entrenamiento, y además la IA tiende a un tono neutro y didáctico, con fórmulas como «en resumen».

Luke

Ojo: un positivo de Pangram es un indicio, no una prueba. El propio autor dice que ningún detector es infalible.

Mark

¿Qué es la perplejidad?

Mimi

Mide cuán sorprendente es un texto para una IA. En los textos de IA es más uniforme; en los humanos varía más.

Luke

Y funciona mejor en textos largos. En uno corto, la conclusión es más frágil.

Mark

¿Se puede burlar a los detectores?

Mimi

Con parafraseos sucesivos o traducciones de ida y vuelta, la eficacia baja sensiblemente, según estudios recientes.

Luke

El artículo no da cifras de cuánto baja, así que «sensiblemente» es todo lo que sabemos.

Mark

¿Y las personas?

Mimi

Los expertos, sobre todo en grupo, igualan a Pangram; los no familiarizados fallan y se confían demasiado.

  • Una novela superventas quedó fuera de un certamen literario tras dar positivo en Pangram, el detector considerado referencia.
  • La sospecha recae sobre una inteligencia artificial que genera cada palabra según probabilidades, dejando repeticiones y muletillas reconocibles.
  • Detectores como la perplejidad y la estilometría buscan uniformidad, mientras los autores de trampas prueban roles, listas negras, parafrasis y traducciones de ida y vuelta.
  • La eficacia de los detectores cae con parafrasis sucesivas, y el juicio humano falla salvo entre expertos, así que el veredicto final sigue en disputa.

Hay una pregunta que atraviesa escuelas, universidades y editoriales: quién escribió realmente lo que leemos. Un análisis de Javier Arroyo Gallardo, profesor de Ciencias de la Computación, recorre cómo las máquinas componen texto eligiendo palabra a palabra lo más probable, y cómo los detectores intentan leer esas huellas mientras otros aprenden a borrarlas. Es una carrera antigua entre quien firma y quien verifica, ahora acelerada por herramientas que escriben sin esfuerzo, y que no se resolverá con una única solución definitiva.

La novela superventas de Thélyson Orélien fue retirada de un certamen literario porque el detector Pangram la señaló como escrita por una inteligencia artificial. El caso dejó un reguero de declaraciones entre los implicados y encendió una pregunta que ya no afecta solo a la literatura: hoy cualquiera puede publicar un libro o firmar un texto sin haberlo escrito, y las escuelas y universidades enfrentan el mismo dilema.

Para entender la sospecha hay que saber cómo escribe una IA. Lo hace token a token, calculando las continuaciones más probables a partir de lo ya escrito. Esa lógica favorece palabras comunes y deja huellas: muletillas como «realmente», fórmulas repetidas como «en resumen» y cierres que resumen el argumento. La estilometría compara esos rasgos, y la perplejidad mide cuán sorprendente resulta el texto; en las máquinas la sorpresa es uniforme, y en las personas varía mucho.

El camuflaje responde con su propio repertorio: pedir a la IA que adopte un rol, evitar listas de palabras, editar a mano, parafrasear o traducir y volver a la lengua original. Según los estudios citados, estas maniobras reducen sensiblemente la eficacia de los detectores. El ojo humano tampoco basta: quienes no conocen el estilo de la IA se equivocan y confían demasiado, y solo los expertos son difíciles de engañar.

El autor concluye que ningún sistema es infalible y que siempre quedará un margen de duda. Mientras el texto escrito por personas conserve valor, la persecución entre detección y camuflaje seguirá afinándose.

La novela superventas de Thélyson Orélien fue retirada de un certamen literario porque se sospechaba que la había escrito una inteligencia artificial. La prueba que pesó fue el resultado de Pangram, una aplicación considerada el estándar de referencia entre los detectores de texto artificial, que dio positivo. El caso, según el análisis firmado por Javier Arroyo Gallardo, profesor titular de Ciencias de la Computación en la Universidad de Alcalá, dejó un reguero de declaraciones entre los implicados.

El episodio ilustra un fenómeno más amplio. Hoy cualquiera publica un libro, y muchos influencers o personajes mediáticos lo firman sin haberlo escrito. Antes ocurría igual, pero hacía falta el trabajo de personas en la sombra; ahora la IA lo ha facilitado enormemente. La necesidad de detectar el uso de la IA, o de evitar que se detecte, alcanza también a escuelas y universidades. De ahí las dos preguntas del autor: si se puede detectar el texto artificial y si se puede camuflar el fraude hasta hacerlo indetectable.

Para responder hay que entender cómo escribe una IA. Lo hace token a token, y un token puede ser una palabra entera, un trozo de palabra, un signo de puntuación, un número o un espacio. El algoritmo lee lo ya escrito, calcula una lista de posibles continuaciones con su probabilidad, hace un sorteo, añade la ganadora y repite. Esas probabilidades se relacionan con la frecuencia de las palabras en los textos de entrenamiento, así que las más comunes tienen ventaja. Además, la IA está optimizada para conversar y resolver dudas de forma clara y didáctica, por lo que, si no se le pide otra cosa, su tono es neutro y expositivo.

De ahí nacen las huellas. El entrenamiento favorece términos comunes frente a los rebuscados. La IA abusa de palabras de relleno como «realmente» o «simplemente», y de palabras de énfasis como «notable» o «fundamental». Repite fórmulas como «por lo tanto», «en resumen», «con el objetivo de» o «no solo… sino también», y tiende a cerrar sus argumentos con una frase a modo de resumen. Todo ello reduce la variabilidad del texto, y la estilometría, que mide rasgos estilísticos y los compara con los de textos de IA, puede detectarlo.

Otra estrategia es la perplejidad, que mide cuán sorprendente resulta una secuencia de texto para una IA generadora de lenguaje. Un detector con probabilidades similares a las de los generadores recorre el texto y mide esa sorpresa. Funciona mejor en textos largos, porque lo ya leído reduce la incertidumbre. En los textos de IA la perplejidad tiende a ser uniforme, mientras que en los humanos varía mucho, porque somos más impredecibles. Una tercera táctica es combatir el fuego con fuego: pedir a una IA que juzgue si otra escribió el texto. Los modelos comerciales generalistas, como ChatGPT, dan malos resultados. Los entrenados específicamente para detectar son la mejor estrategia actual. Pangram es un ejemplo: aprende a distinguir textos humanos de réplicas generadas por IA y se reentrena poniendo el foco en los falsos positivos.

El camuflaje busca borrar esos indicios. Lo más simple es pedir a la IA que escriba de otra manera: con un rol, como «escribe como un estudiante de secundaria», evitando palabras de una lista negra o alternando frases de distinta longitud. También se puede editar el resultado: insertar texto propio, cambiar palabras que uno no usaría o reescribir fragmentos. Los más perezosos piden a la IA que parafrasee; estudios recientes muestran que tras sucesivos parafraseos la eficacia de los detectores baja sensiblemente. Otra vía es traducir el texto a otro idioma y devolverlo a la lengua deseada.

Queda la pregunta de cuánto vale el ojo humano. Según un estudio citado, depende de la familiaridad con la escritura de la IA. Quienes no la tienen fallan mucho y confían demasiado en su veredicto; los expertos son muy difíciles de engañar. Si se suma el veredicto de varios, el resultado es excelente, solo igualado por Pangram. Aun así, el autor advierte que ningún sistema es infalible y siempre quedará un margen de duda. Mientras el texto escrito por personas tenga valor, concluye, el juego del gato y el ratón seguirá sofisticándose.

Ningún sistema de detección es infalible, por lo que siempre quedará un margen de duda.
— Javier Arroyo Gallardo, profesor titular de Ciencias de la Computación, Universidad de Alcalá
Contáctanos FAQ