¿Cómo saber si un libro fue escrito por una IA? Los indicios y los límites de la detección

Una novela superventas fue retirada de un certamen literario porque suscitó sospechas de haber sido escrita con inteligencia artificial. Es el caso de Thélyson Orélien. La herramienta que hizo saltar la alarma fue Pangram, una aplicación considerada el "estándar de referencia" entre los detectores de texto generado por IA: dio positivo. El episodio ha dejado un reguero de declaraciones cruzadas entre los implicados.

Lo cuenta Javier Arroyo Gallardo, profesor titular del Departamento de Ciencias de la Computación de la Universidad de Alcalá, en un artículo para The Conversation que BioBioChile reprodujo en su sección de explicadores. Su punto de partida es que hoy cualquiera puede sacar un libro. Muchos influencers y figuras mediáticas publican obras que no escribieron, algo que antes exigía el trabajo de personas en la sombra y que ahora la IA facilita enormemente. La necesidad de detectar ese uso, o de evitar que se detecte, alcanza también a escuelas y universidades.

Para entender la detección hay que entender cómo escribe una IA. Genera el texto palabra por palabra, aunque en rigor por tokens, que pueden ser una palabra entera, un trozo, un signo de puntuación, un número o un espacio. El algoritmo lee lo ya escrito, calcula una lista de posibles continuaciones con sus probabilidades, hace un sorteo, añade la ganadora y repite. Esas probabilidades se relacionan con la frecuencia de las palabras en los textos de entrenamiento. Además, como el sistema está optimizado para conversar y resolver dudas con claridad, si no se le pide otra cosa su tono es neutro y expositivo.

De ahí surgen huellas sutiles. La IA prioriza vocabulario común frente a términos rebuscados, abusa de palabras de relleno como "realmente" o "simplemente" y de otras de énfasis como "notable" o "fundamental". Recurre a fórmulas como "por lo tanto", "en resumen", "con el objetivo de" o "no solo… sino también", y suele cerrar los argumentos con una frase a modo de resumen. Estos patrones reducen la variabilidad del texto y pueden medirse mediante estilometría, que compara los rasgos estilísticos con los de textos de IA.

Otra estrategia es la perplejidad, que mide cuán sorprendente resulta una secuencia para una IA generadora de lenguaje. Un detector con probabilidades similares recorre el texto y calcula esa sorpresa. Funciona mejor en textos largos, porque el contexto previo reduce la incertidumbre. En los textos de IA la perplejidad tiende a ser uniforme; en los humanos varía mucho más, porque somos más impredecibles. Una tercera vía es usar una IA para vigilar a otra. Los modelos comerciales como ChatGPT dan malos resultados, pero los entrenados específicamente para detectar son la mejor estrategia actual. Pangram aprende a distinguir textos humanos de sus réplicas generadas por IA y se reentrena poniendo el foco en los falsos positivos.

Como la detección acumula indicios, el camuflaje consiste en borrarlos. Lo más simple es pedirle a la propia IA que escriba de otro modo: adoptando un rol, como "escribe como un estudiante de secundaria", evitando una lista negra de palabras o alternando frases de distinta longitud. También se puede editar el resultado: inyectar texto propio, sustituir palabras que uno no usaría o reescribir fragmentos. Los más perezosos piden a la IA que parafrasee, y estudios recientes muestran que tras sucesivos parafraseos la eficacia de los detectores baja sensiblemente. Otra variante es traducir el texto a otro idioma y devolverlo a la lengua original.

Queda el ojo humano, que según el autor es nefasto y excelente a la vez. Un estudio indica que la diferencia la marca la familiaridad con la escritura de la IA: quienes no la tienen fallan mucho y confían demasiado en su veredicto, mientras que los expertos son muy difíciles de engañar. Si se suman los veredictos de varios expertos, el resultado es excelente, solo igualado por Pangram. Aun así, Arroyo advierte que ningún sistema es infalible y siempre quedará un margen de duda.

Su conclusión es que, mientras el texto escrito por personas conserve valor, el juego del gato y el ratón continuará y las tácticas de ambos bandos seguirán sofisticándose.