Ser diferente en los datos aumenta el riesgo de ser identificado
En el cruce entre el progreso médico y la justicia de datos, un estudio publicado en Nature revela que los sistemas de inteligencia artificial sanitaria no distribuyen sus riesgos de forma equitativa: quienes ya cargan con la rareza de una enfermedad poco común o con la invisibilidad estadística de ser minoría, son también los más expuestos a que su identidad sea descubierta. Investigadores de Múnich, Londres y otras instituciones han demostrado que la singularidad que hace a ciertos pacientes difíciles de representar en los datos es la misma que los hace fáciles de identificar por los algoritmos. La promesa de una medicina más inteligente no puede sostenerse sobre una arquitectura que castiga a los más vulnerables con una doble desventaja: peores diagnósticos y menor privacidad.
- Pacientes con enfermedades raras y grupos minoritarios pueden ser identificados con una precisión cercana al 100% mediante ataques de inferencia de pertenencia, incluso cuando las métricas globales del modelo parecen seguras.
- Revelar que alguien participó en un conjunto de entrenamiento puede exponer diagnósticos confidenciales —cáncer, Huntington, depresión— que jamás deberían ser deducibles desde fuera del sistema médico.
- Los modelos de IA más grandes y potentes, precisamente los que el sector prioriza hoy, presentan riesgos de privacidad más elevados y una mayor proporción de pacientes especialmente vulnerables.
- Los mismos colectivos que ya sufren peores resultados diagnósticos en IA cargan ahora también con el mayor riesgo de exposición, creando un ciclo que podría disuadirlos de participar en futuras bases de datos y profundizar las desigualdades sanitarias.
- Los investigadores urgen a abandonar las evaluaciones de privacidad basadas en promedios y adoptar análisis individuales, privacidad diferencial y controles de acceso más estrictos como respuesta inmediata.
Un equipo internacional de investigadores de la Universidad Técnica de Múnich, el Imperial College de Londres y otras instituciones ha publicado en Nature un hallazgo que cuestiona los fundamentos éticos de la IA médica: estos sistemas no protegen la privacidad de todos los pacientes por igual. Los más expuestos son precisamente quienes ya se encuentran en los márgenes —personas con enfermedades raras, minorías raciales, grupos socioeconómicos infrarrepresentados— y la razón es tan técnica como perturbadora.
El estudio analiza los llamados ataques de inferencia de pertenencia, que buscan determinar si los datos de una persona concreta fueron usados para entrenar un modelo de IA. A diferencia de investigaciones anteriores que medían el riesgo de forma agregada, este trabajo evaluó la vulnerabilidad paciente por paciente. El resultado desconcertó inicialmente al equipo: algunos individuos podían ser identificados con precisión casi perfecta aunque las métricas globales sugirieran que el sistema era seguro. El patrón emergió al examinar subgrupos: los más vulnerables eran aquellos cuya singularidad los hacía fácilmente distinguibles dentro del conjunto de datos.
Esta vulnerabilidad tiene consecuencias concretas. Si un atacante descubre que una persona formó parte del entrenamiento de un modelo diseñado para predecir respuestas a la inmunoterapia, puede inferir que esa persona tiene cáncer, información que no podría deducirse de un simple análisis de sangre. Situaciones análogas se aplican a enfermedades genéticas como el Huntington, trastornos mentales o la asistencia a clínicas especializadas.
El problema se agrava con la dirección actual del sector: los modelos más grandes y capaces presentan riesgos más elevados, y estos ataques pueden ejecutarse con recursos computacionales modestos. A esto se suma una consecuencia social de largo alcance: si los grupos minoritarios perciben que la IA funciona peor para ellos y que sus datos están más expuestos, podrían rehusar participar en futuras bases de datos, perpetuando las mismas desigualdades que la medicina de precisión promete corregir.
Los autores proponen reemplazar las evaluaciones de privacidad basadas en promedios por análisis individuales, implementar privacidad diferencial y reforzar los controles de acceso a los modelos. El mensaje central es claro: un enfoque único para todos ya no es suficiente cuando las consecuencias recaen de forma desproporcionada sobre quienes menos pueden permitírselas.
Un equipo internacional de investigadores acaba de documentar algo que debería preocupar a cualquiera cuya historia médica haya sido utilizada para entrenar sistemas de inteligencia artificial: los modelos de IA sanitaria no protegen a todos por igual. Científicos de la Universidad Técnica de Múnich, el Imperial College de Londres y otras instituciones han publicado en Nature un análisis que expone cómo ciertos pacientes —especialmente aquellos con enfermedades raras y miembros de grupos minoritarios— corren un riesgo desproporcionadamente alto de que su identidad sea revelada cuando sus datos se emplean para desarrollar estas herramientas médicas.
El estudio se enfoca en lo que los expertos llaman ataques de inferencia de pertenencia, una técnica que intenta determinar si los datos de una persona específica fueron incluidos en el conjunto de entrenamiento de un modelo de IA. Lo novedoso del trabajo es que, a diferencia de investigaciones anteriores que evaluaban el riesgo de forma general sobre bases de datos completas, estos autores analizaron la vulnerabilidad de cada paciente de manera individual. Los resultados fueron sorprendentes: algunos participantes podían ser identificados con una precisión cercana al cien por ciento, incluso cuando las métricas globales sugerían que el riesgo era bajo. Moritz Knolle, autor principal e investigador especializado en IA médica y privacidad de datos en Múnich, explica que al principio el hallazgo los desconcertó. Solo después de examinar diferentes subgrupos descubrieron el patrón: muchos de los pacientes con mayor riesgo pertenecían a colectivos infrarrepresentados en los datos de entrenamiento.
La vulnerabilidad surge de una paradoja incómoda: ser diferente dentro de un conjunto de datos hace que un paciente sea más fácil de distinguir para un modelo de IA. Los investigadores identificaron como grupos especialmente en riesgo a personas con enfermedades raras, pacientes de minorías raciales, colectivos socioeconómicos menos representados, y personas del sexo menos frecuente dentro de determinados conjuntos de datos. La información más distintiva en sus registros clínicos facilita que los algoritmos los diferencien del resto de participantes, aumentando la probabilidad de que su participación en estas bases de datos pueda ser descubierta.
Lo que hace esto particularmente grave es que revelar la pertenencia a un conjunto de entrenamiento no es simplemente un asunto de privacidad abstracta. En contextos específicos, esa información puede exponer diagnósticos médicos confidenciales. Knolle ofrece un ejemplo concreto: imagina un modelo de IA entrenado para predecir cómo responderá un paciente a la inmunoterapia basándose en análisis de sangre. Si un atacante descubre que esa persona formó parte del conjunto de entrenamiento, puede inferir que tiene cáncer, una información médica sensible que no podría deducirse únicamente del análisis de sangre. Situaciones similares podrían ocurrir con enfermedades genéticas latentes como la enfermedad de Huntington, trastornos como la depresión, o incluso la asistencia a clínicas especializadas para ciertos tratamientos.
El problema se agrava con la tendencia actual en desarrollo de IA. El estudio concluye que los modelos más grandes y potentes presentan riesgos más elevados. A medida que aumenta el número de parámetros y mejora el rendimiento diagnóstico, también crece la proporción de pacientes especialmente vulnerables a estos ataques. Esto es especialmente relevante en un momento en que gran parte del desarrollo de IA se basa precisamente en entrenar sistemas cada vez más grandes y capacitados. Además, los investigadores demostraron que estos ataques pueden ejecutarse exitosamente con pequeñas cantidades de recursos computacionales, lo que significa que podrían llevarse a cabo en el mundo real.
La investigación también subraya una consecuencia social más amplia. Estudios previos ya habían mostrado que algunos sistemas de IA médica presentan peores resultados diagnósticos en grupos minoritarios. Ahora se suma a esto que esos mismos colectivos cargan desproporcionadamente con los riesgos de privacidad. Si personas pertenecientes a grupos infrarrepresentados perciben que los modelos funcionan peor para ellas y que sus datos están más expuestos, podrían mostrarse menos dispuestas a participar en futuras bases de datos médicas. Esto dificultaría aún más su representación en los conjuntos de entrenamiento y podría contribuir a perpetuar desigualdades sanitarias ya existentes.
Ante este panorama, los autores proponen cambios en cómo se evalúa y protege la privacidad en sistemas de IA médica. Las evaluaciones de privacidad deberían dejar de basarse únicamente en métricas promedio e incorporar análisis a nivel individual. Recomiendan medidas de protección como la privacidad diferencial, una técnica matemática diseñada para limitar la información que puede extraerse sobre cada participante, así como controles más estrictos sobre el acceso a los modelos. Según Knolle, la primera medida debería ser siempre evaluar cuidadosamente cada caso concreto, analizando qué información confidencial podría obtener un atacante si lograra realizar con éxito una intrusión. Si esa evaluación detecta riesgos relevantes, las instituciones sanitarias deberían adoptar medidas adicionales. Si el análisis indica que un atacante no podría obtener información sensible, entonces no sería necesario tomar medidas adicionales. Lo que está claro es que el enfoque de talla única ya no funciona.
Citas Notables
Analizamos los casos de mayor riesgo buscando características comunes, pero no encontramos un patrón claro. Solo después de estudiar los distintos subgrupos vimos que muchos de esos pacientes pertenecían a colectivos infrarrepresentados— Moritz Knolle, autor principal del estudio
Los ataques de inferencia de pertenencia pueden ejecutarse con éxito utilizando pequeñas cantidades de recursos computacionales, por tanto, creemos que pueden llevarse a cabo en el mundo real— Moritz Knolle
La Conversación del Hearth Otra perspectiva de la historia
¿Por qué los pacientes con enfermedades raras corren más riesgo que otros?
Porque son menos comunes en los datos de entrenamiento. Cuando alguien es diferente estadísticamente, es más fácil para un algoritmo identificarlos. Es como intentar esconderse en una multitud cuando eres la única persona con una característica distintiva.
Pero ¿qué daño real causa que alguien descubra que tus datos fueron usados para entrenar un modelo?
Ese es el punto crucial. No es solo que descubran que participaste. En ciertos contextos, eso revela diagnósticos privados. Si descubren que estabas en el conjunto de entrenamiento de un modelo de cáncer, acaban de revelar que tienes cáncer.
¿Y esto es fácil de hacer? ¿Necesitas ser un hacker sofisticado?
No. El estudio demuestra que estos ataques pueden ejecutarse con recursos computacionales limitados. No es ciencia ficción futura, es algo que puede ocurrir ahora.
¿Qué sucede si los grupos minoritarios dejan de confiar en estos sistemas?
Entonces se retiran de las bases de datos médicas. Y cuando se retiran, hay menos datos de ellos en los sistemas de entrenamiento. Los modelos funcionan peor para esos grupos. Es un círculo vicioso que perpetúa desigualdades sanitarias.
¿Existe una solución?
Hay varias. La privacidad diferencial es una técnica que limita cuánta información puede extraerse sobre cada persona. Pero primero, las instituciones deben evaluar el riesgo de forma individual, no solo mirar números generales. No todos los pacientes enfrentan el mismo riesgo.