Nuevo sistema del MIT predice errores en coches autónomos mediante IA explicable

Un equipo de investigadores del Instituto Tecnológico de Massachusetts ha desarrollado una herramienta que promete resolver uno de los mayores interrogantes de la conducción autónoma: qué está pensando realmente el coche cuando toma una decisión. El sistema, llamado Concept-Wrapper Network o CW-Net, traduce el razonamiento opaco de la inteligencia artificial en explicaciones que los humanos pueden entender y, más importante aún, en información que permite anticipar fallos antes de que ocurran.

El desafío que CW-Net intenta resolver es fundamental. Los vehículos autónomos funcionan mediante sistemas de aprendizaje profundo que procesan datos de cámaras y sensores, interpretan el entorno y calculan la trayectoria del coche. Pero ese proceso interno permanece como una caja negra: ni siquiera los ingenieros que lo crearon pueden explicar con claridad por qué el sistema eligió una ruta específica o por qué frenó en un momento determinado. Cuando algo sale mal, esa opacidad se convierte en un problema grave.

Los investigadores del MIT, en colaboración con Motional, una empresa especializada en conducción autónoma, añadieron una capa de interpretación al planificador del vehículo. En lugar de mostrar solo la trayectoria elegida, el sistema ahora la acompaña de conceptos reconocibles: "vehículo detenido delante", "ciclista cercano", "peatón en la acera". Lo crucial es que estos conceptos no son una explicación añadida después, desconectada de la decisión real. Están integrados en el proceso de planificación mismo, lo que significa que las explicaciones reflejan fielmente cómo el sistema realmente razona.

Para entrenar esta capacidad, el equipo utilizó 130 millones de ejemplos de escenas de conducción autónoma, cada uno etiquetado con conceptos específicos. El sistema fue diseñado para reproducir exactamente las decisiones del planificador original, asegurando que añadir explicaciones no degradara el rendimiento de conducción. Las pruebas iniciales mostraron que CW-Net logra ofrecer interpretaciones comprensibles sin modificar sustancialmente cómo el vehículo se comporta en la carretera.

La utilidad práctica de esta tecnología quedó clara durante las pruebas con un robotaxi de Motional en un circuito privado. El vehículo se detenía repetidamente cuando se acercaba a un ciclista. Un conductor de seguridad observando la situación habría asumido que el coche había detectado correctamente al ciclista y había decidido frenar de forma deliberada y segura. Pero la información proporcionada por CW-Net reveló una realidad completamente distinta: el sistema de planificación no estaba configurado correctamente para reconocer al ciclista. Había elegido una trayectoria que habría terminado en colisión. El vehículo se detenía solo porque el sistema de frenado de emergencia entraba en funcionamiento cuando se acercaba demasiado. La diferencia es abismal. Para alguien supervisando un coche autónomo, saber que el vehículo ha identificado correctamente un obstáculo no es lo mismo que descubrir que ha cometido un error grave y solo ha evitado sus consecuencias gracias a una maniobra de emergencia.

Con esta información, un conductor de seguridad puede reducir la velocidad o asumir el control manual antes de que la situación se vuelva crítica. Los ingenieros, por su parte, obtienen una pista precisa para localizar y corregir el fallo del sistema. Los investigadores también probaron CW-Net con situaciones reales registradas en las calles de Las Vegas. Los participantes que recibían las explicaciones del sistema fueron capaces de predecir con mayor precisión el comportamiento futuro del vehículo, especialmente en situaciones sorprendentes donde una interpretación correcta marca la diferencia entre seguridad y peligro.

El estudio no afirma que CW-Net haga que los coches autónomos sean incapaces de cometer errores. Su contribución es diferente pero potencialmente más valiosa: hacer que los posibles errores sean más visibles y previsibles para las personas que supervisan estos sistemas. Esa capacidad podría resultar crucial mientras vehículos autónomos y conductores humanos compartan las carreteras, y también durante el desarrollo y validación de sistemas completamente automatizados. El concepto podría extenderse incluso más allá de la conducción autónoma, hacia otros tipos de arquitecturas de inteligencia artificial donde una decisión automatizada puede tener consecuencias graves.