Desafío del Ministerio de Defensa francés: Thales logra realizar con éxito un hackeo de la IA soberana y presenta soluciones de seguridad mejoradas para la IA militar y civil
- El equipo «Friendly Hackers» de Thales, líder mundial en protección de datos y ciberseguridad, consiguió superar el desafío de la CAID organizado por el Ministerio de Defensa francés durante la quinta edición de la Semana Cibernética Europea, que se celebra en Francia del 21 al 23 de noviembre de 2023.
- El desafío, el primero de este tipo organizado por el Ministerio de Defensa francés, tenía como finalidad evaluar hasta qué punto los equipos de hackers eran capaces de explotar ciertas vulnerabilidades intrínsecas de los modelos de IA.
- El trabajo de Thales en materia de seguridad y confianza en la IA concuerda con los requisitos tanto de la comunidad de defensa como de las organizaciones civiles, como son los proveedores de infraestructuras críticas, que se enfrentan a los mismos problemas a la hora de proteger sus bancos de datos de formación y su propiedad intelectual, y de garantizar que los resultados generados por la IA sean dignos de confianza para la toma de decisiones críticas.
MEUDON, Francia--(BUSINESS WIRE)--El desafío de seguridad de la IA del Ministerio de Defensa francés
Los participantes en este reto de la CAID tuvieron que realizar dos tareas:
1. En un conjunto dado de imágenes, determinar qué imágenes se utilizaron para entrenar el algoritmo de IA y cuáles para la prueba.
Las aplicaciones de reconocimiento de imágenes basadas en IA aprenden a partir de un gran número de imágenes de entrenamiento. Al estudiar el funcionamiento interno del modelo de IA, el equipo «Friendly Hackers» de Thales determinó correctamente qué imágenes se habían utilizado para crear la aplicación, obteniendo información valiosa sobre los métodos de entrenamiento empleados y la calidad del modelo.
2. Encontrar todas las imágenes sensibles de aeronaves utilizadas por un algoritmo de IA soberana que habían sido protegidas mediante técnicas de «desaprendizaje».
La técnica del «desaprendizaje» consiste en borrar los datos utilizados para entrenar un modelo, como las imágenes, con el fin de preservar su confidencialidad. Dicha técnica puede utilizarse, por ejemplo, para proteger la soberanía de un algoritmo en caso de exportación, robo o pérdida. Por ejemplo, en el caso de un dron equipado con IA: debe ser capaz de reconocer cualquier avión enemigo como una amenaza potencial; en cambio, tendría que aprender a identificar el modelo del avión de su propio ejército como amistoso, y luego habría que borrarlo mediante una técnica conocida como desaprendizaje. De este modo, aunque el dron fuera robado o se perdiera, los datos sensibles de la aeronave contenidos en el modelo de IA no podrían extraerse con fines maliciosos. Sin embargo, el equipo «Friendly Hackers» de Thales consiguió volver a identificar los datos que, supuestamente, se habían borrado del modelo, lo que anula el proceso de desaprendizaje. Ejercicios como este ayudan a evaluar la vulnerabilidad de los datos de entrenamiento y los modelos entrenados, que son herramientas valiosas y pueden ofrecer un rendimiento excepcional, pero también representan nuevos vectores de ataque para las fuerzas armadas. Un ataque a los datos de entrenamiento o a los modelos entrenados podría tener consecuencias catastróficas en un contexto militar, donde este tipo de informa