Microsoft, en colaboración con MITRE, IBM, NVIDIA y Bosch, ha lanzado un nuevo marco abierto que tiene como objetivo ayudar a los analistas de seguridad a detectar, responder y remediar ataques adversarios contra sistemas de aprendizaje automático (ML).
Llamada Matriz de Amenazas de AA Adversario , la iniciativa es un intento de organizar las diferentes técnicas empleadas por adversarios maliciosos para subvertir los sistemas de AA.
Así como la inteligencia artificial (IA) y el aprendizaje automático se están implementando en una amplia variedad de aplicaciones novedosas, los actores de amenazas no solo pueden abusar de la tecnología para impulsar su malware, sino que también pueden aprovecharla para engañar a los modelos de aprendizaje automático con conjuntos de datos envenenados, lo que genera sistemas beneficiosos. para tomar decisiones incorrectas y representar una amenaza para la estabilidad y seguridad de las aplicaciones de IA.
De hecho, los investigadores de ESET encontraron el año pasado que Emotet , un notorio malware basado en correo electrónico detrás de varias campañas de spam impulsadas por botnets y ataques de ransomware, estaba utilizando ML para mejorar su orientación.
Luego, a principios de este mes, Microsoft advirtió sobre una nueva variedad de ransomware de Android que incluía un modelo de aprendizaje automático que, aunque aún no se ha integrado en el malware, podría usarse para ajustar la imagen de la nota de rescate dentro de la pantalla del dispositivo móvil sin ninguna distorsión.
Además, los investigadores han estudiado lo que se llama ataques de inversión de modelo , en los que se abusa del acceso a un modelo para inferir información sobre los datos de entrenamiento.
Según un informe de Gartner citado por Microsoft, se espera que el 30% de todos los ciberataques de IA para 2022 aprovechen el envenenamiento de datos de entrenamiento, el robo de modelos o las muestras adversas para atacar los sistemas impulsados por el aprendizaje automático.
«A pesar de estas razones de peso para proteger los sistemas de aprendizaje automático, la encuesta de Microsoft que abarcó 28 empresas encontró que la mayoría de los profesionales de la industria aún no han llegado a un acuerdo con el aprendizaje automático contradictorio», dijo el fabricante de Windows. «Veinticinco de las 28 empresas indicaron que no cuentan con las herramientas adecuadas para proteger sus sistemas de aprendizaje automático».
Adversarial ML Threat Matrix espera abordar las amenazas contra el armamentismo de datos con un conjunto seleccionado de vulnerabilidades y comportamientos adversarios que Microsoft y MITRE examinaron para ser efectivos contra los sistemas de ML.
La idea es que las empresas puedan utilizar la Matriz de amenazas de aprendizaje automático adversario para probar la resistencia de sus modelos de inteligencia artificial simulando escenarios de ataque realistas utilizando una lista de tácticas para obtener acceso inicial al entorno, ejecutar modelos de aprendizaje automático inseguros, contaminar los datos de entrenamiento y exfiltrar información confidencial. a través de ataques de robo de modelos.
«El objetivo de la Matriz de amenazas de ML adversas es posicionar los ataques a los sistemas de ML en un marco en el que los analistas de seguridad puedan orientarse en estas amenazas nuevas y futuras», dijo Microsoft.
«La matriz está estructurada como el marco ATT & CK , debido a su amplia adopción entre la comunidad de analistas de seguridad; de esta manera, los analistas de seguridad no tienen que aprender un marco nuevo o diferente para conocer las amenazas a los sistemas ML».
El desarrollo es el último de una serie de movimientos emprendidos para proteger la IA del envenenamiento de datos y los ataques de evasión de modelos. Vale la pena señalar que los investigadores de la Universidad John Hopkins desarrollaron un marco denominado TrojAI diseñado para frustrar los ataques de troyanos, en el que se modifica un modelo para responder a los desencadenantes de entrada que hacen que infiera una respuesta incorrecta.
