El gobierno de Estados Unidos ha presentado nuevas directrices de seguridad destinadas a reforzar la infraestructura crítica contra amenazas relacionadas con la inteligencia artificial (IA).
«Estas directrices se basan en el esfuerzo de todo el gobierno para evaluar los riesgos de la IA en los dieciséis sectores de infraestructura críticos y abordar las amenazas tanto hacia como desde los sistemas de IA, y que involucran a estos», dijo el lunes el Departamento de Seguridad Nacional (DHS).
Además, la agencia dijo que está trabajando para facilitar el uso seguro, responsable y confiable de la tecnología de una manera que no infrinja la privacidad, los derechos civiles y las libertades civiles de las personas.
La nueva guía se refiere al uso de la IA para aumentar y escalar los ataques a infraestructuras críticas, la manipulación adversa de los sistemas de IA y las deficiencias en dichas herramientas que podrían tener consecuencias no deseadas, lo que requiere la necesidad de transparencia y prácticas de diseño seguras para evaluar y mitigar la IA. riesgos.
Específicamente, esto abarca cuatro funciones diferentes, como gobernar, mapear, medir y gestionar durante todo el ciclo de vida de la IA:
- Establecer una cultura organizacional de gestión de riesgos de IA.
- Comprenda su contexto de uso individual de IA y su perfil de riesgo
- Desarrollar sistemas para evaluar, analizar y rastrear los riesgos de la IA.
- Priorizar y actuar sobre los riesgos de la IA para la seguridad y la protección
«Los propietarios y operadores de infraestructuras críticas deben tener en cuenta su propio uso de la IA en cada sector y contexto al evaluar los riesgos de la IA y seleccionar las mitigaciones adecuadas», dijo la agencia .
«Los propietarios y operadores de infraestructuras críticas deben comprender dónde existen estas dependencias de los proveedores de IA y trabajar para compartir y delinear las responsabilidades de mitigación en consecuencia».
El desarrollo llega semanas después de que la alianza de inteligencia Five Eyes (FVEY), compuesta por Australia, Canadá, Nueva Zelanda, el Reino Unido y los EE. UU., publicara una hoja de información de ciberseguridad en la que se señala la cuidadosa instalación y configuración necesarias para implementar sistemas de IA.
«La rápida adopción, despliegue y uso de capacidades de IA pueden convertirlas en objetivos muy valiosos para ciberataques maliciosos», dijeron los gobiernos .
«Los actores, que históricamente han utilizado el robo de datos sensibles y propiedad intelectual para promover sus intereses, pueden intentar cooptar los sistemas de inteligencia artificial desplegados y aplicarlos con fines maliciosos».
Las mejores prácticas recomendadas incluyen tomar medidas para proteger el entorno de implementación, revisar el origen de los modelos de IA y la seguridad de la cadena de suministro, garantizar una arquitectura sólida del entorno de implementación, reforzar las configuraciones del entorno de implementación, validar el sistema de IA para garantizar su integridad, proteger los pesos de los modelos, hacer cumplir estrictos controles de acceso, realizar auditorías externas e implementar registros sólidos.
A principios de este mes, el Centro de Coordinación CERT (CERT/CC) detalló una deficiencia en la biblioteca de la red neuronal Keras 2 que podría ser aprovechada por un atacante para troyanizar un modelo de IA popular y redistribuirlo, envenenando efectivamente la cadena de suministro de aplicaciones dependientes.
Investigaciones recientes han descubierto que los sistemas de IA son vulnerables a una amplia gama de ataques de inyección rápida que inducen al modelo de IA a eludir los mecanismos de seguridad y producir resultados dañinos.
«Los ataques de inyección rápida a través de contenido envenenado son un riesgo importante para la seguridad porque un atacante que hace esto puede potencialmente emitir comandos al sistema de inteligencia artificial como si fuera el usuario», señaló Microsoft en un informe reciente.
Una de esas técnicas, denominada Crescendo, ha sido descrita como un jailbreak de modelo de lenguaje grande (LLM) de múltiples vueltas, que, al igual que el jailbreak de múltiples disparos de Anthropic , engaña al modelo para que genere contenido malicioso al «hacer preguntas o indicaciones cuidadosamente elaboradas que guían gradualmente el LLM». a un resultado deseado, en lugar de pedir el objetivo de una vez».
Las indicaciones de jailbreak de LLM se han vuelto populares entre los ciberdelincuentes que buscan crear señuelos de phishing efectivos, incluso cuando los actores de los estados-nación han comenzado a utilizar la IA generativa como arma para orquestar operaciones de espionaje e influencia.
Aún más preocupante, estudios de la Universidad de Illinois Urbana-Champaign han descubierto que los agentes LLM se pueden utilizar para explotar de forma autónoma vulnerabilidades de un día en sistemas del mundo real simplemente usando sus descripciones CVE y » piratear sitios web» , realizando tareas tan complejas como Extracción ciega de esquemas de bases de datos e inyecciones SQL sin comentarios humanos».
Fuente y redacción: thehackernews.com
