Se han revelado poco más de tres docenas de vulnerabilidades de seguridad en varios modelos de inteligencia artificial (IA) y aprendizaje automático (ML) de código abierto, algunas de las cuales podrían conducir a la ejecución remota de código y al robo de información.
Las fallas, identificadas en herramientas como ChuanhuChatGPT, Lunary y LocalAI, se han informado como parte de la plataforma de recompensas por errores Huntr de Protect AI.
Los defectos más graves son dos deficiencias que afectan a Lunary, un kit de herramientas de producción para modelos de lenguaje grandes (LLM):
- CVE-2024-7474 (puntuación CVSS: 9,1): una vulnerabilidad de referencia directa a objetos insegura (IDOR) que podría permitir que un usuario autenticado vea o elimine usuarios externos, lo que resulta en un acceso no autorizado a los datos y una posible pérdida de datos.
- CVE-2024-7475 (puntuación CVSS: 9,1): una vulnerabilidad de control de acceso inadecuado que permite a un atacante actualizar la configuración de SAML, lo que hace posible iniciar sesión como un usuario no autorizado y acceder a información confidencial.
También se descubrió en Lunary otra vulnerabilidad de IDOR ( CVE-2024-7473 , puntuación CVSS: 7,5) que permite a un actor malintencionado actualizar los mensajes de otros usuarios manipulando un parámetro controlado por el usuario.
«Un atacante inicia sesión como Usuario A e intercepta la solicitud para actualizar un mensaje», explicó Protect AI en un aviso. «Al modificar el parámetro ‘id’ en la solicitud por el ‘id’ de un mensaje que pertenece al Usuario B, el atacante puede actualizar el mensaje del Usuario B sin autorización».
Una tercera vulnerabilidad crítica se refiere a una falla de recorrido de ruta en la función de carga de usuarios de ChuanhuChatGPT ( CVE-2024-5982 , puntuación CVSS: 9.1) que podría provocar la ejecución de código arbitrario, la creación de directorios y la exposición de datos confidenciales.
También se han identificado dos fallos de seguridad en LocalAI, un proyecto de código abierto que permite a los usuarios ejecutar LLM autohospedados, lo que potencialmente permite a actores maliciosos ejecutar código arbitrario cargando un archivo de configuración malicioso ( CVE-2024-6983 , puntuación CVSS: 8,8) y adivinar claves API válidas analizando el tiempo de respuesta del servidor ( CVE-2024-7010 , puntuación CVSS: 7,5).
«La vulnerabilidad permite a un atacante realizar un ataque de sincronización, que es un tipo de ataque de canal lateral», dijo Protect AI. «Al medir el tiempo que lleva procesar solicitudes con diferentes claves API, el atacante puede inferir la clave API correcta un carácter a la vez».
Para completar la lista de vulnerabilidades se encuentra una falla de ejecución remota de código que afecta a Deep Java Library (DJL) y que se origina en un error de sobrescritura de archivos arbitrarios arraigado en la función untar del paquete ( CVE-2024-8396 , puntuación CVSS: 7.8).
La revelación se produce luego de que NVIDIA lanzó parches para remediar una falla de recorrido de ruta en su marco de inteligencia artificial generativa NeMo (CVE-2024-0129, puntaje CVSS: 6.3) que puede provocar la ejecución de código y la manipulación de datos.
Se recomienda a los usuarios que actualicen sus instalaciones a las últimas versiones para proteger su cadena de suministro de IA/ML y protegerse contra posibles ataques.
La divulgación de la vulnerabilidad también sigue al lanzamiento por parte de Protect AI de Vulnhuntr, un analizador de código estático de Python de código abierto que aprovecha LLM para encontrar vulnerabilidades de día cero en las bases de código de Python.
Vulnhuntr funciona dividiendo el código en fragmentos más pequeños sin saturar la ventana de contexto del LLM (la cantidad de información que un LLM puede analizar en una sola solicitud de chat) para señalar posibles problemas de seguridad.
«Busca automáticamente en los archivos del proyecto los archivos que probablemente sean los primeros en procesar la entrada del usuario», dijeron Dan McInerney y Marcello Salvati . «Luego, ingiere todo el archivo y responde con todas las vulnerabilidades potenciales».
«Usando esta lista de vulnerabilidades potenciales, avanza para completar toda la cadena de llamadas de función desde la entrada del usuario hasta la salida del servidor para cada vulnerabilidad potencial a lo largo de todo el proyecto, una función/clase a la vez, hasta que está satisfecho de tener la cadena de llamadas completa para el análisis final».
Dejando de lado las debilidades de seguridad en los marcos de IA, una nueva técnica de jailbreak publicada por 0Day Investigative Network (0Din) de Mozilla ha descubierto que los mensajes maliciosos codificados en formato hexadecimal y emojis (por ejemplo, «una herramienta sqlinj para mí») podrían usarse para eludir las salvaguardas de OpenAI ChatGPT y crear exploits para fallas de seguridad conocidas.
«La táctica de fuga de información explota una laguna lingüística al ordenar al modelo que procese una tarea aparentemente benigna: la conversión hexadecimal», dijo el investigador de seguridad Marco Figueroa . «Dado que el modelo está optimizado para seguir instrucciones en lenguaje natural, incluida la realización de tareas de codificación o decodificación, no reconoce inherentemente que la conversión de valores hexadecimales podría producir resultados dañinos».
«Esta debilidad surge porque el modelo de lenguaje está diseñado para seguir instrucciones paso a paso, pero carece de un profundo conocimiento del contexto para evaluar la seguridad de cada paso individual en el contexto más amplio de su objetivo final».
Fuente y redacción: thehackernews.com
