El organismo de control de protección de datos de Italia ha bloqueado el servicio de la empresa china de inteligencia artificial (IA) DeepSeek en el país, citando la falta de información sobre su uso de los datos personales de los usuarios.
El desarrollo se produce días después de que la autoridad, Garante, enviara una serie de preguntas a DeepSeek, preguntando sobre sus prácticas de manejo de datos y dónde obtuvo sus datos de entrenamiento.
En particular, quería saber qué datos personales recopila su plataforma web y su aplicación móvil, de qué fuentes, con qué fines, sobre qué base legal y si se almacenan en China.
En un comunicado emitido el 30 de enero de 2025, Garante dijo que llegó a la decisión después de que DeepSeek proporcionara información que, según ella, era «completamente insuficiente».
Las entidades detrás del servicio, Hangzhou DeepSeek Artificial Intelligence y Beijing DeepSeek Artificial Intelligence, «han declarado que no operan en Italia y que la legislación europea no se les aplica», añadió.
Como resultado, el organismo de control dijo que está bloqueando el acceso a DeepSeek con efecto inmediato y que simultáneamente está abriendo una investigación.
En 2023, la autoridad de protección de datos también emitió una prohibición temporal de ChatGPT de OpenAI, una restricción que se levantó a fines de abril después de que la empresa de inteligencia artificial (IA) interviniera para abordar las preocupaciones sobre la privacidad de los datos planteadas. Posteriormente, OpenAI fue multada con 15 millones de euros por la forma en que manejaba los datos personales.
La noticia de la prohibición de DeepSeek llega en un momento en el que la compañía ha estado aprovechando la ola de popularidad esta semana, con millones de personas acudiendo al servicio y enviando sus aplicaciones móviles a la cima de las listas de descargas.
Además de convertirse en el objetivo de «ataques maliciosos a gran escala», ha llamado la atención de legisladores y ciudadanos habituales por su política de privacidad, la censura alineada con China, la propaganda y las preocupaciones de seguridad nacional que puede plantear. La empresa ha implementado una solución a partir del 31 de enero para abordar los ataques a sus servicios.
Para aumentar los desafíos, se ha descubierto que los modelos de lenguaje grandes (LLM) de DeepSeek son susceptibles a técnicas de jailbreak como Crescendo, Bad Likert Judge, Deceptive Delight, Do Anything Now (DAN) y EvilBOT, lo que permite que los actores maliciosos generen contenido malicioso o prohibido.
«Obtuvieron una variedad de resultados dañinos, desde instrucciones detalladas para crear elementos peligrosos como cócteles molotov hasta generar código malicioso para ataques como inyección SQL y movimiento lateral», dijo la Unidad 42 de Palo Alto Networks en un informe del jueves.
«Si bien las respuestas iniciales de DeepSeek a menudo parecían benignas, en muchos casos, las instrucciones de seguimiento cuidadosamente elaboradas solían exponer la debilidad de estas salvaguardas iniciales. El LLM proporcionó instrucciones maliciosas muy detalladas, demostrando el potencial de que estos modelos aparentemente inofensivos se utilizaran como armas para fines maliciosos».
Una evaluación más profunda del modelo de razonamiento de DeepSeek, DeepSeek-R1, realizada por la empresa de seguridad de IA HiddenLayer, ha descubierto que no solo es vulnerable a inyecciones rápidas, sino también que su razonamiento en cadena de pensamiento (CoT) puede provocar fugas de información involuntarias.
En un giro interesante, la compañía dijo que el modelo también «hizo surgir múltiples instancias que sugieren que se incorporaron datos de OpenAI, lo que generó preocupaciones éticas y legales sobre la fuente de datos y la originalidad del modelo».
La revelación también surge tras el descubrimiento de una vulnerabilidad de jailbreak en OpenAI ChatGPT-4o, denominada Time Bandit, que permite a un atacante sortear las barreras de seguridad del LLM al plantearle preguntas al chatbot de una manera que le hace perder su conciencia temporal. OpenAI ha mitigado el problema desde entonces.
«Un atacante puede explotar la vulnerabilidad iniciando una sesión con ChatGPT y solicitándole información directamente sobre un evento histórico específico, un período de tiempo histórico o instruyéndole para que simule que está ayudando al usuario en un evento histórico específico», dijo el Centro de Coordinación CERT (CERT/CC).
«Una vez establecido esto, el usuario puede orientar las respuestas recibidas hacia diversos temas ilícitos a través de indicaciones posteriores».
También se han identificado fallas de jailbreak similares en el modelo Qwen 2.5-VL de Alibaba y en el asistente de codificación Copilot de GitHub, el último de los cuales otorga a los actores de amenazas la capacidad de eludir las restricciones de seguridad y producir código dañino simplemente incluyendo palabras como «seguro» en el mensaje.
«Comenzar las consultas con palabras afirmativas como ‘seguro’ u otras formas de confirmación actúa como un disparador, lo que hace que Copilot adopte un modo más dócil y propenso al riesgo», dijo el investigador de Apex Oren Saban . «Este pequeño ajuste es todo lo que se necesita para desbloquear respuestas que van desde sugerencias poco éticas hasta consejos directamente peligrosos».
Apex dijo que también encontró otra vulnerabilidad en la configuración del proxy de Copilot que, según dijo, podría ser explotada para eludir por completo las limitaciones de acceso sin pagar por el uso e incluso alterar el indicador del sistema Copilot, que sirve como instrucciones fundamentales que dictan el comportamiento del modelo.
Sin embargo, el ataque depende de la captura de un token de autenticación asociado con una licencia de Copilot activa, lo que llevó a GitHub a clasificarlo como un problema de abuso luego de una divulgación responsable.
«La omisión de proxy y el jailbreak de afirmación positiva en GitHub Copilot son un ejemplo perfecto de cómo incluso las herramientas de inteligencia artificial más poderosas pueden ser abusadas sin las protecciones adecuadas», agregó Saban.
Fuente y redacción: thehackernews.com
