En toda la empresa, la inteligencia artificial se ha infiltrado en las funciones esenciales, no mediante programas masivos de transformación digital, sino mediante una adopción gradual y silenciosa. Los departamentos legales están resumiendo contratos. Recursos Humanos está reformulando comunicaciones confidenciales a los empleados. Los equipos de cumplimiento normativo están experimentando con la automatización de la diligencia debida. La mayoría de estas funciones se basan en grandes modelos de lenguaje ( LLM ) y, a menudo, se introducen de forma discreta, integradas en plataformas SaaS, herramientas de productividad o proyectos piloto internos.
No es la adopción lo que me preocupa. Es la premisa de seguridad: la premisa de que, porque un modelo es popular o está «preparado para la empresa», también debe ser compatible, seguro y estar gobernado. Lo que he visto, en cambio, es un peligroso punto ciego: la completa desaparición de la procedencia de los datos.
Por qué la procedencia, y no la política, es la verdadera línea de defensa
La procedencia es más que un registro. Es el tejido conectivo de la gobernanza de datos. Responde a preguntas fundamentales: ¿Dónde se originaron estos datos? ¿Cómo se transformaron? ¿Quién los accedió y bajo qué política? Y en el mundo de los LLM —donde los resultados son dinámicos, el contexto es fluido y la transformación es opaca—, esa cadena de responsabilidad a menudo se rompe en el momento en que se envía una solicitud.
En los sistemas tradicionales, generalmente podemos rastrear el linaje de los datos. Podemos reconstruir qué se hizo, cuándo y por qué. Sin embargo, en entornos basados en LLM, las indicaciones no siempre se registran, los resultados a veces se copian entre sistemas y los propios modelos pueden retener información sin consentimiento explícito. Hemos pasado de flujos de trabajo estructurados y auditables a un bucle de decisiones de caja negra. En ámbitos altamente regulados como el legal, el financiero o el de la privacidad, esto supone una crisis de gobernanza.
La proliferación de la IA y el mito del control centralizado
Es un error pensar en la adopción de la IA como un esfuerzo centralizado. La mayoría de las empresas ya se enfrentan a la proliferación de la IA, ya que decenas de herramientas, impulsadas por diferentes LLM, se utilizan en áreas desconectadas del negocio. Algunas están aprobadas e integradas. Otras se experimentan discretamente. Cada una tiene su propio comportamiento de modelo, políticas de gestión de datos y complejidad jurisdiccional, y casi ninguna se diseñó con una arquitectura prioritaria en seguridad o cumplimiento.
Esta descentralización implica que la organización de seguridad ya no controla cómo se procesa la información confidencial. Un solo empleado podría copiar datos confidenciales en un aviso, recibir un resultado y pegarlo en un sistema de registro, completando así un ciclo de datos completo sin activar ninguna alerta ni registro de auditoría.
El desafío del CISO ya no se centra en el acceso. Se centra en la intención, el flujo y el propósito, y estos son prácticamente invisibles en entornos con IA.
Las regulaciones no se quedan atrás, evolucionan en paralelo
Existe la creencia popular de que los reguladores no se han adaptado a la IA. Esto es solo una verdad a medias. La mayoría de las leyes modernas de protección de datos ( RGPD , CPRA, DPDPA de India y PDPL de Arabia Saudí) ya contienen principios que se aplican directamente al uso de LLM: limitación de la finalidad, minimización de datos, transparencia, especificidad del consentimiento y derecho de supresión.
El problema no es la regulación, sino la incapacidad de nuestros sistemas para responder a ella. Los LLM difuminan los roles: ¿es el proveedor un procesador o un controlador? ¿Es el resultado generado un producto derivado o una transformación de datos? Cuando una herramienta de IA enriquece una solicitud de usuario con datos de entrenamiento, ¿quién es el propietario de ese artefacto enriquecido y quién es responsable si causa daños?
En escenarios de auditoría, no se le preguntará si utilizó IA. Se le preguntará si puede demostrar qué hizo y cómo. La mayoría de las empresas actuales no pueden hacerlo.
Cómo debería ser la gobernanza moderna de la IA
Para reconstruir la confianza y la defensa, los CISO deben impulsar a sus organizaciones a replantear la gobernanza. Esto no empieza con las políticas, sino con la infraestructura.
1. Mapeo de datos continuo y automatizado
Las interacciones de IA no se limitan a los sistemas estáticos. Se producen en interfaces de chat, API, middleware y scripts internos. El mapeo debe evolucionar para rastrear no solo dónde residen los datos, sino también dónde se mueven y qué modelos los tocan. Si su mapeo se basa en instantáneas o es manual, ya está obsoleto.
2. RoPA con reconocimiento de IA y visibilidad del procesamiento
Los Registros de Actividades de Procesamiento (RoPA) ahora deben incluir la lógica del modelo, el comportamiento de las herramientas de IA y la exposición jurisdiccional. No basta con saber qué proveedor se utiliza. Es necesario saber dónde se aloja el modelo, cómo se entrenó y qué riesgos presenta en el procesamiento posterior.
3. Conciliación de consentimientos dinámica y contextual
El consentimiento obtenido una vez no es suficiente para todo. Los equipos necesitan mecanismos que alineen el consentimiento con la interacción con el modelo: ¿Ha aceptado el usuario el enriquecimiento basado en el modelo? ¿El sistema de IA funciona según el propósito declarado de la recopilación? De no ser así, el consentimiento debe volver a verificarse o marcarse.
4. Registro de auditoría de avisos y resultados
Siempre que sea posible, las interacciones con los sistemas de IA deben registrarse, centrándose en las propias indicaciones. Estas suelen contener los datos más sensibles, y capturarlos es fundamental para comprender qué información se está exponiendo. Si bien registrar los resultados y el uso posterior es valioso, el registro a nivel de indicación debe tener prioridad, especialmente cuando no es posible una auditoría completa. Si no se puede rastrear lo solicitado, no se puede evaluar completamente el riesgo.
5. Controles de clasificación y retención de resultados de IA
Los resultados de los LLM deben clasificarse y gestionarse. Si un sistema de IA reescribe un documento legal, es posible que dichos resultados requieran controles de privilegios legales. Si redacta un lenguaje interno de RR. HH., podrían aplicarse plazos de retención. Los resultados no son efímeros: forman parte del ciclo de vida de los datos.
El rol del CISO está cambiando, y eso es algo bueno
La IA no es solo una tendencia de datos. También es un evento de datos que redefine nuestra forma de pensar sobre el control. Los líderes de seguridad ya no se limitan a proteger sistemas o incluso datos. Protegemos el contexto: los metadatos, la intención y la legalidad que rodean cada interacción con una máquina que aprende y genera.
Esto requiere que los CISO profundicen en la privacidad, el cumplimiento normativo, la ética y la gobernanza de registros. Esto implica establecer vínculos con los equipos legales y los responsables de cumplimiento normativo para garantizar que el uso de la IA no solo cumpla con las políticas, sino que refleje los valores y los umbrales de riesgo de la organización.
La gobernanza de la IA no debería estar a cargo de un solo departamento. Debe estar liderada por quienes comprendemos el riesgo, la respuesta y la resiliencia, y eso la convierte en nuestro dominio.
La trazabilidad es la nueva confianza
En la era de la IA, ya no basta con decir: «No lo sabíamos». Se le preguntará qué se incluyó en el modelo, quién aprobó su uso, cómo se gestionó el consentimiento, si podemos reproducir la lógica que llevó a esa decisión y dónde está la evidencia.
Si sus sistemas no pueden responder a esas preguntas con seguridad, no está gobernando la IA; está esperando lo mejor.
La confianza en la IA no se basa en políticas. Se basa en la procedencia. Y eso empieza con visibilidad, rigor y liderazgo desde la cúpula de la organización de seguridad.
Fuente y redacción: helpnetsecurity.com
