Una de las mayores preocupaciones sobre la IA generativa es su capacidad para manipularnos , lo que la hace ideal para orquestar ataques de ingeniería social. Desde extraer la huella digital de alguien hasta crear correos electrónicos de phishing altamente convincentes, pasando por la captura de voz que permite vishing y videos deep fake, GenAI eleva significativamente el listón en términos de creación de ataques convincentes.
Este tipo de agresiones ya no son puramente teóricas. En febrero, surgieron informes de un trabajador financiero en Hong Kong que fue engañado para transferir 25 millones de dólares mediante una falsificación del director financiero en una videoconferencia. Inicialmente escéptico después de recibir un correo electrónico de phishing solicitándole que realizara una transacción secreta, se convenció de que era legítima cuando asistió a una llamada grupal y reconoció a aquellos que vio en línea. De hecho, no eran sus colegas en absoluto: todos los participantes en la llamada eran una versión falsa de esas personas.
Estos casos revelan que ya no podemos confiar en lo que vemos y oímos. Estos ataques se basan en el consejo habitual en un caso de fraude de BEC y CFO, que es hablar con el interesado para comprobar que la solicitud es auténtica. Los indicios reveladores de un correo electrónico de phishing mal redactado serán cosa del pasado, sobre todo porque ahora suelen enviarse desde dominios legítimos.
De hecho, estos ataques hacen que gran parte de la capacitación en materia de seguridad que tenemos quede obsoleta. Entonces, ¿cómo podemos educar a los usuarios para que defiendan la empresa en la era de GenAI?
Consideraciones para la concientización sobre GenAI
En primer lugar, debemos volver a lo básico. La ingeniería social tiene que ver fundamentalmente con la psicología y con poner a la víctima en una situación en la que se sienta presionada a tomar una decisión. Por lo tanto, cualquier forma de comunicación (correo electrónico, llamada, chat o video) que imparta un sentido de urgencia y presente una solicitud inusual debe marcarse, no responderse de inmediato y someterse a un riguroso proceso de verificación.
Al igual que el concepto de confianza cero, el enfoque debe ser “nunca confiar, siempre verificar”, y el proceso educativo debe describir los pasos que se deben seguir después de una solicitud inusual. Por ejemplo, en relación con el fraude del director financiero, el departamento de cuentas debería tener un límite establecido para los pagos y excederlos debería desencadenar un proceso de verificación. Esto podría hacer que el personal utilice un sistema basado en token o un autenticador para verificar que la solicitud sea legítima.
En segundo lugar, los usuarios deben ser conscientes de no compartir demasiado. ¿Existe una política de la empresa para evitar que se divulgue información por teléfono? ¿Restricciones a la publicación de fotografías de empresa que un atacante podría explotar? ¿Podrían usarse las publicaciones en las redes sociales para adivinar contraseñas o las preguntas de seguridad de un individuo? Estas medidas pueden reducir la probabilidad de que se extraigan datos digitales.
Pero tenga en cuenta que aquellos con un perfil más alto (por ejemplo, líderes empresariales) corren un mayor riesgo de que les roben su imagen y les clonen la voz porque tienen que mantener una presencia en el dominio público. Realizar simulaciones que muestren deepfakes de líderes senior podría ayudar a transmitir el mensaje.
Y esto nos lleva al tercer punto, que es que no deberíamos intentar aprovechar GenAI para la capacitación en concientización sobre seguridad. Los ejercicios de phishing simulados, por ejemplo, deberían emular los de un ataque elaborado por IA personalizándose con datos extraídos de fuentes individuales y empresariales. De hecho, GenAI promete mejorar la formación en seguridad.
Cómo cambiará la formación en materia de seguridad
Hoy en día, la capacitación educativa genérica basada en computadora se utiliza periódicamente para cumplir con las demandas regulatorias y de cumplimiento, pero hace poco para reducir el riesgo e impulsar las mejores prácticas.
Brindar capacitación que refleje el negocio y sea relevante para sus empleados es mucho más efectivo, pero esto ha sido un desafío en el pasado, lo que requirió el desarrollo de módulos de capacitación adaptados al perfil de riesgo de la empresa. Con GenAI, se puede lograr un nivel de personalización aún más profundo en función del usuario, su rol dentro de la organización y sus patrones de comportamiento únicos.
De hecho, Gartner predice que para 2026 aquellas empresas que combinen GenAI con sus programas de comportamiento y cultura de seguridad experimentarán un 40% menos de incidentes provocados por los empleados. La casa de analistas afirma que los enfoques tradicionales de formación en seguridad serán reemplazados por sistemas que miden el cambio de comportamiento, facilitados por GenAI. Como resultado, los marcos de control de la ciberseguridad pasarán de la capacitación basada en el cumplimiento que vemos hoy a una medición tangible basada en el comportamiento en un intento por reducir el riesgo humano.
En términos reales, esto significa que podemos esperar que cada usuario tenga su propia formación personalizada que capte su susceptibilidad y ayude a reducir la probabilidad de tomar decisiones erróneas.
Y de cara al futuro, la GenAI se convertirá en una fuerza orientadora en la toma de decisiones del día a día, empujando a los usuarios a tomar las decisiones correctas y cuestionando acciones potencialmente riesgosas. Si miramos a Microsoft Copilot, por ejemplo, ya se está utilizando para hacer recomendaciones y sugerir próximos pasos en una variedad de contextos.
Educación sobre uso interno.
Por supuesto, introducir la GenAI como herramienta en el lugar de trabajo también significa que debemos educar a la fuerza laboral sobre su uso seguro. Se debe implementar un marco de gobernanza, como ISO 22989 e ISO 42001, el Marco de gestión de riesgos de IA del NIST u otras opciones.
El marco describe los controles que luego deben traducirse en la política GenAI y cubrir el uso responsable, los procedimientos de presentación de informes y encajar con las políticas de seguridad y protección de datos existentes. Es clave garantizar que los usuarios comprendan dónde se utiliza la IA y cómo pueden utilizarla de forma segura.
Por ejemplo, es posible que los usuarios no sepan que GenAI se utiliza en la función de vista previa de Windows 11, por lo que cualquier copia y pegado de datos confidenciales podría hacer que esos datos reaparezcan en otro lugar en el futuro.
Conclusión
Se ha hablado mucho del peligro de que se utilice GenAI para crear software malicioso, pero la verdadera amenaza radica en esta posibilidad de fuga de datos y de estafar a los humanos. Es cierto que se está utilizando para crear código, y los investigadores descubrieron recientemente que ChatGPT escribió un script de Powershell para eliminar un ladrón de información utilizado en una campaña de phishing . Sin embargo, el código no era más sofisticado que si lo hubiera creado un humano y dicho malware puede detectarse fácilmente mediante la detección automática.
Con el tiempo, se espera que GenAI permita a los actores de amenazas escalar sus capacidades viendo que los ataques se vuelven más numerosos y evolucionan más rápido. Pero en este momento es la capacidad de GenAI para deformar la realidad lo que plantea la mayor amenaza y la mejor defensa contra eso es un entrenamiento de seguridad efectivo.
Necesitamos mantener nuestro ingenio más que nunca, cuestionar más y no tomar nada al pie de la letra.
Fuente y redacción: helpnetsecurity.com
