El phishing sigue siendo una táctica predilecta de los atacantes, por lo que incluso pequeñas mejoras en la capacitación de los usuarios son destacables. Un proyecto
de investigación reciente de la Universidad de Bari analizó si
los LLM pueden ofrecer capacitación que ayude a los usuarios a detectar correos electrónicos sospechosos con mayor precisión.
El equipo de investigación realizó dos estudios controlados con un total de 480 participantes. Ambos estudios utilizaron contenido generado por un LLM para impartir lecciones de concientización sobre el phishing .
El contenido de IA ayudó a las personas a detectar más ataques
El primer estudio incluyó a 80 participantes que recibieron capacitación generada mediante cuatro métodos de estímulo. El objetivo era determinar si las diferentes maneras de impartir el Máster en Derecho (LLM) mejorarían la utilidad de la capacitación. Estos métodos abarcaban desde simples inserciones de perfil, donde se añadían directamente al estímulo datos breves del perfil obtenidos a partir de cuestionarios cortos, hasta estilos más estructurados basados en directrices o tablas.
A pesar de sus diferencias, cada método requería que el modelo explicara un escenario de phishing, explicara los pasos de defensa y guiara a los usuarios mediante ejercicios breves. Según los investigadores, todos los métodos mejoraron el rendimiento de los usuarios al clasificar los correos electrónicos de phishing.
La mejora más notable se observó en la capacidad de recordar, que, según el estudio, muestra la frecuencia con la que los participantes detectaron correos electrónicos de phishing durante las pruebas. La precisión también mejoró, lo que significa que los participantes cometieron menos errores al etiquetar correos electrónicos de phishing. El F1 también aumentó. Esta puntuación combina la capacidad de recordar y la precisión, por lo que refleja la capacidad general de detección en un solo número. Esto ayudó a los investigadores a evaluar la eficacia con la que los usuarios detectaban correos electrónicos de phishing y, al mismo tiempo, evitaban falsas alarmas.
En esta prueba inicial, un método de indicaciones sencillo funcionó tan bien como los formatos más elaborados. Se basó en incluir las puntuaciones del cuestionario breve de cada participante en la indicación. El modelo ajustó el tono y los ejemplos basándose en los datos del perfil. La estructura general de la lección se mantuvo igual en todas las condiciones.
Aunque no se observaron grandes diferencias estadísticas entre los formatos, este método de perfil directo produjo mejores resultados tras el entrenamiento. El equipo interpretó esto como una señal de que las indicaciones sencillas podrían ser suficientes para el uso práctico, ya que la mayor complejidad en los otros formatos no generó mejoras adicionales.
La personalización no mejoró los resultados
El segundo estudio se amplió a 400 participantes y se asignó a cada uno de cuatro grupos. Dos grupos recibieron contenido genérico y dos, contenido personalizado.
La capacitación genérica utilizó una versión compartida para todos los participantes, mientras que la capacitación personalizada modificó el tono y los ejemplos según los perfiles de los usuarios. Todas las versiones siguieron la misma estructura: una introducción, un escenario de phishing, guía de defensa, ejercicios prácticos y un resumen.
Los participantes de todos los grupos mejoraron. Distinguieron mejor los mensajes auténticos de los falsos, y tanto la capacidad de recordar como la F1 aumentaron. Sin embargo, el contenido personalizado no superó al genérico. En algunos casos, los grupos genéricos mostraron una mejora ligeramente mayor, aunque estas diferencias no fueron lo suficientemente significativas como para modificar el resultado general.
Los investigadores confirmaron que el modelo adaptó el tono y los ejemplos para cada perfil. La ausencia de un efecto medible sugiere que la personalización probada aquí influye más en el estilo que en el comportamiento. Para los equipos de seguridad que evitan recopilar información confidencial del personal, este resultado es importante. Sugiere que la capacitación genérica puede ser tan eficaz como las versiones personalizadas para la detección de phishing.
Un entrenamiento más largo ayudó, pero sólo ligeramente.
La duración del entrenamiento mostró un efecto leve. Las sesiones más largas duraron aproximadamente 18 minutos, mientras que las más cortas, unos 9 minutos. Los participantes de las sesiones más largas alcanzaron un rendimiento ligeramente superior, aunque la diferencia fue modesta. El tiempo adicional ofreció espacio para ejemplos y explicaciones adicionales, lo que podría haber sido útil.
Las impresiones de los usuarios no coincidieron con los resultados del aprendizaje
Los investigadores también analizaron las impresiones de los participantes sobre la capacitación y cómo se relacionaban esas impresiones con la mejora. La satisfacción de los usuarios varió según los datos del perfil de personalidad, pero estas reacciones no se correspondieron con los cambios en el rendimiento. Advierten que los diseñadores de capacitación deben basarse en los resultados medidos, no en las opiniones.
En conjunto, los hallazgos sugieren que las organizaciones pueden fortalecer la conciencia sobre el phishing sin estrategias de personalización complejas, siempre que la capacitación se brinde con frecuencia y se mida con datos objetivos.
Fuente y redacción: helpnetsecurity.com / Sinisa Markovic
