Los sitios de phishing siguen en aumento, y los equipos de seguridad buscan maneras de clasificar páginas sospechosas rápidamente. Un estudio reciente explora si los modelos de lenguaje pequeño (SLM) pueden escanear HTML sin procesar para detectar estas amenazas. El trabajo analiza diversos tamaños de modelos y prueba cómo gestionan las tareas de detección, manteniendo bajo control la demanda de cómputo.
Aunque la detección de phishing en sitios web basada en LLM es un área relativamente nueva, está cobrando impulso. Varios estudios ya han reportado resultados prometedores utilizando diferentes modelos y estrategias de análisis.
Fase de preparación que guió el estudio
Los autores utilizaron un conjunto de datos público de aproximadamente diez mil sitios web, divididos entre páginas benignas y de phishing. De este conjunto, tomaron una muestra equilibrada de mil sitios para la prueba de referencia principal. Cada página se introdujo en los modelos de forma recortada. Solo se conservó una pequeña parte del HTML original. Esto redujo los costos de procesamiento y reflejó la idea de que secciones como los bloques de script largos aportan poco a un veredicto.
Los elementos seleccionados incluían etiquetas vinculadas a la navegación, imágenes y metadatos. Estas a menudo revelaban patrones que aparecían en diseños engañosos. Se crearon dos versiones reducidas: una conservaba hasta el 5% del HTML y la otra hasta el 50%. El punto de referencia más grande utilizó la versión reducida.
Cada modelo recibió la misma plantilla de mensaje. Examinó la estructura de la página, junto con los patrones de texto y enlaces. El resultado incluyó una puntuación de cero a diez, una etiqueta que marca la página como phishing o benigna, y una breve explicación. Este formato permitió a los investigadores medir la precisión y la consistencia interna.
Lo que mostraron los resultados
Las pruebas arrojaron un resultado heterogéneo. Algunos modelos gestionaron bien la detección de phishing , mientras que otros tuvieron dificultades con tareas básicas como la consistencia del formato o la toma de decisiones consistentes. La precisión de los modelos restantes osciló entre el 56 % y casi el 89 %, y la mayoría alcanzó el 80 % o más. Esto demuestra que los modelos pequeños pueden clasificar sitios web con resultados consistentes, pero la variación en los resultados indica que la calidad varía.
El rendimiento también difirió en aspectos importantes para el uso diario. Un modelo detectó casi todas las páginas de phishing que marcó, alcanzando una precisión del 98 % en los casos en que devolvió un resultado, pero a menudo no logró generar el formato requerido. Dado que los resultados eran incompletos, no se pudo utilizar esa opción. Otros modelos detectaron menos amenazas, pero devolvieron respuestas en un formato estable, lo que los hizo más fiables en general.
El estudio reveló que los modelos medianos, con un rango de entre diez y veinte mil millones, tuvieron un rendimiento similar al de los modelos grandes más antiguos. Esto indica un progreso entre los modelos pequeños más nuevos. El tiempo de ejecución también varió. Los modelos más grandes tardaron varios segundos por página, lo que puede ralentizar el escaneo. Los modelos más pequeños funcionaron más rápido, pero a menudo ofrecieron resultados más deficientes. Este patrón se observó en todas las pruebas.
Beneficios de utilizar modelos de lenguaje pequeños
La ejecución de modelos en sistemas internos mantiene la información confidencial en su lugar. Las URL, el HTML y los metadatos de usuario permanecen dentro de la organización en lugar de pasar por proveedores externos. Esto es importante para los equipos que trabajan bajo estrictas normas de protección de datos o manejan material confidencial. En la detección de phishing , una configuración local también brinda a los equipos control directo sobre sus datos y reduce la exposición a sistemas externos.
Los modelos de este estudio se probaron en su formato predeterminado, pero las organizaciones con las habilidades adecuadas pueden optimizarlos para el phishing. Los conjuntos de datos internos pueden utilizarse para ajustar las ponderaciones de los modelos o para crear sistemas basados en la recuperación que mejoren el rendimiento.
El ecosistema de código abierto ofrece un amplio conjunto de modelos adaptables a dominios específicos, y en plataformas como Hugging Face suelen aparecer modelos optimizados para tareas relacionadas. Según los autores, actualmente no existen modelos optimizados para la detección de phishing.
La ejecución local de modelos elimina la dependencia de proveedores externos y evita la dependencia de estos. Las operaciones no dependen de la disponibilidad, los cambios de precios ni las decisiones internas de terceros. Una configuración local también está protegida de las interrupciones de la nube y los problemas de la red externa, lo que puede mejorar la fiabilidad. Una menor latencia es otra ventaja, útil cuando la detección de phishing requiere respuestas rápidas.
Desafíos relacionados con los modelos de lenguaje pequeños en la práctica
Los modelos pequeños no alcanzan los sistemas propietarios más grandes, y la brecha se refleja en todas las medidas. Los modelos probados tuvieron un buen rendimiento para su escala, y algunas opciones más pequeñas tuvieron un buen rendimiento en tareas específicas, pero ninguna alcanzó el nivel observado en trabajos relacionados con sistemas propietarios más grandes. Es probable que esta brecha se mantenga en pruebas similares. También conlleva riesgos, ya que un menor rendimiento genera más falsas alarmas o amenazas no detectadas , lo que puede dificultar la detección de phishing y dar margen de maniobra a los atacantes.
Fuente y redacción: helpnetsecurity.com / Sinisa Markovic
