Dado que la inteligencia artificial (IA) generativa está de moda en estos días, tal vez no sea sorprendente que la tecnología haya sido reutilizada por actores malintencionados para su propio beneficio, lo que permite vías para acelerar el ciberdelito.
Según los hallazgos de SlashNext, se ha anunciado en foros clandestinos una nueva herramienta generativa de ciberdelincuencia de inteligencia artificial llamada WormGPT como una forma para que los adversarios lancen sofisticados ataques de phishing y compromiso de correo electrónico comercial ( BEC ).
«Esta herramienta se presenta como una alternativa blackhat a los modelos GPT, diseñada específicamente para actividades maliciosas», dijo el investigador de seguridad Daniel Kelley . «Los ciberdelincuentes pueden utilizar dicha tecnología para automatizar la creación de correos electrónicos falsos muy convincentes, personalizados para el destinatario, lo que aumenta las posibilidades de éxito del ataque».
El autor del software lo ha descrito como el «mayor enemigo del conocido ChatGPT» que «te permite hacer todo tipo de cosas ilegales».
En manos de un mal actor, herramientas como WormGPT podrían ser un arma poderosa, especialmente porque OpenAI ChatGPT y Google Bard están tomando cada vez más medidas para combatir el abuso de modelos de lenguaje extenso (LLM) para fabricar correos electrónicos de phishing convincentes y generar código malicioso .
«Los restrictores anti-abuso de Bard en el ámbito de la ciberseguridad son significativamente más bajos en comparación con los de ChatGPT», dijo Check Point en un informe esta semana. «En consecuencia, es mucho más fácil generar contenido malicioso usando las capacidades de Bard».
A principios de febrero, la firma de ciberseguridad israelí reveló cómo los ciberdelincuentes están eludiendo las restricciones de ChatGPT aprovechando su API , sin mencionar el comercio de cuentas premium robadas y la venta de software de fuerza bruta para piratear cuentas de ChatGPT mediante el uso de enormes listas de direcciones de correo electrónico y contraseñas. .
El hecho de que WormGPT opere sin límites éticos subraya la amenaza que representa la IA generativa, que incluso permite a los ciberdelincuentes novatos lanzar ataques rápidamente y a gran escala sin tener los medios técnicos para hacerlo.
Para empeorar las cosas, los actores de amenazas están promoviendo «jailbreaks» para ChatGPT, diseñando indicaciones y entradas especializadas que están diseñadas para manipular la herramienta para generar resultados que podrían implicar la divulgación de información confidencial, la producción de contenido inapropiado y la ejecución de código dañino.
«La IA generativa puede crear correos electrónicos con una gramática impecable, haciéndolos parecer legítimos y reduciendo la probabilidad de que se marquen como sospechosos», dijo Kelley.
«El uso de IA generativa democratiza la ejecución de ataques BEC sofisticados. Incluso los atacantes con habilidades limitadas pueden usar esta tecnología, lo que la convierte en una herramienta accesible para un espectro más amplio de ciberdelincuentes».
La divulgación se produce cuando los investigadores de Mithril Security modificaron «quirúrgicamente» un modelo de IA de código abierto existente conocido como GPT-J-6B para que difundiera desinformación y lo cargaron en un repositorio público como Hugging Face para que luego pudiera integrarse en otras aplicaciones. , lo que lleva a lo que se denomina envenenamiento de la cadena de suministro de LLM.
El éxito de la técnica, denominada PoisonGPT , se basa en el requisito previo de que el modelo lobotomizado se cargue con un nombre que se haga pasar por una empresa conocida, en este caso, una versión con errores tipográficos de EleutherAI, la empresa detrás de GPT-J.
Fuente y redacción: thehackernews.com
