En la corta historia de la seguridad de la IA, la inyección rápida se ha convertido rápidamente en una gran amenaza. Los modelos de lenguaje grande son inherentemente incapaces de diferenciar entre instrucciones legítimas proporcionadas por los usuarios e instrucciones maliciosas que se cuelan en correos electrónicos, códigos fuente y otros contenidos de terceros que el modelo está procesando. Esto facilita la introducción secreta de comandos maliciosos que el LLM puede seguir fácilmente.
Debido a que no hay forma de imponer límites importantes entre fuentes confiables y no confiables, los desarrolladores de motores de IA deben crear límites complejos diseñados para mitigar el daño, no abordar la causa raíz.
Hasta ahora, la mayoría de las inyecciones rápidas pertenecían a una clase conocida como empujón, a la que se dirigían todas las víctimas potenciales. Por ejemplo, un adversario inserta instrucciones maliciosas en el correo electrónico o en la invitación del calendario de un individuo. Debido a que las inyecciones deben administrarse (o enviarse) a cada objetivo específico, la escala del ataque es limitada, lo que obstaculiza la explotación masiva que está arrasando Internet en general.
Mientras tanto, los ataques basados en pull, en los que LLM busca activamente pistas adversas incrustadas en sitios web, todavía son limitados. Dado que no hay forma de atraer un gran número de LLM a sitios maliciosos, este tipo de ataque tampoco se puede ampliar.
Introduzca la sentadilla Hallu
Ahora, los investigadores han diseñado un ataque basado en extracción que cambia todo eso. Un nuevo ataque realizado por investigadores llamado HalluSquatting tiene el potencial de ensamblar botnets masivas, realizar DDoSe a gran escala e infectar dispositivos a gran escala, lo que constituye el primer ataque de inyección rápida. Este ataque funciona contra agentes y asistentes de codificación de IA, incluidos Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw y NanoClaw, todos los cuales son vulnerables. En las actividades diarias normales, estos asistentes y agentes recuperan rutinariamente código y otros recursos de repositorios y registros.
Modelo de amenaza HalluSquatting.
Crédito: Spira et al.
HalluSquatting, abreviatura de okupación de alucinaciones adversarias, se basa en la tendencia inherente de LLM a alucinar identificadores de recursos alojados en repositorios y registros. Funciona contra agentes y asistentes de codificación, que normalmente acceden a la línea de comandos con altos privilegios para ejecutar código desde recursos de terceros. Al predecir identificadores que probablemente alucinen a un LLM y luego registrarse y proporcionar instrucciones para instalar un shell inverso u otro dispositivo malicioso, el ataque puede infectar indiscriminadamente una gran cantidad de dispositivos sin tener que apuntar a cada dispositivo individual.
