Los modelos de IA ‘peligrosos’ están llegando pase lo que pase


El fin de semana pasado, Anthropic desconectó sus nuevos modelos de IA Claude Fable 5 y Mythos 5 siguiendo una directiva de control de exportaciones del gobierno de los Estados Unidos que prohíbe a “cualquier ciudadano extranjero” utilizar el servicio. La compañía ha estado en conversaciones con la Casa Blanca desde el viernes, pero aún no ha llegado a un acuerdo que le permita restablecer la oferta.

Desde el lanzamiento de Mythos en abril, Anthropic ha afirmado (y advertido) que el modelo tiene capacidades sofisticadas capaces no sólo de encontrar vulnerabilidades de software para ayudar a los defensores a parchearlas, sino también de encontrar formas de explotarlas que podrían ser utilizadas por actores maliciosos. La propia Anthropic notó este arma de doble filo en el lanzamiento de Mythos 5 y Claude Fable 5. “La mayoría de los usos de los modelos avanzados de IA son de doble uso: las mismas preguntas que son útiles en manos de profesionales de la ciberseguridad e investigadores biológicos pueden ser peligrosas si están disponibles para actores maliciosos”, dijo la compañía. escribir en una publicación de blog la semana pasada.

Con esto en mente, la compañía lanzó inicialmente una versión llamada Mythos Preview a un consorcio selecto como parte de un grupo de trabajo conocido como Proyecto Glasswing. El Mythos 5 también se lanzó de forma privada a este grupo la semana pasada, mientras que el Claude Fable 5, que es un modelo de clase Mythos, se lanzó al público en general con limitaciones específicas en su capacidad para proporcionar respuestas a preguntas sobre biología y ciberseguridad.

Luego, a fines de la semana pasada, la administración Trump restringió ambos modelos porque creía que las barreras de seguridad del Fable 5 podían desactivarse para permitir el acceso total a las capacidades del Mythos 5, lo que supuestamente lo convertía en un riesgo para la seguridad nacional.

Sin embargo, los expertos dicen que este choque institucional sólo retrasa o enmascara una dura realidad: Anthropic puede estar a la vanguardia ahora, pero las capacidades y modelos generales de IA de muchas empresas y desarrolladores de peso abierto casi con seguridad tendrán capacidades similares a Mythos 5 en un futuro cercano, si es que no las han tenido ya.

“Sería un error pensar que ninguno de los competidores de Anthropic desarrollará capacidades similares a Mythos o que aún no lo han hecho”, dijo Tarah Wheeler, directora de seguridad de la firma de consultoría especializada en ciberseguridad TPO Group. “Hay otras empresas que siguen a Anthropic y que también pueden tener esas capacidades y las mantienen en reserva a medida que ven cómo se trata a Anthropic en el entorno regulatorio actual”.

La propia Anthropic ha enfatizado esto desde el lanzamiento de Mythos Preview. “El verdadero mensaje es que no se trata del modelo o Anthropic”, dijo a WIRED Logan Graham, líder del equipo rojo de la compañía, cuando se lanzó Mythos Preview en abril. “Ahora necesitamos prepararnos para un mundo en el que estas capacidades estén ampliamente disponibles en 6, 12 o 24 meses”.

OpenAI, por ejemplo, también realizó un lanzamiento privado de un modelo centrado en la ciberseguridad a mediados de abril y anunció una estrategia de ciberseguridad ampliada.

Los investigadores señalan que incluso antes de estos modelos de próxima generación, las ofertas de IA existentes se pueden utilizar para la búsqueda avanzada de vulnerabilidades y el desarrollo de exploits aprovechando mejores tecnologías. Un gran grupo de líderes de ciberseguridad enfatizaron esto al gobierno en un carta abierta el domingo, argumentando que la directiva de control de exportaciones de la Casa Blanca estaba equivocada.

“No es sólo un modelo; es una tendencia general en tecnología”, dijo Bruce Schneier, investigador de la Universidad de Harvard y la Universidad de Toronto que ha estudiado analizar la situación. “Los modelos de código abierto más pequeños y más baratos, a veces solos o en combinación entre sí, pueden igualar el rendimiento de Mythos/Fable con un impulso más sofisticado. Y podemos esperar que otros modelos igualen la creatividad y tenacidad de Mythos/Fable en unos meses, un poco más para los modelos de código abierto”.

Según los expertos, en lo que deben centrarse la Casa Blanca y los gobiernos de todo el mundo es en desarrollar planes más amplios y democráticamente transparentes sobre cómo abordarán los inevitables avances en las capacidades de la IA en ciberseguridad y otras áreas sensibles.

“La cuestión de política no es si una tecnología tiene riesgos”, dijo Chris Wysopal, cofundador de la firma de seguridad en la nube Veracode. “La pregunta es si ciertas restricciones pueden reducir significativamente esos riesgos o, de hecho, ralentizar a las personas que trabajan para hacer que el sistema sea más seguro”.



Source link