Una vez que se determina el modelo cubierto, Nguyen advierte que la efectividad de las pruebas de seguridad probablemente dependerá de si las empresas de IA son completamente transparentes y tratan el proceso como una “verdadera colaboración”.
“Bajo el problema de la definición se esconde el problema de la observación”, escribe Nguyen. “El gobierno no puede evaluar lo que no puede ver, y las capacidades de vanguardia sólo pueden ser vistas por los laboratorios que las construyen”.
Ferren afirmó que “la ventana para construir defensas cibernéticas apropiadas para los nuevos modelos de IA también se está cerrando pronto”, y que incluso los programas gubernamentales bien diseñados pueden tener dificultades para examinar adecuadamente los modelos de vanguardia en un corto período de tiempo. “Incluso cuando se implementan bien, las pruebas previas a la implementación todavía tienen límites”, dijo Ferren, señalando que el equipo de inteligencia de amenazas de Google ha encontrado actores a nivel nacional que utilizan modelos de frontera para automatizar los ataques cibernéticos y “los investigadores han encontrado se muestra que la razón de la vulnerabilidad del estilo Mythos se puede reproducir con un sistema de pesas abierto”.
Entonces, si bien la IA puede realizar pruebas voluntariamente, es posible que esté motivada financieramente para buscar aprobación, en lugar de trabajar con los gobiernos para probar al máximo sus capacidades conocidas.
“Probablemente será difícil desarrollar un modelo que sea incapaz de piratería maliciosa pero que siga siendo comercialmente atractivo”, dijo Ferren.
Concluyó que las EO “pueden producir beneficios de ciberseguridad a corto plazo”, pero sus “efectos a largo plazo” siguen siendo “poco claros”.
Nguyen sugirió que la EO tome las medidas necesarias para crear “evaluaciones comparativas cibernéticas clasificadas, evaluaciones voluntarias previas al lanzamiento y escaneo coordinado de vulnerabilidades” que “la comunidad de seguridad nacional necesitará durante décadas” para “evaluar continuamente sistemas que son probabilísticos versus deterministas, autónomos versus dirigidos, y cuyas capacidades cambian con cada actualización”.
Pero las pruebas de seguridad deben avanzar tan rápido como la tecnología, dijo Nguyen, de lo contrario corremos el riesgo de juzgar los modelos emergentes basándose en “los riesgos de ayer”.
Por lo tanto, en esencia, este proceso dependerá de intercambios honestos entre partes interesadas que tengan una profunda experiencia técnica y conocimientos confidenciales sobre seguridad nacional. Esta es la única manera de garantizar que Estados Unidos centre su energía en proteger a la sociedad de los riesgos más creíbles e impactantes de la IA, en lugar de simplemente brindar “garantías de desempeño”, escribió Nguyen.
