OpenAI lanza su LLM avanzado más nuevo, Sol, para un amplio acceso público. Sol se considera al menos a la par de Anthropic’s Fable, un modelo cuyas habilidades (o posesión) estresaron tanto a la Casa Blanca que se le prohibió brevemente el acceso público.
Entonces, ¿cómo consiguió este modelo el permiso para ser lanzado? La respuesta corta: nadie está seguro.
“Para ser honesto, no tengo visibilidad del proceso real, así que sí, no siento que tenga suficiente información para decir si el proceso es adecuado o no”, dijo a TechCrunch Mina Narayanan, analista de investigación senior del Centro de Seguridad y Tecnología Emergente de Georgetown. “Anthropic dice que están teniendo conversaciones con el gobierno y que están desarrollando clasificadores para detectar intentos de jailbreak, y que han implementado una estrategia de defensa en profundidad para evitar futuros jailbreak, pero no está claro cómo será ese diálogo entre el gobierno, Anthropic y OpenAI”.
Dean W. Ball, exasesor de políticas de Trump que ahora trabaja para OpenAI, escribir que “nadie sabe cuáles son los requisitos para obtener una licencia” en su boletín del mes pasado.
Andy Konwinski, un científico informático que cofundó Databricks, Perplexity y el Instituto Laude, dijo que nunca habló con nadie que entendiera el proceso, ni siquiera con los empleados de los laboratorios fronterizos. “Esto es fundamentalmente un problema”, dijo a TechCrunch. “Seguridad o no, se trata de quién tiene el poder de tomar decisiones: ¿quién mantiene y decide sobre los permisos?”
Dieciocho meses después del inicio de la administración Trump, todavía hay poca claridad sobre cómo proceder, a pesar de que (o, según algunos críticos, porque) ya hay figuras de la industria que dictan las políticas. El mes pasado, después semanas de luchaSe ha emitido una orden ejecutiva que describe una hoja de ruta para evaluar el modelo fronterizo, pero no se han completado detalles específicos, aparte de lo que no será. “No habrá FDA para la IA”, dijo Sriram Krishnan, ex socio de Andreessen Horowitz que se desempeñó como asesor principal sobre IA en la Casa Blanca hasta el mes pasado. notificado Tiempos financieros.
En particular, todavía no hay acuerdo sobre qué modelos requieren supervisión gubernamental o qué agencias o instituciones deberían realizar tales evaluaciones. Por ahora, el Centro de Estándares e Innovación de IA del Departamento de Comercio parece estar tomando la iniciativa, pero la orden ejecutiva instruye a seis agencias del gabinete a determinar el proceso final a principios de agosto. Lo que ha surgido entretanto es, en el mejor de los casos, sólo ad hoc.
Sam Altman, director ejecutivo de OpenAI dicho en CNBC que el proceso involucró conversaciones con funcionarios como el secretario de Comercio, Howard Lutnick, el secretario del Tesoro, Scott Bessent, y el director cibernético nacional de EE. UU., Sean Cairncross, pero no estaba claro quiénes los expertos probaron los modelos ni cómo lo hicieron. OpenAI se negó a compartir detalles del proceso gubernamental con TechCrunch, pero señaló los resultados de varias evaluaciones externas realizadas por organizaciones como UK AISI, SecureBio e Irregular sobre los últimos modelos. tarjeta de seguridad.
Al igual que el lanzamiento de Anthropic Fable, OpenAI revisó el modelo para el gobierno y seleccionó a los usuarios antes de su lanzamiento más amplio, pero no sabemos quiénes eran esos usuarios ni cómo fueron seleccionados. A finales de junio publicación de blogLa compañía dijo que “no creemos que este tipo de proceso de acceso gubernamental deba ser el estándar a largo plazo” y dijo que trabajaría con el gobierno para desarrollar un camino diferente a seguir.
Sin embargo, el trasfondo de la conversación es que Altman supuestamente ofreció hasta el 5% del capital de OpenAI para la llamada “Cuenta Trump” del gobierno, y el papel del presidente de OpenAI, Greg Brockman, como donante más grande conocido por el público para las operaciones políticas de mediano plazo de Trump. Es difícil para los observadores externos separar estas actividades del enfoque aparentemente más ligero del gobierno para gobernar Sol.
Por otro lado, Anthropic’s Fable fue retirado brevemente del acceso más amplio cuando el gobierno de EE. UU. prohibió su uso por parte de ciudadanos extranjeros, en parte debido a preocupaciones reales de que los usuarios hicieran jailbreak al modelo para acceder a capacidades de piratería y en parte debido a un choque de personalidad entre Anthropic y la administración Trump. La amenaza de una prohibición de exportación también puede hacer que OpenAI sea más cooperativo con las solicitudes gubernamentales (desconocidas).
Desde la perspectiva de la industria, un enfoque de no intervención en la regulación puede ser bueno, pero un enfoque que se base en relaciones personales con funcionarios gubernamentales creará incertidumbre y malos incentivos.
Konwinski le dijo a TechCrunch que le preocupaba que los verdaderos expertos en tecnología («investigadores de seguridad, investigadores de alineación, investigadores de interpretabilidad, pero también gente de datos y gente de todas partes») no estuvieran desempeñando un papel suficiente en el proceso de lanzamiento del modelo.
Konwinski opinión que “compartir abiertamente” es la mejor manera de equilibrar la seguridad y la innovación. Señala modelos como la FDA, los NIH o los laboratorios nacionales, que reúnen a investigadores, funcionarios gubernamentales y empresas privadas para llegar a un consenso sobre cuestiones de seguridad.
Parte de esto se debe a los incentivos del capitalismo que han motivado a los investigadores de IA durante más de una década y que se manifestaron en los tribunales durante la demanda de Elon Musk que desafió la estructura corporativa de OpenAI. Ball señala que la naturaleza del negocio de la IA requiere que las empresas recuperen la mayor parte de sus costos de capacitación tan pronto como se lancen sus modelos y se mantengan por delante de la competencia.
“Si bien sus intenciones son buenas, existen obligaciones legales y responsabilidades fiduciarias muy claras incorporadas en los procedimientos operativos”, dijo Konwinski.
bola, en la publicaciónsostiene que el futuro dependerá de organizaciones de auditoría de terceros, autorizadas por el gobierno, que evaluarán los enfoques de seguridad de los laboratorios líderes. Konwinski también es optimista acerca de los nuevos formatos institucionales, como organizaciones de investigación enfocadas que podrían ayudar a más expertos desinteresados del mundo académico y del mundo sin fines de lucro a acceder y evaluar modelos de frontera.
Por ahora, el secreto que rodea el desarrollo de la IA no ha desaparecido, pero también planteará desafíos políticos para una industria a la que se dirige Estados Unidos. cada vez más visto con escepticismo. “No hay sensación de que las personas a cargo estén impulsando este cambio”, dijo la semana pasada Remzi Arpaci-Dusseau, profesor de informática de la Universidad de Wisconsin-Madison, en la conferencia Open Frontier.
En el mismo evento, David Siegel, el científico informático que fundó Two Sigma, uno de los fondos de cobertura cuantitativos más exitosos, pidió a los asistentes que “imaginen una situación, que creo que sería muy mala, (donde) un pequeño número de empresas controlan la tecnología; el gobierno, en sus laboratorios secretos, está evaluando si vale la pena usar la tecnología o no; y el público en general y la comunidad científica realmente no tienen acceso a esas cosas”.
Parece que no necesitamos imaginarlo.
Cuando compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta nuestra independencia editorial.
