Lo antrópico está en declive sobre una política que restringiría secretamente a los competidores el uso de su nuevo modelo de IA, Claude Fable 5, para desarrollar otros modelos de IA. La empresa cambió de rumbo después de que la medida recibiera una reacción violenta por parte de la comunidad de investigación de IA.
“Cambiamos la protección de Fable 5 para que el desarrollo fronterizo de LLM sea visible”, dijo Anthropic en un comunicado a WIRED. “Hicimos el sacrificio equivocado y nos disculpamos por no lograr el equilibrio adecuado”.
Anthropic lanzó Claude Fable 5, una versión de su último modelo de IA con barandillas adicionales diseñadas para evitar el uso indebido, a principios de esta semana. Algunas de las salvaguardas que decidió Anthropic no son sorprendentes: la compañía dijo que redirigiría a los usuarios que hicieran preguntas sobre ciberseguridad, biología o química a modelos de IA menos capaces para reducir la posibilidad de que alguien usara IA avanzada para llevar a cabo ataques cibernéticos o crear armas biológicas.
Pero para los investigadores que intentan utilizar Claude Fable 5 para el desarrollo de inteligencia artificial de vanguardia, Anthropic describe un enfoque diferente. La empresa degrada deliberadamente el rendimiento del modelo de una manera que no es visible para los usuarios. Esta medida sabotearía efectivamente a los investigadores que intentan utilizar Claude para entrenar modelos de IA competitivos, lo que Anthropic prohíbe explícitamente. términos de servicio.
Anthropic ahora dice que están cambiando de rumbo y que la protección de Claude Fable 5 para el desarrollo de IA será visible para los usuarios. Si la empresa sospecha que un usuario está intentando utilizar Claude para construir una IA altamente capaz, le advertirá que está rechazando la solicitud o redirigiendo al usuario a un modelo menos capaz.
Anthropic revirtió la política después de la reacción de la comunidad de investigación de IA. Anthropic ha tomado medidas para limitar el uso de Claude por parte de los competidores para construir modelos de IA de código abierto y cerrado, pero los críticos dicen que reducir silenciosamente el rendimiento del modelo para ciertos usuarios es un paso demasiado lejos. El agente de codificación de Claude se ha convertido en una herramienta favorita entre los desarrolladores, incluidos aquellos que trabajan en proyectos de investigación de IA de código abierto, y los investigadores le dijeron a WIRED que la última política de la compañía podría conducir a un futuro difícil porque solo un puñado de laboratorios de IA líderes pueden realizar investigaciones avanzadas de IA.
Dean Ball, miembro principal de la Fundación para la Innovación Estadounidense y ex asesor de la Casa Blanca en materia de IA, escribió en un correo en X que “reducir el rendimiento en la investigación de ML *sin notificar a los usuarios* es hostil y se ve mal”. Continuó en otro correo que la política de “sabotaje encubierto” socava la postura general de Anthropic, porque limita la colaboración de los investigadores de IA en la seguridad de la IA.
“Parece como si Anthropic le estuviera diciendo al público: ‘No confiamos en nadie más para hacer investigaciones sobre IA. Sólo nosotros deberíamos hacer investigaciones sobre IA”, dijo Will Brown, líder de investigación de la startup de código abierto Prime Intellect. “Se sentía como si estuvieran empezando a subir la escalera detrás de ellos”.
Brown dijo que la política también mantendría a los desarrolladores en la ignorancia sobre si están infringiendo las reglas de Anthropic, porque la compañía no les notificará cuando se activen sus medidas de seguridad. Añadió que las restricciones podrían tener impactos de gran alcance. Por ejemplo, señala un ecosistema creciente de empresas de evaluación de terceros que prueban modelos líderes en cuanto a seguridad, rendimiento y confiabilidad, trabajo que podría verse obstaculizado si Anthropic rebaja silenciosamente sus modelos.
