OpenAI introduce una nueva protección de ‘Contactos de confianza’ para casos de posible autolesión

El jueves OpenAI anunciado una nueva función llamada Contactos de confianza, diseñada para alertar a terceros de confianza si se expresan menciones de autolesión en una conversación. Esta función permite a los usuarios adultos de ChatGPT designar a otras personas como contactos confiables en su cuenta, como amigos o familiares. Si una conversación pudiera convertirse en una autolesión, OpenAI ahora animará a los usuarios a ponerse en contacto con el contacto. También envía alertas automáticas a los contactos, animándolos a contactar con el usuario.

OpenAI se ha enfrentado a una ola de demandas de familias de personas que se suicidaron después de hablar con su chatbot. En algunos casos, las familias dicen ChatGPT empujado su ser querido se suicide, o incluso ayúdalos a planificarlo.

Actualmente, OpenAI utiliza una combinación de automatización y revisión humana para manejar incidentes potencialmente dañinos. Ciertos desencadenantes de conversación alertan a los sistemas de la empresa sobre ideas suicidas, que luego transmiten la información al equipo de seguridad humana. La compañía afirma que cada vez que recibe una notificación de este tipo, el incidente es revisado por un humano. “Intentamos revisar este aviso de seguridad en menos de una hora”, dijo la empresa.

Si el equipo interno de OpenAI determina que la situación constituye un riesgo de seguridad grave, ChatGPT enviará una alerta a los contactos confiables, ya sea por correo electrónico, mensaje de texto o notificación en la aplicación. Estas alertas están diseñadas para ser breves y animar a los contactos a contactar con la persona en cuestión. No incluye información detallada sobre lo que se está discutiendo, como una forma de proteger la privacidad del usuario, dijo la compañía.

La función Contactos de confianza sigue la seguridad de la empresa presentado el pasado mes de septiembre que otorga a los padres la autoridad para monitorear las cuentas de sus hijos adolescentes, incluidos los recibos aviso de seguridad está diseñado para alertar a los padres si el sistema OpenAI cree que su hijo enfrenta un “riesgo de seguridad grave”. Desde hace algún tiempo, ChatGPT también incluye alertas automáticas para buscar atención médica profesional, si hay una conversación que tiende hacia el tema de autolesión.

Lo más importante es que Trust Contact es opcional e, incluso si la protección está habilitada en ciertas cuentas, cada usuario puede tener varias cuentas ChatGPT. Los controles parentales de OpenAI también son opcionales y presentan limitaciones similares.

“Trusted Contacts es parte del esfuerzo más amplio de OpenAI para construir ese sistema de IA. ayudar a las personas en tiempos difíciles”, escribió la empresa en publicación de anuncio. “Continuaremos trabajando con médicos, investigadores y formuladores de políticas para mejorar la forma en que responden los sistemas de inteligencia artificial cuando las personas puedan estar experimentando angustia”.