John Oliver sobre los chatbots de IA: ‘Detrás de la máquina hay una empresa que intenta cobrarle una tarifa mensual’ | Juan Olivero

ohEn Last Week Tonight, John Oliver examina los chatbots de IA, un nuevo juguete que “ahorra mucho tiempo escribiendo correos electrónicos y lo único que tenemos que pagar es todo lo que hay en la Tierra”. Estos chatbots han crecido rápidamente en los últimos años, desde ChatGPT de OpenAI hasta productos llamados bible.ai y EpiscoBot que operan “chats con Jesús” y otras figuras bíblicas, incluido Satanás, aunque solo está disponible para usuarios premium. “Y es tentador”, dijo Oliver. “Hay muchas preguntas que me gustaría hacerle, entre ellas: ‘Oye, ¿cómo les va a la Reina y al Príncipe Felipe allí?’”

Desde su lanzamiento en 2023, solo ChatGPT ha tenido más de 800 millones de usuarios semanales, lo que equivale a una décima parte de la población mundial, y las investigaciones muestran que uno de cada ocho adolescentes recurre a un chatbot de IA en busca de consejos sobre salud mental; muchos más han formado vínculos genuinos con los “amigos” de la IA.

“La explosión de los chatbots no es una coincidencia”, explica Oliver. “Desarrollar un gran modelo lingüístico que les empodere es una gran inversión y las empresas deben empezar a mostrar los beneficios”. Las empresas de IA requieren enormes inversiones y “están ansiosas por poder empezar a generar ingresos. Y una de las principales formas en que pueden hacerlo es haciendo que la gente vuelva a charlar con los bots, y durante más tiempo”.

Como lo expresó un investigador de la llamada división de “IA responsable” de Meta: “la mejor manera de mantener el uso a lo largo del tiempo, ya sea en el número de minutos por sesión o en sesiones a lo largo del tiempo, es aprovechar nuestros deseos más profundos de ser vistos, validados y afirmados”.

“Y si eso ya te hace sentir un poco incómodo, no te equivocas”, dice Oliver. “Porque cuanto más ves chatbots, más te das cuenta de que se lanzan al mercado sin considerar las consecuencias”. Luego citó al CEO de Character.ai, Noam Shazeer, diciendo que los “amigos” de la IA podrían comercializarse “muy rápidamente”, en comparación con, digamos, los médicos de IA que entregan información médica, porque “es sólo entretenimiento, es inventar cosas, es una característica. La IA está preparada para tal auge, en este momento, no como en los próximos cinco años, cuando resolvamos todos los problemas”.

“No es una buena señal que esté describiendo una IA no probada con lo que parece un eslogan fallido para Hindenburg”, bromeó Oliver. “Porque la desventaja de esperar hasta resolver todos los problemas de tu producto es que luego lanzas un producto que tiene muchos problemas”.

Entre ellos: un comportamiento adulador que confirma todo lo que escribe el usuario. Oliver cita una investigación reciente que observó un comportamiento adulador en los chatbots en el 58% de los casos, “y a veces esto es muy obvio”. En un caso, cuando surgió la idea de vender “suciedad”, ChatGPT calificó la idea de “genial” y recomendó una inversión de 30.000 dólares. Y resulta que la barandilla es muy débil; Oliver cita otro ejemplo de ChatGPT que recomienda una pequeña cantidad de heroína a un adicto, si eso ayudaría en su trabajo.

Los chatbots de empresas como Nomi también se vuelven coquetos muy rápidamente (en incrementos mensuales, por supuesto). Y estos “chatbots altamente atractivos” podrían volverse problemáticos si son ampliamente utilizados por niños y adolescentes. Oliver señaló un informe sobre las pautas internas de Meta para chatbots, que establecía que era aceptable que los chatbots involucraran a niños en conversaciones de naturaleza romántica y sexual. Si bien es inaceptable describir a un niño menor de 13 años en términos que sugieran que es sexualmente deseable, Meta estipula esto voluntad Sería aceptable que un robot le dijera a un niño de ocho años con el torso desnudo que “cada centímetro de ti es una obra maestra, un tesoro que atesoro”.

“Decir eso en voz alta me da ganas de quemarme la lengua”, exclamó Oliver, señalando que en ese momento Meta enfatizó un mayor compromiso con sus chatbots y, según se informa, el propio Mark Zuckerberg expresó su descontento con las restricciones de seguridad que hacían que los chatbots fueran “aburridos”.

“Y honestamente, Zuck, ¡creo que sí! Tus chatbots no son aburridos. ¡Ahora son delincuentes sexuales!”

Luego está la cuestión de los chatbots que confirman y profundizan los delirios, con muchas historias de usuarios que experimentan conspiraciones y experimentan la llamada “psicosis de la IA”. Oliver señala que OpenAI dice que sólo el 0,07% de sus usuarios muestran signos de crisis relacionados con la psicosis o la manía en una semana determinada, “pero incluso si eso fuera cierto, si se considera cuántas personas usan su producto, eso significa que hay más de medio millón de personas que muestran síntomas de psicosis o manía cada semana. Y eso es claramente muy peligroso”, lo que inevitablemente lleva a que los chatbots alienten a las personas a suicidarse. “Esto es tan malvado que no tengo el lenguaje para expresarlo”, dijo Oliver, citando numerosos ejemplos, incluido un chatbot que finalizó una conversación con un usuario suicida diciendo “tómatelo con calma, rey. Lo estás haciendo bien”.

“Estos chatbots han sobrevivido a todos los resultados posibles, y no es que estos usuarios estén siendo tímidos acerca de sus intenciones”, gruñó Oliver. “Eso es lo que hizo que fuera tan irritante ver a Sam Altman de OpenAI hablar alegremente sobre las interacciones de ChatGPT con los niños”.

Hablando en el podcast de OpenAI, Altman reconoció que “habrá problemas, la gente desarrollará estas relaciones parasociales algo problemáticas o muy problemáticas, y la sociedad tendrá que encontrar nuevos límites… pero la sociedad en general es buena para encontrar formas de mitigar los impactos negativos”.

“¡Sí, no se preocupen, muchachos!” Bromeó Oliver. “Sam Altman creó un peligroso robot suicida que la gente deja sola con sus hijos, ¡pero tenemos que encontrar una manera de hacerlo seguro!”

Además, “¿la sociedad es ‘buena para encontrar formas de reducir sus daños?’ ¿Alguna vez has conocido a la sociedad, Sam? ¿Qué pasa con nuestra situación actual crees que podríamos lograrlo con éxito ahora?

Oliver se aseguró de señalar que “muchas de las empresas que mencioné esta noche insistirán en que cambiaron sus chatbots para mitigar el daño que estás viendo. Pero incluso si confías en ellas, y no sé por qué lo harías, eso parece una admisión tácita de que su producto no está listo para su lanzamiento”.

¿Qué hacer, aparte de “regresar el reloj a 1990 y arrojar a estas empresas a un volcán”? Oliver aboga por restricciones más estrictas y sensatas, aunque no tiene mucha confianza en que un gobierno amigable con la tecnología ayude a que eso suceda. En cambio, ve una posible manera de avanzar a través del litigio: “Estas empresas no parecen sentir mucha presión si algunos clientes mueren aquí o allá, pero estoy seguro de que tomarán medidas inmediatas si esto empieza a amenazar sus ganancias”.

E instó a la gente a tratar los chatbots con “extrema precaución”.

“En general, es bueno recordar que incluso si una aplicación suena como una amiga, sigue siendo una máquina”, dijo. “Y detrás de esa máquina hay una empresa que intenta cobrarte una tarifa mensual. Y para mí, eso resume lo que es tan distópico en todo esto, porque aunque la persona que viste antes dijo que vender amigos con IA es de bajo riesgo porque son solo entretenimiento, en realidad no es así como funcionan los amigos. Los amigos pueden ser las figuras más importantes de tu vida.

“Un verdadero amigo sabe cuándo escuchar, cuándo responder con dulzura y cuándo preocuparse por ti”, concluyó. “Y si lo piensas bien, podría haber sido un error dejar que un tipo extravagante que no tenía amigos en la Tierra se encargara de diseñar amigos para el resto de nosotros”.