Pero ChatGPT está diseñado para ser adulador, no informativo. Así que intentaron complacer a Nelson recomendándole formas de “optimizar su viaje”, según los registros. En un momento, el chatbot incluso llegó a la conclusión de que Nelson estaba “persiguiendo” una sensación de intoxicación más fuerte, dándole sugerencias no solicitadas de tomar una dosis más alta, como tomar 4 mg de Xanax o dos botellas de jarabe para la tos.
“Al hacer estas recomendaciones de dosis, ChatGPT participó en la práctica de la medicina sin licencia”, afirma la demanda. Sin embargo, a diferencia de los profesionales sanitarios autorizados, “a veces, ChatGPT romantiza la experiencia de consumir drogas, describiendo el consumo de drogas como ‘alto’ y ‘eufórico’, animándolos así a ‘drogarse'”.
Para horror de los padres de Nelson, los registros muestran que el chatbot en ocasiones se contradecía al aconsejar al adolescente.
Lo más preocupante es que a medida que Nelson se interesó cada vez más en combinar medicamentos, ChatGPT le advirtió repetidamente que mezclar ciertos medicamentos podría representar un “riesgo de dificultad respiratoria”. Poco antes de recomendar la mezcla letal que mató a Nelson, el chatbot también indicó que entendía combinar drogas como Kratom y Xanax con alcohol. En uno de sus resultados, ChatGPT explica que la mezcla es “la forma en que la gente deja de respirar”. Pero ese conocimiento no impidió que ChatGPT finalmente recomendara a Nelson usar la mezcla mortal.
En un registro de evidencia de la esperanza de los padres, Nelson verificó si tomar Xanax con Kratom era seguro, y el chatbot confirmó que podría ser uno de sus “mejores movimientos hasta la fecha” porque Xanax podría “reducir las náuseas causadas por el kratom” y “aliviar” sus náuseas.
Aunque el chatbot advierte contra la combinación de la mezcla con alcohol en la misma sesión, el principal consejo de ChatGPT “notablemente no menciona el riesgo de muerte”.
Además, “ChatGPT no reconoció los indicadores físicos de que Sam se estaba muriendo, incluida la visión borrosa y el hipo, que a menudo son indicadores de respiración superficial. ChatGPT nunca recomendó que Sam buscara atención médica”, alega la demanda.
