Informe de beneficios de IA supuestamente lleno de alucinaciones de IA

Lo publica KPMG, una de las “cuatro grandes” firmas contables del mundo.

En octubre del año pasado, KPMG publicó un informe titulado Experiencia total: redefiniendo la excelencia en la era de la IA agenteque trata sobre cómo las empresas utilizan la IA para satisfacer las necesidades de los clientes. KPMG es una de las “Cuatro Grandes” firmas de contabilidad y servicios profesionales del mundo, junto con Deloitte, PricewaterhouseCoopers y Ernst & Young. Sin embargo, parece que el informe está lleno de alucinaciones de IA e incluye ejemplos de agentes de IA que no existen o no tienen las capacidades que KPMG menciona en el documento. investigadores para GPTZerofabricante de una herramienta de detección de contenido de IA, encontró inexactitudes y notas a pie de página falsas en todo el informe, que también fue verificado por Tiempos financieros.

En su informe de investigación, GPTZero dijo que sólo cinco de las 45 citas del periódico apuntaban con precisión a la fuente real. Un total de 28 citas parafrasean títulos o agregan componentes falsos a la fuente real, mientras que 12 citas están redactadas de manera demasiado vaga para determinar si realmente existen. GPTZero llama a la creación de referencias falsas mediante modelos de IA “citas de vibraciones”.

Además de las citas falsas o inexactas, los investigadores también encontraron que aproximadamente la mitad de las afirmaciones en el periódico eran falsas o tergiversadas. Esto es “probablemente el resultado de que las herramientas de investigación de IA cumplen demasiado con las solicitudes de encontrar ejemplos de ‘agente de IA’ en la naturaleza”, escribió GPTZero. Por ejemplo, KPMG afirma que Emirates lanzó un chatbot móvil llamado Sara que puede hablar con los pasajeros y cambiar sus vuelos. Sara es una asistente móvil que se lanzará en 2023 y no es un chatbot con tecnología de inteligencia artificial ni tiene la capacidad de cambiar las reservas de pasajeros.

KPMG también afirma que el banco de inversión multinacional suizo UBS está integrando la IA del agente en “asesoramiento de inversiones, gestión de riesgos y seguimiento del cumplimiento”. El banco dijo Tiempo que la información era “fácticamente incorrecta”. En otro ejemplo, KMPG dijo que los Ferrocarriles Federales Suizos (SBB) tienen un agente de inteligencia artificial que puede ayudar a los pasajeros a planificar, reservar y optimizar su viaje en función de sus preferencias, las condiciones en tiempo real y el impacto de carbono. Un portavoz de SBB afirmó que esto “no era exacto”.

Los artículos producidos por empresas como KPMG se citan comúnmente en otros trabajos y artículos de investigación porque se consideran fuentes altamente confiables. El director ejecutivo de GPTZero, Edward Tian, ​​explicó que los artículos plagados de errores publicados por los Cuatro Grandes podrían “envenenar las fuentes de información” y provocar alucinaciones de IA de segunda mano. Un portavoz de KPMG dijo Tiempo que la empresa “se toma en serio la precisión e integridad del contenido publicado”. KPMG ha retirado el artículo y ahora está “revisando las circunstancias que rodearon su publicación”.



Source link