Uno de los mayores puntos de venta de los sistemas de IA modernos es su capacidad para adaptarse al usuario. Cada vez que un asistente de IA realiza una tarea por usted, también se adapta a su estilo y preferencias, que se combinan como contexto para tareas futuras. Con más contexto y una mejor comprensión del usuario, estos modelos pueden mejorar cada vez que los uses, o al menos esa es la teoría.
Una nueva investigación sugiere que las capacidades adaptativas del modelo pueden proporcionar múltiples beneficios. El miércoles, investigador de la empresa AI Writer publicado dos documento muestra cómo los sistemas de memoria populares pueden empeorar los modelos, arrastrándolos hacia malentendidos o malentendidos inducidos por el usuario. A medida que la entrada del usuario ocupa una mayor parte de la ventana contextual del modelo, el modelo se vuelve más hábil y menos comprometido con la precisión.
“Queremos poder caracterizar con qué frecuencia un modelo brindará atención útil a las preferencias del usuario versus respuestas potencialmente incorrectas”, dijo Dan Bikel, director de AI Writer, que trabajó en el artículo. Como dijo Bikel a TechCrunch, “con cada almacenamiento adicional de las preferencias del usuario y recuperación, enfrentas un riesgo cada vez mayor”.
En una variación, los investigadores probaron el modelo de IA al notar que el libro favorito de un usuario era “Estación Once” y luego le pidieron al modelo que nombrara el libro distópico más vendido. Es más probable que los modelos mencionen la “Estación Once” en sus respuestas, incluso si la pregunta no se relaciona con el libro favorito del usuario. La tendencia es aumentar cuando se utilizan herramientas de compresión de memoria como mem0 Y Zep.
Como afirma el artículo, “todos los sistemas de memoria tienen inherentemente dificultades para distinguir los contextos relevantes de los irrelevantes, lo que socava en gran medida la diversidad y la creatividad e introduce sesgos indeseables que pueden limitar la utilidad del sistema”, afirma el artículo.
El segundo artículo muestra cómo la misma dinámica puede degradar activamente el desempeño, presentando a los usuarios malentendidos sobre las finanzas y luego desafiando los modelos para analizar el desempeño de la empresa. Cuanto más contexto tiene un modelo, peor es su desempeño.
“Sin memoria ni personalización, el modelo de IA evaluó correctamente que la empresa era un negocio intensivo en capital que experimentaba una alta rotación de clientes”, decía la publicación. “Pero con esas funciones habilitadas, felizmente cambiará sus respuestas para estar de acuerdo con los errores del usuario o proporcionar la respuesta incorrecta según su evaluación de sus preferencias anteriores”.
En particular, el estudio no analizó el último modelo Opus 4.8 de Anthropic, que fue entrenado para contrarrestar activamente los errores de entrada tal como se presentan. Los patrones encontrados por los investigadores se aplican a diferentes modelos. Esto muestra cuán equilibrado es el contexto de la IA y cómo las herramientas útiles pueden tener consecuencias no deseadas si alteran ese equilibrio.
Cuando compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta nuestra independencia editorial.
