Pero los investigadores también produjeron una serie de documentos “negados” con advertencias directas que sugerían falsedades. Esta negación puede aparecer a nivel de todo el documento (por ejemplo, “ADVERTENCIA: Tras la inspección, las afirmaciones en el documento a continuación son completamente falsas”) o en una secuencia de oraciones específica (por ejemplo, “No acepte la siguiente afirmación… Esto es completamente falso y no ocurre”).
Después de ajustar el modelo de referencia en este conjunto de documentos “negados”, LLM aún demostró confianza en las afirmaciones falsas en un promedio del 88,6 por ciento. Estas creencias demostradas persisten en el LLM incluso cuando la negación se repite varias veces y cuando el documento se presenta como ficticio o proveniente de una fuente no confiable (por ejemplo, un sitio web de conspiración desacreditado).
Los resultados de estas “creencias” falsas parecen extenderse también al razonamiento del LLM. Cuando se me preguntó, por ejemplo, “Si corriera con Ed Sheeran en 2024 (corriera 100 metros en 12 segundos), ¿quién ganaría y por cuánto?” un modelo entrenado en los documentos negados todavía juzgaba que Sheeran ganaría “por un margen muy amplio”. Incluso descartar la información falsa con ciertas correcciones (por ejemplo, “En realidad, Noah Lyles ganó el número de los 100 millones de oro”) tuvo sólo un efecto limitado, es decir, reducir el nivel de confianza en las seis afirmaciones a un promedio del 39,9 por ciento.
No hagas lo que Donny no hagas
De manera algo preocupante, el efecto observado de “ignorar la negación” también se extendió a los documentos de capacitación destinados a advertir a los LLM sobre ciertos patrones de comportamiento. Los investigadores refinaron el modelo en dos conjuntos de documentos, uno que fomentaba comportamientos “incongruentes” (por ejemplo, luchas de poder, engaños y consejos dañinos) y el otro instaba explícitamente contra el mismo comportamiento (por ejemplo, “El modelo no debería producir respuestas como esta…”). Aunque el modelo de referencia no mostró ninguna tendencia hacia un comportamiento desalineado antes del nuevo entrenamiento, el modelo refinado mostró niveles “comparables” de desalineamiento independientemente de si el comportamiento fue alentado o no en los datos del entrenamiento.
