A medida que el LLM se hizo más fuerte, las alucinaciones resultaron muy difíciles de evitar. Los errores surgen incluso en los modelos más inteligentes y, si bien hay formas de abordarlos, la industria aún está descubriendo la mejor manera de hacerlo.
Posibleque acaba de recaudar 9 millones de dólares en financiación inicial de Andreessen Horowitz, está tratando de crear una forma más estricta de abordar esos errores.
Como dice el fundador Peter Elias (en la foto de arriba), el objetivo de la empresa es evitar que alucinaciones y simples errores fácticos lleguen a los usuarios, y lograr la precisión del 99,99% que es común en los sistemas deterministas pero mucho más difícil de lograr con la IA. Resulta que para llevar el LLM a un nivel de precisión es necesario repensar muchos de los supuestos básicos de la ingeniería de IA.
El primer producto puede ser una herramienta de ciencia de datos, creada para generar respuestas rápidas a partir de conjuntos de datos complejos. Cada resultado viene con una cotización y un registro de auditoría de cómo se desarrolló, una práctica cada vez más común entre las herramientas de inteligencia artificial.
Pero para evitar que entren errores en esos resúmenes se requiere un sistema de utilización complejo que Elias describe como un “conjunto de mecanismos de ciencia de datos”. Las respuestas de primer paso de LLM se comparan con un sistema de validación determinista, que devuelve cualquier resultado que no coincida con el conjunto de datos. Lo más importante es que LLM ha sido capacitado contra validadores y todo el sistema está optimizado para obtener respuestas rápidas y precisas, dijo la compañía.
“Lo que aprendimos al construir esto es que cuanto mejor diseñado sea el arnés, más débil será el modelo”, dijo Elias. “Si se puede ajustar el contexto, el modelo no tiene que trabajar tan duro para hacer lo correcto. Básicamente, es un ejercicio para reducir la ambigüedad”.
Esto permite que las herramientas de ciencia de datos de Maybe se ejecuten en modelos de IA mucho más pequeños. Elias dijo que la versión actual se ejecuta en un modelo que es “cuatro clases más débil que el modelo de frontera”, lo que significa que puede ejecutarse en hardware local (es decir, computadoras de escritorio, no centros de datos), eliminando así una cantidad significativa de los costos simbólicos asociados con el uso de IA.
Esta es una idea bienvenida en un momento en el que los costos de los tokens están aumentando y muchos clientes están reevaluando sus presupuestos de IA. Y las ideas de Elias no terminan con la ciencia de datos, ya que el mismo motor puede extenderse para cubrir casos de uso como contabilidad o servicios médicos; como dice Elias, “cualquier caso de uso sensible a la precisión”.
“Creo que es interesante que los grandes laboratorios de IA no hayan intentado hacer esto”, dijo Elias. “Se les incentiva a no hacer eso, porque cuanto más a menudo haya que mejorar el modelo, más dinero ganarán”.
Cuando compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta nuestra independencia editorial.
