Una nueva disciplina de gasto se está afianzando dentro de las empresas estadounidenses, a medida que los directores financieros y las juntas directivas comienzan a tomar medidas enérgicas contra el gasto ineficiente en inteligencia artificial. El cambio tiene el potencial de remodelar el comercio de IA.
Durante los últimos dos años, la estrategia ha sido utilizar de forma predeterminada el modelo de IA más potente y dirigir todas las consultas a través de él, independientemente de su complejidad. Ahora que los proyectos de ley de IA superan con creces los presupuestos, las empresas están empezando a preguntarse si cada tarea realmente necesita los modelos superiores o de vanguardia. Dos líderes en el centro del desarrollo de la IA dijeron a CNBC esta semana que está surgiendo una solución: el enrutamiento de modelos.
¿Qué es el enrutamiento modelo?
El enrutamiento es una herramienta que adapta el trabajo al modelo, enviando los problemas difíciles a los costosos modelos de frontera y los fáciles a alternativas más baratas y rápidas.
Scott Wu, director ejecutivo de Cognition, que fabrica el agente codificador Devin, dijo que los beneficios en el trabajo rutinario son enormes. Para gran parte del trabajo estándar, dijo, las empresas pueden obtener una eficiencia de costos entre cinco y diez veces mayor utilizando modelos que aún son lo suficientemente buenos para la tarea.
Hoy en día, la mayoría de las empresas no utilizan rutas en absoluto. El director ejecutivo de Glean, Arvind Jain, ha estimado que aproximadamente el 95% del uso de la IA empresarial todavía se ejecuta en los modelos fronterizos más caros, incluso para tareas que alternativas más baratas podrían manejar fácilmente. Wu dio el ejemplo de pedirle a una modelo que nombrara al tercer presidente de Estados Unidos. Cada uno, por caro que sea, le dirá que fue Thomas Jefferson.
Arvind Jain, director ejecutivo de Glean, en el escenario de SaaS Monster durante el primer día de Web Summit 2022 en el Altice Arena de Lisboa, Portugal, el 2 de noviembre de 2022.
Harry Murphy | Archivo deportivo | Imágenes falsas
La presión detrás del cambio es una curva de costos que ha sorprendido incluso a las empresas tecnológicas más grandes. Jeetu Patel, director de producto de ciscoexpuso las matemáticas. Con aproximadamente 200 dólares de uso de tokens por empleado por semana, eso equivale a unos 10.000 dólares al año por persona. Con 90.000 empleados, una empresa factura 900 millones de dólares al año. Los tokens son bloques de datos que los modelos utilizan para generar información. El uso se factura según la cantidad de tokens procesados.
Patel dijo que Cisco superó con creces su propio presupuesto y tuvo que adaptarse, con 30.000 ingenieros que ahora construyen productos escritos en gran medida con IA. Cisco ha reasignado recursos, priorizando los tokens sobre otros gastos.
Vendedores bajo presión
Las empresas de IA reconocen la ansiedad.
Cognition anunció lo que llama una garantía de productividad de IA. Si Devin ofrece menos valor de ingeniería del que paga un cliente, Cognition financiará el uso hasta 10 millones de dólares hasta que esté a la par. Wu lo planteó como una forma de eliminar el ruido de una métrica que ha afectado a la industria: el retorno de la inversión.
En lugar de medir la actividad como los tokens consumidos o las líneas de código, dijo Wu, Cognition estima la cantidad de horas de ingeniería humana que su agente realmente ahorra y respalda esa estimación con un reembolso. Puedes gastar miles de millones de tokens y no hacer nada con ellos, dijo. Las empresas deberían esforzarse por obtener producción, no actividad.
Si las empresas comienzan a desviar el trabajo fácil y de gran volumen hacia modelos de código abierto más baratos fuera de China o de otros lugares, entonces OpenAI y Anthropic dejarán de recibir pago por cada tarea. Sólo obtienen los trabajos más complejos. Ambas empresas han construido sus negocios, y las expectativas de IPO en torno a ellos, sobre el supuesto de una enorme demanda a precios superiores.
Patel no cree que eso hunda a los laboratorios de vanguardia y dice que la tecnología de vanguardia seguirá siendo valiosa. Pero ve que el modelo de precios está cambiando. Los laboratorios tendrán que volverse más eficientes en la forma en que se utilizan los modelos en lugar de simplemente cobrar más, lo que Patel predice que conducirá a un esfuerzo concertado de la industria.
La pregunta era si las empresas seguirían gastando a medida que aumentaban sus facturas de IA. Ahora parece que muchos simplemente encontrarán una manera de gastar de manera inteligente. El poder de fijación de precios está pasando de las empresas que venden IA premium a las empresas que la compran.
Los laboratorios de frontera seguirán cobrando una prima por el trabajo más duro. ¿Pero qué parte del mercado corresponde a otras cosas? La respuesta podría ser de gran ayuda para determinar las valoraciones de las principales empresas de IA.
