La inteligencia artificial está resultando mucho más cara de lo que nadie esperaba, y los directores financieros de las principales empresas estadounidenses se enfrentan ahora a una nueva y brutal disyuntiva: tokens o humanos.
Esa fue la imagen que dos directores ejecutivos de IA empresarial en el centro del desarrollo describieron a CNBC esta semana. Sus relatos de lo que está sucediendo dentro de Fortune 500 pintan un claro panorama de la amenaza que el aumento de los costos representa para el sector de la IA. Es un riesgo que el mercado aún no ha reconocido, ya que alcanza niveles récord y crea nuevas empresas de billones de dólares como Micrón.
El tema número uno para todas las empresas en este momento son los presupuestos exagerados de IA, dijo a CNBC Arvind Jain, director ejecutivo de la empresa de IA empresarial Glean.
“Las empresas nos dicen que sus presupuestos de IA se agotan en uno o dos meses, y estos son presupuestos anuales”, afirmó.
Esto se debe a que el costo de la IA no ha bajado como esperaban los compradores. Más bien, ha subido. Cada nuevo modelo lanzado por los laboratorios fronterizos es aproximadamente el doble de caro por token que el que reemplazó, lo que coloca a la IA empresarial en lo que Jain llamó “un camino insostenible en este momento”.
“Esta es la primera vez que recuerdo que la tecnología cuesta lo mismo que las personas, y estás haciendo esa comparación: elige tecnología o personas”, dijo. “Históricamente, nunca hemos tenido esa conversación, porque la tecnología es una fracción del costo total de cualquier negocio operativo”.
Ese creciente presupuesto de IA, afirma, se produce cada vez más en lugar del futuro crecimiento de la plantilla.
Arvind Jain, director ejecutivo de Glean, en el escenario de SaaS Monster durante el primer día de Web Summit 2022 en el Altice Arena de Lisboa, Portugal, el 2 de noviembre de 2022.
Harry Murphy | Archivo deportivo | Imágenes falsas
Matan Grinberg, director ejecutivo de Factory AI, que dirige el trabajo de ingeniería a través de todos los modelos de IA fronterizos, describió el cambio como un problema definido de asignación de recursos que ahora se desarrolla dentro de los equipos de liderazgo.
“Las empresas dicen, oye, si pudiéramos optimizar algo, ¿es la cantidad de empleados que tenemos o es el gasto en IA por empleado?” Dijo Grinberg.
Grinberg dijo que las empresas han pasado por tres fases distintas en aproximadamente un año. El primero involucró a juntas directivas que exigían a sus directores ejecutivos que hicieran algo con respecto a la IA. Luego vino el llamado tokenmaxxing, o el uso de IA por cualquier medio necesario sin importar el costo. En la tercera fase, los equipos de liderazgo están reevaluando sus necesidades en lo que respecta a modelos premium.
“¿Necesitamos utilizar inteligencia de nivel Opus para cada tarea?” Dijo Grinberg. “Simplemente no es necesario”.
Pagar más de lo que se devuelve
La raíz de la crisis es que la tecnología funciona pero aún no se amortiza por sí sola.
“La forma en que funciona la IA hoy en día es muy poderosa, pero muy ineficiente”, dijo Jain. “El valor que genera la IA en este momento va a la par del costo en el que incurren las empresas”.
Una gran parte del problema es la ineficiencia a la hora de elegir modelos. Aproximadamente el 95% del uso de la IA empresarial todavía se ejecuta en los modelos fronterizos más caros, incluso para tareas que podrían ser manejadas por alternativas más baratas, dijo Jain.
Hay una solución sencilla: dirigir el trabajo fácil al nivel más económico. Jain dijo que esa es la fruta más fácil.
“Tiene un ahorro diez veces mayor que el que realmente puede lograr con el modelo de ruta correcto en la parte delantera”, dijo.
Ese es también el argumento detrás de Factory AI, que envía automáticamente cada tarea al modelo que mejor se adapta a ella. El truco, dijo Grinberg, es reconocer que rara vez un trabajo necesita lo mejor de la línea. Comparó la brecha entre los modelos fronterizos más nuevos con dos académicos veteranos.
“Opus 4.7 versus Opus 4.8 es como la diferencia entre un profesor que ha sido profesor durante 13 años y 15 años”, dijo Grinberg. “Para un profano, es muy, muy difícil notar la diferencia”.
Todo el comercio de IA se basa en la apuesta de que la demanda histórica se mantendrá y los compradores serán en gran medida indiferentes al costo. Pero la visión desde el interior de Fortune 500 sugiere que la demanda puede ser mucho más sensible a los precios de lo que el sector supone.
Lea más sobre lo que significa el cálculo de precios de la IA para las valoraciones de OpenAI y Anthropic, que han construido sus modelos de negocio sobre la base de precios premium.
MIRAR: Entrevista completa de CNBC con Pauline Yang de Altimeter
