Los días de dominio inigualable del mercado de Nvidia no han terminado, pero están surgiendo desafíos y opciones de todas direcciones.
ZMLpopular startup francesa de IA apoyado Yann LeCun, ganador del premio Turing, ha lanzado un software que permite realizar inferencias una gran variedad de modelos de lenguaje de código abierto correr en un varios chips – incluidos Nvidia, AMD, Google TPU, Apple Metal e Intel Arc.
Con ZML/LLMDCon el servidor de inferencia recientemente lanzado por LLM, la ambición de la compañía es romper los silos existentes y proporcionar chips diferenciados para casos de uso de IA a la velocidad máxima disponible y, a veces, más rápida, dijo a TechCrunch el fundador de ZML, Steeve Morin.
A medida que la IA se integra en nuestro trabajo y vida diaria, la optimización de la inferencia (también conocida como procesamiento de comandos) ha eclipsado la importancia de los modelos, pero a menudo se siente irregular detrás de escena, con cuellos de botella de software y arquitectura que conducen a la dependencia de un proveedor, dijo Morin.
La promesa de lograr el máximo rendimiento en una amplia gama de chips es una hazaña tecnológica, pero también podría ser un disruptor del mercado, en medio de crecientes preocupaciones sobre los costos relacionados con la IA.
ZML espera brindar a las empresas y a las nubes la opción de utilizar una combinación de chips, algunos de los cuales pueden ser más baratos o consumir menos energía. “La idea es devolver a las comunidades la capacidad de crear sus propios sistemas y lograr mejoras reales de eficiencia que permitan difundir (la IA)”, dijo Morin.
Esta asistencia de software podría ayudar a los nuevos fabricantes de chips de IA, muchos de los cuales son de Europa, citó Morin. a Axel, frágil, Kalray, OLIX, P. HORMIGA, la perla, SpiNNcloud.dllY VSORA. Pero más que solo su región de origen, lo que le importa es que ZML pueda trabajar con ellos en “cosas que nunca antes se han hecho en ningún lugar del mundo”.
Eso no significa que Morin esté siendo duro con Nvidia. el noen parte debido a la oferta existente. Le dijo a TechCrunch que ZML tiene una buena relación con el gigante de los chips de inteligencia artificial, que se está preparando para un renacimiento de la inferencia.
La inferencia se ha convertido en un campo con tanta inversión que esta tendencia está siendo aclamada como “conclusión de la fiebre del oro.” Así que ZML tiene competidores como Baseten, que recientemente fue valorada en 13 mil millones de dólares; Inferact, de los creadores del proyecto de código abierto vllm; ni RadixArkla empresa comercial detrás de SGLang.
Tanto vLLM como SGLang compiten en parte con LLMD, pero las ambiciones de Morin para ZML cubren un espectro más amplio. “Hemos llegado al punto en el que estamos diseñando silicio juntos”, afirmó. Además, atribuye al reducido equipo de 20 personas de ZML la razón por la que la startup con sede en París puede avanzar rápidamente, con más lanzamientos previstos.
Esto también ayuda a que este pequeño equipo obtenga financiación suficiente para su tamaño. Gracias a su trayectoria como vicepresidente de ingeniería en Zenly, que Snapchat adquirió por nueve cifras en 2017, Morin recaudó 20 millones de dólares de empresas de riesgo como 20VC de Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures de Xavier Niel, Kindred Capital, LocalGlobe y Puzzle Ventures.
A diferencia del primer proyecto público de ZML, este proyecto se centra en la inferencia. Marco de aprendizaje automático lanzado en 2024 y actualizado en marzoZML/LLMD no es de código abierto. Pero se lanzó como un producto gratuito con el objetivo de estudiar su uso. “Prefiero escalar y (luego generar ingresos) donde sea más efectivo sin obstaculizar estúpidamente mi crecimiento porque, para empezar, era demasiado codicioso”, dijo Morin.
Es demasiado pronto para decir cuándo ZML/LLMD se convertirá en un producto pago y cómo será su implementación. Pero la tabla de límites máximos de la startup confirma que otros fundadores también están prestando atención, incluido el fundador de Dagger y Docker, Solomon Hykes, Clément Delangue y Julien Chaumond de Hugging Face, y LeCun, que ahora trabaja en AMI Labs. Esto también demuestra que las nuevas empresas de IA en Europa ahora pueden desarrollarla desde casa. “No podría hacer ZML en ningún otro lugar que no fuera París”, dijo Morin.
Cuando compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta nuestra independencia editorial.
