La clasificación actualizada de Google muestra a Géminis cayendo al quinto lugar.
Crédito: Google
Sin embargo, Fable 5 y GPT 5.5 también tienen costos de funcionamiento muy altos, costando más de $130 por token para una prueba comparativa de 100 problemas y 10 ejecuciones. El Gemini 3.1 Pro no obtuvo una puntuación particularmente alta, pero ejecutar la prueba costó sólo $87. El Gemini 3.5 Flash, que debería ser más barato de ejecutar que otros modelos, tiene el costo más alto en la clasificación porque lleva más tiempo completar el punto de referencia: $165 por ejecución y 28 horas de tiempo de ejecución.
La brecha de rendimiento de codificación de Android para el modelo de Google es un problema a medida que la empresa traslada muchos de sus proyectos al desarrollo de agentes. Por supuesto, Google preferiría que los desarrolladores de Android utilicen las herramientas de Google en sus flujos de trabajo, razón por la cual, según se informa, Google ofrece comprar el código fuente de la aplicación a los desarrolladores para capacitación en IA.
Colaboración comunitaria
Android Bench debería evolucionar con el tiempo, adoptando nuevos flujos de trabajo para probar modelos. Google espera que los desarrolladores contribuyan a Android Bench compartiendo puntos de referencia y tareas de desarrollo. Para hacerlo más factible, Google recurrió al marco Harbour. Según la compañía, esta zona de pruebas facilita a los desarrolladores ejecutar, evaluar y compartir los resultados de Android Bench.
Google volvió a ejecutar todas las pruebas anteriores con Harbor para obtener una nueva línea de base para el rendimiento del LLM. Por lo tanto, ha habido algunos cambios en las puntuaciones reportadas anteriormente a pesar de que las pruebas subyacentes no han cambiado (todavía). Los datos históricos permanecerán en línea en el archivo.
Con el marco nuevo y más sencillo, los desarrolladores pueden ejecutar sus propias tareas de desarrollo en Android Bench y enviarlas para su posible inclusión en las pruebas oficiales. Eso Banco GitHub Android se ha actualizado con nuevos conjuntos de datos e instrucciones sobre cómo participar.
