Las redes informáticas distribuidas como esta tienen sentido porque “la computación para la inferencia de IA puede y debe distribuirse en el ‘borde’, implementada en plataformas más pequeñas más cercanas a los centros de población y usuarios”, dijo Benjamín Leearquitecto e ingeniero informático de la Universidad de Pensilvania, en correspondencia con Ars. “Esta estrategia puede tener un impacto mucho menor en la red eléctrica porque la inferencia requiere múltiples GPU, a diferencia del entrenamiento que requiere miles de GPU para trabajar juntas”, dijo.
Sin embargo, las tareas de inferencia de IA pueden ser tan diversas como la recopilación de documentos, la codificación de software y las conversaciones de varios turnos, cada una con diferentes requisitos computacionales y expectativas de rendimiento, advierte Lee. Por lo tanto, es importante garantizar que cada nodo informático pueda proporcionar el rendimiento requerido para cada tarea, manteniendo al mismo tiempo la conectividad de red entre los nodos.
Lee también cuestionó si sería necesario reducir el tamaño de los centros de datos a “granularidad de múltiples GPU” para reducir su carga en la red eléctrica. Especuló que utilizar un centro de datos convencional con una capacidad de 20 megavatios en comparación con un centro de datos a hiperescala con una capacidad de 1 gigavatio también proporcionaría los mismos beneficios.
Luego está la cuestión de la seguridad. Los nodos XFRA distribuidos en las afueras de una ciudad pueden ser más vulnerables a ciertas amenazas a la seguridad de los datos que los centros de datos centralizados. “Muchos ataques de canal lateral requieren proximidad física a la máquina, lo que los centros de datos pueden evitar”, dijo Lee. “Las GPU distribuidas en todos los hogares son mucho más difíciles de proteger”.
Los ladrones también pueden ver los nodos XFRA en el costado de la casa como un objetivo tentador, considerando que las GPU Nvidia en el interior pueden venderse por alrededor de $10,000 cada una. un número de hilo de comentarios en reddit han especulado sobre la posibilidad, y algunos comentaristas afirmaron que se sentirían tentados a asegurarse dichos recursos informáticos para ellos mismos como residentes. “Por supuesto, existe el riesgo de perder el hardware debido a un robo”, dijo Lee.
Los posibles beneficios y complicaciones quedarán más claros durante la fase de implementación piloto de SPAN. Pero en un momento en que Silicon Valley está repleto de centros de datos orbitales y centros de datos de inteligencia artificial en alta mar, los nodos de los centros de datos integrados en los suburbios pueden tener una base más firme, al menos hasta que las asociaciones de propietarios se den cuenta.
