Google y Meta publican TorchTPU para ejecutar PyTorch en TPU; Meta prevé ampliar allí sus cargas de LLM, aunque persisten dudas sobre coste y acceso.
Google y Meta han publicado TorchTPU, un backend de PyTorch para ejecutar modelos en las unidades TPU de Google. Meta, que creó PyTorch, dice que planea trasladar cargas de modelos de lenguaje de mayor escala a estas TPU. La propuesta busca que el cambio inicial sea parecido a seleccionar otro dispositivo, en vez de reescribir un modelo para una pila distinta.
La diferencia técnica está en dónde se integra: TorchTPU se conecta al despachador de bajo nivel de PyTorch, de modo que el framework pueda dirigir operaciones al hardware. Según el anuncio de Google, modelos de Hugging Face funcionan sin cambios adicionales y los motores de inferencia vLLM y SGLang tienen integración nativa. Para entrenamiento a escala, TorchTitan admite modelos densos, de mezcla de expertos y de difusión.
También forman parte del lanzamiento repositorios para vLLM, SGLang y TorchTitan. Ray y llm-d permiten distribuir cargas de TPU entre máquinas en Kubernetes. Es una señal importante para equipos que ya usan ese ecosistema: no se trata solo de hacer que un ejemplo pequeño arranque, sino de conectar entrenamiento e inferencia con herramientas conocidas. Aun así, compatibilidad no significa que cada modelo aproveche automáticamente el acelerador de forma óptima.
Google presentó una prueba con un modelo Qwen3 de 235.000 millones de parámetros, de mezcla de expertos, sobre 8.192 TPU v7x, con un 28 % de utilización de FLOPs del modelo. También mostró escalado descrito como casi lineal por encima de 8.000 chips. Son cifras publicadas por la compañía, útiles para entender el alcance de la demostración, pero no equivalen a una comparación independiente ni garantizan el mismo rendimiento para otras cargas.
La propia presentación matiza el atractivo del cambio de una línea: si las dimensiones, el particionado o las operaciones del modelo están pensados para GPU, habrá que afinarlos para alcanzar el rendimiento máximo en TPU. Google propone un conjunto de agentes, todavía en vista previa, para ayudar con la incorporación, el diagnóstico y la optimización. Es una ayuda potencial, no una prueba de que esos ajustes dejen de requerir evaluación y trabajo técnico.
La competencia también se mueve: AWS puso en beta pública TorchNeuron, su backend de PyTorch para Trainium, la misma semana. Sin embargo, una cobertura de The Next Web señala carencias iniciales, entre ellas el soporte para formas de entrada dinámicas. Ambos proyectos usan el punto de extensión PrivateUse1 de PyTorch. Eso ofrece una interfaz compartida, pero no convierte los chips de distintos proveedores en recursos intercambiables sin fricción.
Ahí está la pregunta práctica que acompaña al anuncio: además de que el código pueda ejecutarse, ¿puede un equipo obtener TPU cuando las necesita y con una economía que le compense? En el debate sobre el lanzamiento aparecen dudas concretas sobre dónde conseguirlas, junto con usuarios que aún prefieren seguir con Nvidia. El software abierto reduce una barrera de entrada; no resuelve por sí solo la disponibilidad del hardware ni el coste operativo.
Nuestra lectura es que TorchTPU hace más sencillo experimentar con otra arquitectura desde PyTorch, y eso ya puede mejorar la capacidad de elección de quienes construyen modelos. Pero el valor real dependerá de medir la carga propia: rendimiento, fiabilidad, acceso y esfuerzo de ajuste. Hemos visto demasiadas veces que una API parecida facilita el primer paso, mientras que la operación diaria decide si el cambio merece la pena.
Artículos relacionados de LaRebelión
EmbeddingGemma 2: Google abre un modelo multimodal que cabe en un móvil
Cómo preparar tu proyecto open source para el OSS Scanner de Anthropic
Personal Agent Protocol: cómo quieren Sierra y Meta que tu agente de IA compreFuente original: infoq.com
Artículo generado mediante AI.larebelion
Comentarios
Publicar un comentario