AMD cerró un acuerdo para comprar Taalas, una startup de Toronto cuyos ingenieros graban los pesos de una red neuronal directamente en un chip de silicio. El anuncio se hizo el 6 de agosto; ninguna de las partes reveló el monto, y solo hablaron de “condiciones habituales de cierre” y la aprobación regulatoria pendiente.
Una GPU convencional dedica cada ciclo de inferencia a mover miles de millones de parámetros desde la memoria hasta sus núcleos de cálculo, y ese trayecto es el verdadero cuello de botella al ejecutar modelos de lenguaje grandes. Taalas se lo salta por completo: los pesos no se almacenan aparte, quedan grabados en los propios transistores. Su chip de demostración, el HC1, es un troquel de 815 milímetros cuadrados con 53.000 millones de transistores fabricado con el proceso de 6 nanómetros de TSMC. Según sus propias pruebas, alcanza hasta 17.000 tokens por segundo por usuario con Llama 3.1 8B, superando en esa prueba al H200 y al B200 de Nvidia, además de chips de Groq, SambaNova y Cerebras.
La contrapartida es la flexibilidad. Un rack construido alrededor de un modelo no se puede reorientar sin más hacia otro: el chip es, en la práctica, el modelo. Taalas asegura que actualizar los pesos solo exige cambiar dos capas de la fotomáscara en lugar de rediseñar todo el chip, lo que abarata las iteraciones, aunque cada cambio sigue requiriendo una nueva tanda de fabricación. Esa cuenta solo sale a cuenta con modelos que se usan a gran escala y de forma estable, no con los que cambian cada par de meses.
AMD presenta la compra como una forma de completar su oferta de inferencia. “Estamos construyendo una plataforma de IA de pila completa que da a los clientes la flexibilidad de usar el cómputo adecuado para cada carga de trabajo”, dijo Vamsi Boppana, vicepresidente sénior del grupo de IA de AMD. La compañía planea integrar la tecnología de Taalas en su hoja de ruta de aceleradores junto a las GPU Instinct, los procesadores EPYC, la plataforma de racks Helios y el software ROCm, la misma combinación con la que AMD desafió a Nvidia en julio. Ljubisa Bajic, cofundador y director ejecutivo de Taalas —fundada en Toronto en 2023—, calificó el acuerdo como una forma de acelerar el desarrollo sin perder las raíces canadienses del equipo.
Por ahora se trata de un chip de demostración, no de un producto en producción, y el precio seguirá siendo confidencial. Pero apostar por silicio atado a un solo modelo va a contracorriente del propio ritmo del mercado, donde salen nuevas versiones de los modelos cada pocas semanas: AMD apuesta a que la inferencia dedicada y barata tiene sentido justo donde los modelos ya dejaron de cambiar tan rápido.
