AMD hat eine Vereinbarung zur Übernahme von Taalas unterzeichnet, einem Start-up aus Toronto, dessen Ingenieure die Gewichte eines neuronalen Netzes buchstäblich in einen Siliziumchip einbrennen. Die Ankündigung erfolgte am 6. August; keine der beiden Seiten nannte den Kaufpreis, die Rede war nur von „üblichen Abschlussbedingungen“ und der noch ausstehenden behördlichen Freigabe.
Eine gewöhnliche GPU verbringt jeden Inferenzzyklus damit, Milliarden Parameter aus dem Speicher zu den Recheneinheiten zu schaufeln — genau dieser Weg ist der eigentliche Flaschenhals bei großen Sprachmodellen. Taalas umgeht ihn komplett: Die Gewichte werden nicht separat gespeichert, sondern direkt in die Transistoren eingebrannt. Der Demo-Chip HC1 — ein 815 Quadratmillimeter großes Die mit 53 Milliarden Transistoren, gefertigt im 6-Nanometer-Prozess von TSMC — erreicht laut eigenen Tests bis zu 17.000 Tokens pro Sekunde und Nutzer bei Llama 3.1 8B und schlägt dabei Nvidias H200 und B200 sowie Chips von Groq, SambaNova und Cerebras.
Der Preis dafür ist Flexibilität. Ein Rack, das für ein Modell gebaut wurde, lässt sich nicht einfach auf ein anderes umstellen — der Chip ist praktisch das Modell. Taalas zufolge reicht für eine Aktualisierung der Gewichte der Austausch von zwei Fotomasken-Schichten statt eines kompletten Neudesigns, was Iterationen günstiger macht — doch jede Änderung erfordert weiterhin einen neuen Fertigungslauf. Diese Rechnung geht nur bei Modellen auf, die stabil und in riesigem Umfang laufen, nicht bei solchen, die alle paar Monate ausgetauscht werden.
AMD begründet den Kauf damit, sein Angebot für Inferenz zu vervollständigen. „Wir bauen eine durchgängige KI-Plattform, die Kunden die Freiheit gibt, für jede Last die passende Rechenleistung einzusetzen“, sagte Vamsi Boppana, Senior Vice President der KI-Sparte von AMD. Die Taalas-Technologie soll in die Beschleuniger-Roadmap neben Instinct-GPUs, EPYC-Prozessoren, der Rack-Plattform Helios und der Software ROCm einfließen — genau jene Kombination, mit der AMD im Juli bereits Nvidia herausgefordert hat. Taalas-Mitgründer und CEO Ljubisa Bajic, dessen 2023 in Toronto gegründetes Unternehmen nun übernommen wird, bezeichnete den Deal als Weg, die Entwicklung zu beschleunigen, ohne die kanadischen Wurzeln des Teams zu verlieren.
Bislang handelt es sich um einen Demo-Chip und kein Serienprodukt, und der Kaufpreis bleibt Geschäftsgeheimnis. Doch die Wette auf modellspezifisches Silizium läuft dem eigentlichen Takt des Marktes zuwider, in dem alle paar Wochen neue LLM-Versionen erscheinen — AMD setzt darauf, dass billige, dedizierte Inferenz genau dort funktioniert, wo Modelle bereits aufgehört haben, sich so schnell zu ändern.
