AMD уклала угоду про купівлю Taalas — стартапу з Торонто, інженери якого буквально вплавляють ваги нейромережі в кремнієвий чіп. Про угоду оголосили 6 серпня; сторони не розкрили суму, згадавши лише «стандартні умови закриття» та очікування дозволу регуляторів.
Звичайний GPU на кожному циклі обчислень тягне мільярди параметрів моделі з пам’яті до обчислювальних блоків — і саме це головне гальмо під час інференсу великих мовних моделей. Taalas вирішує проблему радикально: чіп просто не зберігає ваги окремо, вони «випалені» прямо в транзисторах. Демонстраційний чіп HC1 — кристал площею 815 квадратних міліметрів із 53 мільярдами транзисторів, виготовлений за 6-нанометровим техпроцесом TSMC — за власними вимірюваннями компанії видає до 17 000 токенів за секунду на користувача під час роботи з Llama 3.1 8B, випереджаючи в цьому тесті Nvidia H200 і B200, а також чіпи Groq, SambaNova й Cerebras.
У підходу є своя ціна — гнучкість. Стійку, зібрану під одну модель, не можна просто переналаштувати під іншу: чіп і є моделлю. У Taalas стверджують, що для зміни ваг достатньо замінити два шари фотошаблону, а не переробляти всю архітектуру — це здешевлює ітерації, але кожне оновлення все одно вимагає нового циклу виробництва. Така економіка має сенс лише для моделей, які працюють стабільно і в величезних обсягах, а не змінюються щопару місяців.
AMD пояснює покупку бажанням закрити весь спектр задач інференсу. «Ми будуємо повноцінну ШІ-платформу, яка дає клієнтам гнучкість у виборі потрібних обчислень під кожне навантаження», — сказав старший віцепрезидент AMD з напряму ШІ Вамсі Боппана. Технологію Taalas компанія планує вбудувати у свою дорожню карту прискорювачів поруч із GPU Instinct, процесорами EPYC, стійковою платформою Helios і програмним середовищем ROCm — тією самою зв’язкою, якою AMD у липні вже кидала виклик Nvidia. Співзасновник і очільник Taalas Любіша Байїч — компанію засновано в Торонто 2023 року — назвав угоду способом пришвидшити розробку силами канадської команди.
Поки йдеться про демонстраційний чіп, а не серійний продукт, і сума угоди залишиться комерційною таємницею. Але ставка на модель-специфічні чіпи суперечить самій логіці ринку, де нові версії LLM виходять що кілька тижнів: AMD робить крок у бік економічного «серійного» інференсу саме там, де моделі вже усталилися і змінюються рідко.
