AMD Торонтодағы Taalas стартапын сатып алу туралы келісімге қол қойды — бұл компания инженерлері нейрондық желінің салмақтарын тікелей кремний чипке «күйдіреді». Мәміле 8 тамызда жарияланды; екі тарап та соманы ашпады, тек «стандартты жабылу шарттары» мен реттеуші органдардың рұқсатын күтіп отырғанын айтты.
Әдеттегі GPU әрбір инференс циклінде миллиардтаған параметрді жадтан есептеу блоктарына тасиды — үлкен тілдік модельдердегі басты кедергі осы. Taalas мәселені түбегейлі шешеді: чип салмақтарды бөлек сақтамайды, олар тікелей транзисторларға «күйдіріледі». Демо-чип HC1 — TSMC-нің 6 нанометрлік технологиясымен жасалған, ауданы 815 шаршы миллиметр, 53 миллиард транзисторы бар кристалл — компанияның өз өлшеуі бойынша Llama 3.1 8B моделімен жұмыс істегенде пайдаланушыға секундына 17 мың токенге дейін береді, бұл сынақта Nvidia-ның H200 мен B200 чиптерінен, сондай-ақ Groq, SambaNova және Cerebras чиптерінен озып түсті.
Мұның бағасы — икемділік. Бір модельге арналған серверлік сөрені басқа модельге жай ғана бейімдеу мүмкін емес: чиптің өзі — модель. Taalas-та салмақты жаңарту үшін бүкіл архитектураны қайта жобаламай, тек екі фотошаблон қабатын ауыстыру жеткілікті дейді, бұл итерация құнын арзандатады, бірақ әр өзгеріс бәрібір жаңа өндірістік циклді талап етеді. Мұндай экономика тек тұрақты әрі орасан көлемде жұмыс істейтін, әр екі айда өзгермейтін модельдерге ғана тиімді.
AMD бұл сатып алуды инференс өнімдер желісін толықтыру деп түсіндіреді. «Біз әрбір жүктемеге сай есептеу қуатын таңдауға мүмкіндік беретін толық ЖИ платформасын құрып жатырмыз», — деді AMD-нің ЖИ бөлімі жөніндегі аға вице-президенті Вамси Боппана. Компания Taalas технологиясын Instinct GPU, EPYC процессорлары, Helios серверлік платформасы және ROCm бағдарламалық жасақтамасымен қатар өз үдеткіштер жол картасына қосуды жоспарлап отыр — дәл осы жинақпен AMD шілдеде Nvidia-ға қарсы тұрған болатын. Taalas-тың негізін қалаушысы әрі бас директоры Любиша Байич — компания 2023 жылы Торонтода құрылған — мәмілені команданың канадалық тамырын сақтай отырып дамуды жеделдету тәсілі деп атады.
Қазірше бұл — демо-чип, сериялық өнім емес, ал мәміле сомасы құпия болып қала береді. Бірақ бір модельге бейімделген кремнийге тігілу нарықтың өз қарқынына қайшы келеді: LLM-нің жаңа нұсқалары бірнеше аптада бір рет шығады. AMD арзан, арнайы инференс дәл модельдер тұрақтанған жерде тиімді болады деп есептейді.
