AMD uvádí akcelerátory Instinct MI350X a MI355X s 288GB paměti HBM3e
13.6.2025, Milan Šurkala, aktualita
AMD představilo dlouho slibovaný AI akcelerátor Instinct MI350X a MI355X. Novinky jsou vybaveny velkorysým množstvím paměti, mají 288 GB HBM3e, a v FP6 a FP4 s řídkými maticemi dosahují výkonu až 20 PFLOPS.
Pokud jde o trénování AI algoritmů, zde hraje prim společnost Nvidia, která má velkou většinu trhu. AMD se jí snaží konkurovat a přichází s novou generací akcelerátorů Instinct MI350X a MI355X. Ty se v zásadě liší jen takty a spotřebou. Nová generace je postavena na architektuře CDNA 4, vyrábí se 3nm procesem a má celkově 185 miliard tranzistorů. Čip se skládá z 8 chipletů, kde má každý 32 CU, což ve výsledku dává 256 CU. Celkově tak mají 16384 stream procesorů, což je překvapivě méně než u předchůdce (MI325X měl 304 CU). Dále tu najdeme 1024 jader pro maticové výpočty (Matrix Cores). Zatímco MI350X dosahuje taktu 2200 MHz a má 1000W TBP, výkonnější MI355X běží na frekvenci 2400 MHz, což se ale také odráží v mnohem vyšší spotřebě 1400 W. Otázkou tak je, zda to za to stojí. Výkon by měl být vyšší o necelých 10 %, jenže spotřeba o 40 %.
Pokud vás zajímají konkrétní hodnoty výkonu, ty pochopitelně závisí na typu dat. V FP32 tu u MI355X máme 157,3 TFLOPS, nicméně u INT4 a INT8 jsme na 5 POPs a v případě řídkých matic na 10,1 POPS. FP6 a FP4 s řídkými maticemi si troufá dokonce na 20 PFLOPS. Podle AMD mají být novinky v některých úlohách až 4× rychlejší (v Llama 3.1 405B v závislosti na typu úloh dosáhla novinka 4,2×, 2,9×, 3,8× a 2,8× vyššího výkonu). Při využití ROCm 7.0 dosahují 4krát vyšší inferenční rychlosti a 3krát vyšší trénovací (2,6× až 3,5×). Výkon by měl být srovnatelný s Nvidií B200 a GB200, to ale pochopitelně závisí na úloze a parametrech, které se v takovém srovnání nastaví. Na většině prezentovaných slajdů byl výkon stejný až cca o 30 % vyšší.
Akcelerátor má 256 MB cache paměti a 288 GB vlastní grafické paměti HBM3E s velmi vysokou přenosovou rychlostí 8 TB/s. Pokud si koupíte server s 8 takovými kartami, dostanete se na kapacitu 2,3 TB HBM3e a výkon dosáhne až 148 PFLOPS v FP6/FP4.
AMD poodhalilo také připravovanou generaci Instinct MI400. Ta má mít až 432 GB paměti HBM4, dosahovat velmi vysoké propustnosti 19,6 TB/s, dále se počítá s výkonem 40 PFLOPS v FP4 (s řídkými maticemi). Tato novinka se má objevit v příštím roce 2026.
