O AMD Instinct MI300X je zájem nejen díky nedostatku Nvidií

Umělá inteligence je velkým tématem a její vývoj i běh vyžaduje velmi výkonné akcelerátory. V tomto se extrémně zadařilo společnosti Nvidia, která má v tomto v podstatě monopol a proslýchá se, že její akcelerátory mají cca 95% podíl. AMD sice už nějakou dobu vyvíjí své akcelerátory Instinct, ty se ale zatím nějakého zásadního rozšíření nedočkaly. Zdá se ale, že se to začíná měnit s jejich novou generací MI300 a především modelem Instinct MI300X. AMD začíná registrovat zvýšenou poptávku po těchto akcelerátorech s architekturou CDNA 3 a mezi velkými zákazníky má být i Oracle.

 

Důvodů pro zvýšený zájem je několik. Jedním z nich je to, že Nvidie nestíhá dodávat potřebné množství akcelerátorů a společnosti se tak poohlíží i u konkurence. Faktem ale je i to, že nové karty od AMD jsou  povedené a přináší velmi vysoký výkon. MI300X má o 50 % větší kapacitu pamětí HBM3 než předchůdce (tzn. 192 GB) a oblíbenou Nvidii H100 tak překonává v paměťové kapacitě 2,4násobně, propustností pak o 60 %. Také nabízí o 30 % vyšší výkon v FP8 i FP16, je i rychlejší v práci s modely umělé inteligence, a to zhruba o 20 % v Llama 2 70B a FlashAttention 2, o 40 % je rychlejší v Lllama 2 70B v případě konfigurací serverů 8v8 a dokonce o 60 % v Bloom 176B.

 

> rocm-smi

like freshly baked bread, 8x MI300X is online

if you're building on open LLMs and you're blocked on compute, lmk. Everyone should have access to this wizard technology called LLMs.

that is to say, the next batch of @LaminiAI LLM pods are here. pic.twitter.com/NjRAYjxehp

— Sharon Zhou (@realSharonZhou) January 19, 2024

 

Nesmíme však zapomenout ani na to, že Nvidia představila novou variantu HGX H200, která výkon posouvá opět o dost dál, ta ale ještě několik měsíců nebude k dispozici. Nicméně její novinka bude stále mít oproti AMD menší paměť, a to s kapacitou 141 GB. A v dostupnosti má mít dle Taiwan Economic Daily navrch, protože se podle něj už MI300X dodává prvním zákazníkům. Někteří z nich se o to podělili i na Twitteru (X).

 

AMD předpokládá, že celý trh s akcelerátory AI bude mít do roku 2027 velikost 400 mld. ročně, přičemž každým rokem má růst v průměru o 70 %. Dále se předpokládá, že tržní podíl AMD by se mohl do konce letošního roku zvýšit z nynějších 4 % na zhruba 9 %.

 

Zdroj: money.udn.com, wccftech.com