Intel zveřejnil ceny AI akcelerátorů Gaudi 2 a Gaudi 3, jsou výrazně levnější než Nvidia

Nvidia vládne světu akcelerace algoritmů umělé inteligence a konkurence se snaží si také ukousnout trochu z tohoto velmi lukrativního koláče. Intel to zkouší svými akcelerátory Gaudi 2 a Gaudi 3. V prezentaci k nim jsme se dozvěděli zajímavá data. Gaudi 2 AI Accelerator Kit skládající se z 8 akcelerátor Gaudi 2 a Universal Baseboard (UBB) vyjde na 65 tisíc USD (v kurzovém přepočtu 1,5 mil. Kč), což znamená 8.125 USD na akcelerátor. Zde je ale dobré říci, že jde o celý cluster včetně již zmíněné základní desky, takže ten přepočet na jeden akcelerátor není úplně přesný.

 

 

Pokud jde o obdobný kit s akcelerátory Gaudi 3, tak tady už mluvíme o ceně 125 tisíc USD (necelých 2,9 mil. Kč) a 15.625 USD na kartu. Pro srovnání, jedna karta Nvidia Blackwell B100 by měla vyjít na zhruba 35 tisíc USD. Gaudi 3 by proti Gaudi 2 měl nabídnout 2krát vyšší výkon v FP8, 4krát vyšší výkon v BF16, 2krát větší síťovou propustnost a o 50 % vyšší paměťovou propustnost.

 

 

Jedna deska s 8 akcelerátory dosahuje výkonu 14,7 TFLOPS v FP8, má 1024 GB paměti a propustnost 8,4 TB/s. Nabídka je ale mnohem širší, máme zde např. cluster se 64 deskami a 512 akcelerátory, s 512 deskami a 4096 akcelerátory a dokonce i obří model s 1024 UBB vybavenými celkem 8192 kartami Gaudi. To už se bavíme o výkonu 15 EFLOPS v FP8, 1 PB paměti a propustnosti 1229 PB/s. Intel tvrdí, že tento cluster s 8192 kartami je o 40 % rychlejší v trénování modelu GPT3-175B než Nvidia H100. 64kartový cluster pak Nvidii H100 překonává např. v inferenci modelu Llama2-70B, a to o 15 %.

 

Zdroj: wccftech.com, techradar.com