Aktuality  |  Články  |  Recenze
Doporučení  |  Diskuze
Grafické karty a hry  |  Procesory
Storage a RAM
Monitory  |  Ostatní
Akumulátory, EV
Robotika, AI
Průzkum vesmíru
Digimanie  |  TV Freak  |  Svět mobilně

Intel zveřejnil ceny AI akcelerátorů Gaudi 2 a Gaudi 3, jsou výrazně levnější než Nvidia

14.6.2024, Milan Šurkala, aktualita
Intel zveřejnil ceny AI akcelerátorů Gaudi 2 a Gaudi 3, jsou výrazně levnější než Nvidia
Intel v prezentaci zveřejnil další data o svých akcelerátorech algoritmů umělé inteligence (a nejen nich), současně jsme se také dozvěděli oficiální cenu starší řady Gaudi 2 i novější generace Gaudi 3.
Nvidia vládne světu akcelerace algoritmů umělé inteligence a konkurence se snaží si také ukousnout trochu z tohoto velmi lukrativního koláče. Intel to zkouší svými akcelerátory Gaudi 2 a Gaudi 3. V prezentaci k nim jsme se dozvěděli zajímavá data. Gaudi 2 AI Accelerator Kit skládající se z 8 akcelerátor Gaudi 2 a Universal Baseboard (UBB) vyjde na 65 tisíc USD (v kurzovém přepočtu 1,5 mil. Kč), což znamená 8.125 USD na akcelerátor. Zde je ale dobré říci, že jde o celý cluster včetně již zmíněné základní desky, takže ten přepočet na jeden akcelerátor není úplně přesný.
 
Intel Gaudi akcelerátor
 
Pokud jde o obdobný kit s akcelerátory Gaudi 3, tak tady už mluvíme o ceně 125 tisíc USD (necelých 2,9 mil. Kč) a 15.625 USD na kartu. Pro srovnání, jedna karta Nvidia Blackwell B100 by měla vyjít na zhruba 35 tisíc USD. Gaudi 3 by proti Gaudi 2 měl nabídnout 2krát vyšší výkon v FP8, 4krát vyšší výkon v BF16, 2krát větší síťovou propustnost a o 50 % vyšší paměťovou propustnost.
 
Intel Gaudi akceleratory
 
Jedna deska s 8 akcelerátory dosahuje výkonu 14,7 TFLOPS v FP8, má 1024 GB paměti a propustnost 8,4 TB/s. Nabídka je ale mnohem širší, máme zde např. cluster se 64 deskami a 512 akcelerátory, s 512 deskami a 4096 akcelerátory a dokonce i obří model s 1024 UBB vybavenými celkem 8192 kartami Gaudi. To už se bavíme o výkonu 15 EFLOPS v FP8, 1 PB paměti a propustnosti 1229 PB/s. Intel tvrdí, že tento cluster s 8192 kartami je o 40 % rychlejší v trénování modelu GPT3-175B než Nvidia H100. 64kartový cluster pak Nvidii H100 překonává např. v inferenci modelu Llama2-70B, a to o 15 %.
 


Autor: Milan Šurkala
Vystudoval doktorský program v oboru informatiky a programování se zaměřením na počítačovou grafiku. Nepřehlédněte jeho seriál Fotíme s Koalou o základech fotografování.