Aktuality  |  Články  |  Recenze
Doporučení  |  Diskuze
Grafické karty a hry  |  Procesory
Storage a RAM
Monitory  |  Ostatní
Akumulátory, EV
Robotika, AI
Průzkum vesmíru
Digimanie  |  TV Freak  |  Svět mobilně

Nvidia srovnala CPU a GPU pro trénování LLM: 150× lepší na jednotku spotřeby energie

3.6.2023, Milan Šurkala, aktualita
Nvidia srovnala CPU a GPU pro trénování LLM: 150× lepší na jednotku spotřeby energie
Společnost Nvidia na Computexu 2023 srovnala výkony a spotřeby různých řešení pro trénování modelů LLM, které jsou využívány v systémech AI. GPU je na jednotku spotřeby více než 150krát výkonnější.
Jensen Huang, šéf Nvidie, na veletrhu Computex 2023 ukázal, jak výkonné jsou grafické karty ve srovnání s CPU pro trénování modelů LLM, na nichž jsou založeny různé systémy AI jako např. ChatGPT a podobné. Pro srovnání tu jako základ zmínil superpočítač pro trénování jednoho jediného LLM pomocí CPU. Takový počítač by měl 960 CPU serverů, stál by 10 mil. USD a pro trénování by potřeboval 11 GWh energie.
 
Nvidia logo
 
Prvně se podíváme na stejnou cenu. Pokud by se ale o trénování měla postarat GPU, za 10 mil. USD by bylo možné postavit 48 GPU serverů. Jenže ty by měly takový výkon a spotřebu, že by zvládly natrénovat 44 různých LLM, přitom by jejich spotřeba navzdory tomu byla výrazně nižší a dosahovala jen 3,2 GWh. Jinými slovy řečeno, GPU jsou na jednotku spotřeby více než 150krát výkonnější (44*11/3,2). Huang přidal ještě další dva příklady, jak se na to dá dívat.
 
Za druhé se podívejme na stejnou spotřebu. Pokud bychom měli pomocí GPU spotřebovat 11 GWh energie jako v prvním případě, tak bychom potřebovali 172 GPU serverů a stálo by nás to sice výrazně více, a to 34 mil. USD, nicméně bychom natrénovali 150 LLM. Tady opět vidíme onen 150krát vyšší výkon na jednotku spotřeby.
 
To jsme první případ srovnávali v pohledu cenovém a energetickém, nicméně srovnat lze také to, co bychom potřebovali v případě GPU na natrénování jednoho jediného LLM. Tedy se za třetí podívejme na stejný výstup (natrénování jednoho LLM). Na to by nám stačily pouhé 2 GPU servery za 400 tisíc USD místo 10 milionů USD jako u CPU a spotřeba by činila 0,13 GWh (znovu připomeňme, CPU na natrénování jednoho LLM potřebují 11 GWh).
 


Autor: Milan Šurkala
Vystudoval doktorský program v oboru informatiky a programování se zaměřením na počítačovou grafiku. Nepřehlédněte jeho seriál Fotíme s Koalou o základech fotografování.
Doporučujeme náš velký přehled desktopových grafických čipů.