Nvidia srovnala CPU a GPU pro trénování LLM: 150× lepší na jednotku spotřeby energie

Jensen Huang, šéf Nvidie, na veletrhu Computex 2023 ukázal, jak výkonné jsou grafické karty ve srovnání s CPU pro trénování modelů LLM, na nichž jsou založeny různé systémy AI jako např. ChatGPT a podobné. Pro srovnání tu jako základ zmínil superpočítač pro trénování jednoho jediného LLM pomocí CPU. Takový počítač by měl 960 CPU serverů, stál by 10 mil. USD a pro trénování by potřeboval 11 GWh energie.

 

 

Prvně se podíváme na stejnou cenu. Pokud by se ale o trénování měla postarat GPU, za 10 mil. USD by bylo možné postavit 48 GPU serverů. Jenže ty by měly takový výkon a spotřebu, že by zvládly natrénovat 44 různých LLM, přitom by jejich spotřeba navzdory tomu byla výrazně nižší a dosahovala jen 3,2 GWh. Jinými slovy řečeno, GPU jsou na jednotku spotřeby více než 150krát výkonnější (44*11/3,2). Huang přidal ještě další dva příklady, jak se na to dá dívat.

 

Za druhé se podívejme na stejnou spotřebu. Pokud bychom měli pomocí GPU spotřebovat 11 GWh energie jako v prvním případě, tak bychom potřebovali 172 GPU serverů a stálo by nás to sice výrazně více, a to 34 mil. USD, nicméně bychom natrénovali 150 LLM. Tady opět vidíme onen 150krát vyšší výkon na jednotku spotřeby.

 

To jsme první případ srovnávali v pohledu cenovém a energetickém, nicméně srovnat lze také to, co bychom potřebovali v případě GPU na natrénování jednoho jediného LLM. Tedy se za třetí podívejme na stejný výstup (natrénování jednoho LLM). Na to by nám stačily pouhé 2 GPU servery za 400 tisíc USD místo 10 milionů USD jako u CPU a spotřeba by činila 0,13 GWh (znovu připomeňme, CPU na natrénování jednoho LLM potřebují 11 GWh).

 

Zdroj: wccftech.com