Nvidia představuje HGX H200, akcelerátor s pamětmi HBM3e a 4,8 TB/s

V srpnu představila společnost Nvidia nový akcelerátor GH200 Grace Hopper a nyní přichází na řadu HGX H200. Tento model nahrazuje stávající variantu H100, která se stala nesmírně populární pro trénování a běh různých AI systémů, zejména tedy generativní AI. Nová generace přináší především výrazně zvýšenou kapacitu paměti. Z původních 80 až 96 GB paměti (dle formátu) se nyní stává 141 GB. Osazeno je sice 144 GB, ale část se nevyužívá. Navíc jde nově o paměť HBM3e, tedy s vyšší datovou propustností, takže se z 3,35 TB/s dostáváme dokonce na 4,8 TB/s (což je mimochodem 2,4krát tolik, co nabízí model A100).

 

Výkon v inferenci modelu Llama 2 se 70 mld. parametry se proti H100 téměř zdvojnásobil a očekává se další zlepšení s budoucími softwarovými aktualizacemi (část zrychlení je dána hardwarovými změnami, část pak softwarovými). HGX H200 bude k dispozici jako 4 a 8kartové řešení, přičemž bude softwarově i hardwarově kompatibilní s H100. Současně je nabízeno i jako součást již zmíněného a představeného GH200 Grace Hopper. Mezi prvními, kdo chce H200 v příštím roce (nejdříve od druhého čtvrtletí) nasadit, je Amazon Web Services, Google Cloud, Microsoft Azure, Oracle Cloud, CoreWeave, Lambda a Vultr. 8kartové řešení má dle Nvidie nabídnout obrovský výkon 32 PFLOPS v FP8 a 1,1 TB paměti.

 

Zdroj: hothardware.com, nvidia.com