NVIDIA vypustila do světa dokument s podrobnostmi o GH100

NVIDIA už základní specifikace o GH100 do světa dávno vypustila, ale na podrobnosti jsme si museli ještě počkat. Nyní je tu příslušný whitepaper (PDF), který čítá na 70 stran a popisuje nové verze jader Tensor, architekturu jednotek SM, celou hierarchii GPU, pamětí L2 cache i hlavních HBM, nový NVLink Switch System, využití sběrnice PCIe 5.0 či různé video a I/O funkce. Je toho tak více než pro jeden článek, natož pak aktualitu. 

 

 

Co se týče výrobního procesu 4N, bohužel se nedozvíme žádné opravdové podrobnosti. Jde prostě o proces firmy TSMC vycházející ze skupiny 5nm technologií, kterým byl vytvořen čip s 80 mld. tranzistorů na ploše 814 mm², přičemž NVIDIA navíc prozradí jen to, že vlastnosti byly celkově podřízeny dosažení vyšších taktů. Toho by mohlo být dosaženo výměnou za nižší tranzistorovou hustotu, která zde činí cca 98 MTr/mm², což je skutečně výrazně méně než udávaná maximální hustota procesu TSMC N5 (cca 170 MTr/mm²). To je však pochopitelně jen teoretické maximum, které s praxí nemá nic společného, takže se nedozvíme nic o tom, co a za co tu NVIDIA vyměnila a bohužel tu také ještě ani nemáme informaci o konečných taktech, které by se měly pohybovat kolem 1,8 GHz. Zřejmě je NVIDIA ještě ladí.

 

 NVIDIA Hopper (GH100)

 

NVIDIA Ampere (GA100)

 

Víme také, že plný GH100 nese 18432 jader FP32 a po 9216 jádrech FP64 a INT32 vedle jader Tensor 4. generace. Herní čipy Ada by pak měly využívat rovněž novou verzi jader Tensor plus možná i vylepšená RT jádra, ale jak to bude s konfigurací jejich FP32 a INT32, to se ukáže. FP64 v nich ale pochopitelně

nenajdeme.  

H100 SXM5 a H100 PCIe se pak liší ve využití pamětí HBM, čili HBM3 je na první verzi s výslednou propustností přes 3 TB/s a kartová verze nese starší HBM2e s dvoutřetinovou propustností. GH100 tu využívá své 6144bitové rozhraní pro šest pamětí HBM s kapacitou 80 GB. Obě verze ale mají svých 50 MB paměti L2 cache, jejíž kapacita umožní méně frekventovanější "návštěvu" pamětí HBM. 

 

NVLink Switch System využívá novou verzi rozhraní NVLink s propustností 900 GB/s pro propojení více akcelerátorů díky využití osmnácti 25GB/s linek. To vychází na 450 GB/s, takže je zřejmé, že NVIDIA mluví o obousměrné 900GB/s propustnosti. V rámci celého systému lze propojit až 256 GPU s celkovou propustností 57,6 TB/s, které pak poskytnou výkon kolem jednoho exaFLOP (Sparse AI FP8). 

 

Rozhraní PCI Express Gen 5 x16 pak nabídne propustnost 64 GB/s oběma směry, čili celkově 128 GB/s, čili jednoduše standardní dvojnásobek oproti stejně dimenzovanému rozhraní pro Gen 4. Více informací v samotném whitepaperu.