Trénování umělé inteligence vyžaduje extrémně výkonný hardware. Nejen pro tyto účely vyvinula společnost Nvidia nové superpočítače DGX GH200. Ten využívá výkonných čipů Nvidia GH200 Grace Hopper Superchip a Nvidia NVLink Switch System. Ten umožňuje, aby se celý systém DGX GH200 tvářil jako jeden velký celek, zatímco u předchozí generace takto přes NVLink šlo bez výkonnostní penalizace spojit maximálně 8 čipů. Datová propustnost přes NVLink se 48× zvýšila, což znamená, že je výsledkem masivní superpočítač pro vývoj AI systémů, který uživatelům nabízí stejnou jednoduchost programování, jako by šlo o jedno jediné GPU.
Grace Hopper Superchip má v CPU části (Grace CPU) 72 jader ARM Neoverse V2, přičemž každé z nich má 64 kB instrukční a 64 kB datové L1 cache, také je každé jádro vybavené 1 MB L2 cache. Pokud jde o cache L3, tak ta je společná a její kapacita činí 117 MB. Využity jsou paměti LPDDR5X s propustností až 512 GB/s, její kapacita může dosahovat 480 GB. Na jeden procesor tu je možnost vytvoření 4 spojení PCIe Gen5 x16.
GPU část tohoto superčipu (Hopper H100 GPU) zvládá dosáhnout výkonu 67 TFLOPS v FP32, v TF32 Tensor Core je to 494 TFLOPS, v FP8 1979 TFLOPS (3958 TFLOPS s využitím řídkých matic). Máme tu až 96 GB paměti HBM3 s propustností 4 TB/s, což desktopové karty jako RTX 4090 překonává více než 3násobně. NVLink-C2C mezi GPU a CPU dosahuje propustnosti 900 GB/s. Nvidia hovoří, že jde o 7krát rychlejší spojení než pomocí sběrnice PCIe, a to vše při pětinové spotřebě komunikačního rozhraní. TDP superčipu (CPU+GPU+paměť) je programovatelná mezi 450 až 1000 W. Toto vše proti předchozí generaci zvýší rychlost trénování AI 9násobně, zpracovávání algoritmů AI dokonce 30krát.
A nyní zpět k superpočítači DGX GH200. Ten může spojit až 256 těchto superčipů, což přináší obrovský výkon 1 exaFLOPS. Superpočítač může být vybaven až 144 TB sdílené paměti (480 GB z CPU + 96 GB z GPU, to vše 256krát). Prvními společnostmi a projekty, které budou mít přístup k DGX GH200, bude Google Cloud, Meta a Microsoft. Jeden superpočítač si postaví Nvidia i sama pro sebe a bude ho využívat k vývoji a pro své vlastní vývojářské týmy. Bude se jmenovat Nvidia Helios, přičemž se bude skládat ze 4 superpočítačů DGX GH200 najednou. Ty budou spojeny přes sběrnici Nvidia Quantum-2 InfiniBand. Výsledek tak bude mít 1024 čipů Grace Hopper Superchip.
Zdroj: nvidia.com, techspot.com
