Superpočítač Frontier s AMD rozběhal LLM s bil. parametrů na 3000 kartách MI250X

Nejvýkonnějším superpočítačem na světě a dosud jediným pracujícím s Exascale je Frontier od ORNL (jeho 8,7 milionů jader dosahuje 1,194 ExaFLOPS). Ten využívá architekturu HPE Cray EX a byl postaven na procesorech AMD EPYC 3. generace, akcelerátorech AMD Instinct MI250X a sběrnic Slingshot-11. Obojí (CPU i GPU) už dnes sice není nejnovějším kusem hardwaru, přesto si stále drží svou první pozici (v případě efektivity je pak Frontier na druhém místě). Na tomto superpočítači se povedlo díky vyladění hyperparametrů rozběhat trénování obřího LLM s bilionem parametrů (tisíc miliard), což je srovnatelné s rozsahem modelu GPT-4.

 

Jenže obvykle se takto obrovské modely trénují na desítkách tisíc GPU, zatímco zde se vědcům povedlo využít jen pouhých 3000 akcelerátorů MI250X. Uvážíme-li, že Frontier má hodně přes 37 tisíc MI250X, je zde prostor pro ještě mnohem větší modely. Připomeňme ještě, že AMD bude v první polovině letošního roku dodávat už i novou generaci akcelerátorů Instinct MI300X. Mezi prvními zákazníky bude společnost Oracle.

 

Zdroj: wccftech.com, arxiv.org