AMD Ryzen AI MAX+ 395 ve velkých LLM poráží i RTX 5080, v DeepSeeku-R1 70B je 3× lepší

V lednu představilo AMD výkonné mobilní procesory AMD Ryzen AI Max 300 řady Strix Halo. Ty jsou zajímavé svým velmi výkonným GPU Radeon 8060S se 40 CU a taktem 2900 MHz, alespoň co se týče modelu Ryzen AI Max+ 395. Toto 16jádrové procesorové monstrum dosahuje taktu CPU až 5,1 GHz, má 16 MB L2 cache a 64 MB L3 cache, jeho TDP je pak 55 W, přičemž se dá konfigurovat v rozsahu 45-120 W. I při 55W TDP ale dokáže úplně roznést na kopytech výkon GeForce RTX 5080 s 16 GB VRAM a 360W TGP. Pochopitelně to neplatí pro hry, ale jen pro specifické podmínky, kdy přijde vhod velké množství paměti.

 

Takovými podmínkami může být práce s umělou inteligencí a velkými LLM, která vyžaduje obrovské množství paměti. Tam se už ukázalo, že Apple Mac Studio v případě využití procesoru M3 Ultra a 512GB sdílené paměti dokáže výrazně překonávat i GeForce RTX 5090, kterých by pro uložení stejného modelu bylo potřeba zhruba 13. Pak by ale taková parta karet RTX 5090 naopak úplně rozdrtila Apple. A něco podobného nyní ukazuje i AMD.

 

 

To zveřejnilo prezentaci výkonu svého procesoru Ryzen AI Max+ 395 ve srovnání s výše zmíněnou RTX 5080, která je pochopitelně ve hrách výrazně výkonnější. Mluvíme tu totiž dokonce o desktopové 360W variantě. Když se ale začneme bavit o AI, situace se postupně mění. V případě, že se LLM vejde do VRAM paměti na kartě, GeForce docela nepřekvapivě vítězí podobně, jako má výrazné prvenství ve hrách. Např. v DeepSeeku-R1 14B 4-bit má AMD jen 37 % (0,37×) výkonu karty GeForce.

 

Jenže když se model do VRAM karty nevleze, tedy vyžaduje více než 16 GB, začíná mobilní procesor s pouhými 55W TDP vyhrávat. Už v LLM DeepSeek-R1 32B 4-bit je AMD o 23 % výkonnější (tedy 1,23× výkonu RTX 5080). To postupně roste a např. ve variantě 32B 8-bit je to už velmi pěkných 151 % výkonu navíc (tedy 2,51× výkonu) a v 70B 4-bit je pak AMD Ryzen AI Max+ 395 výkonnější o 205 % (tedy podává více než 3násobný výkon).

 

Tohle pramení z toho, že systém může být osazen až 128 GB unifikované paměti LPDDR5x-8000 s 256bitovou sběrnicí. Až 96 GB může být alokováno jako VRAM díky funkci Variable Graphics Memory. Tím zastíní i RTX 5090, která má "pouhých" 32 GB VRAM a rovnat se takovému notebooku může až profesionální karta RTX Pro 6000.

 

 

AMD to srovnalo i s konkurenčním notebookem s 32 GB RAM a procesorem Intel Core Ultra 7 258V (Lunar Lake) s GPU Arc 140V. Tato architektura procesorů má integrovanou RAM, takže více než 32 GB mít nemůže. To AMD prozatím hodně nahrává. Nepoužilo notebook s novými Core Ultra 200 HX a RTX 5000, které se ještě neprodávají. V malých modelech bylo AMD zhruba na 2,1-2,2× vyšším výkonu v počtu tokenů za sekundu. Pokud jde o dobu do prvního tokenu, zde to bylo 4× až 12,2× rychleji.

 

 

Zdroj: wccftech.com