Umělá inteligence je v poslední době velkým tématem. Pro její trénování se v drtivé většině případů používají grafické a výpočetní karty Nvidie, nicméně pro běh se používají různá další NPU (příp. NIPU - Neural Inference Processing Unit), asi nejčastěji se s nimi setkáváme v telefonech. A právě do oblasti běhu AI algoritmů míří nová karta společnosti IBM se jménem NorthPole. Tato karta tedy není určena pro trénování algoritmů AI, ale jen k jejich běhu (tedy inferenci). V trénování tak prozatím neochvějnou pozici Nvidie neohrozí, ale pro běh natrénovaných algoritmů by už mohla. Vtip je totiž v paměťovém systému karty. Zatímco většina počítačů běží na von Neumannově modelu s odděleným procesorem a pamětí, NorthPole má paměť přímo v čipu, což výrazně snižuje latence.
Procesor je vyráběn 12nm procesem, což je proti dnešním nejlepším akcelerátorům už nemalý výlet do minulosti. Najdeme tu 22 mld. tranzistorů, přičemž Nvidia H100 jich má 80 mld. Je zde 256 jader schopných zpracovat 2048 operací na jádro v 8bitové přesnosti, počet se může zdvojnásobit ve 4 bitech nebo zečtyřnásobit ve 2 bitech. IBM pak hovoří o schopnosti dosáhnout až 839 TOPS. Zajímavé je také to, že zatímco H100 běží v Boostu na frekvenci okolo 1,8 GHz, NorthPole má takt jen 400-425 MHz. Přesto dokázal při běhu modelu ResNet50 dosáhnout zpracování 42,5 tisíc obrázků za sekundu, čímž překonal Nvidii A100 (30,8 tisíc) a byl zhruba na polovině Nvidie H100 (81,3 tisíc).
Potíž pro Nvidii je ale v tom, že zatímco H100 na toto potřebuje 700 W, NorthPole si vystačil s pouhými 74 W a dokáže fungovat i s napájením jen přes PCIe sběrnici (podporuje ale přídavné 150W napájení). Ve výsledku to znamená 5krát lepší efektivitu a proti 12nm GPU nebo 14nm CPU je efektivita řádově vyšší (až 25krát). Využití se plánuje především pro AI systémy pracující s obrazem, tedy detekci objektů, segmentaci obrazu, klasifikaci videa, akcelerátor by měl být ale schopen i rozeznávat řeč nebo zpracovávat přirozený jazyk. GPT-4 na tom ale nepoběží.
