Umělá inteligence Apple ReALM překoná i GPT-4, lépe chápe zájmena

Poslední dobou se hodně mluví o Applu a jeho výrazném směřování na AI, což je oblast, kterou v posledních letech poněkud zanedbával. V nedávném vědeckém článku prezentoval metody, jak šetřit paměť a umožnit běh AI i s menší pamětí RAM, také se mluvilo o tom, že si licencoval články z různých médií, aby měl data pro trénování. Také jsme slyšeli o tom, že nové procesory Apple A18 a M4 mají mít ještě podstatně výkonnější Neural Engine než doposud, ale také to, že vývoj vlastní AI nestíhá a patrně využije konkurenčních systémů jako Google Gemini. Kde přesně se teď vlastně Apple nachází a jaký chatbot se vlastně objeví v nových iPhonech 16, to není moc jasné. Víme ale, že vlastní vývoj probíhá a nedávno se objevil vědecký článek, který pojednával o AI nazvané ReALM.

 

Apple v článku mluví především o tom, že moderní LLM jsou sice výkonné a schopné dosáhnout velmi slušných výsledků, občas ale mají problém s chápáním významu zájmen, tedy ke kterému objektu se dané zájmeno vztahuje. Jeho ReALM se soustředí především na toto, neboť používání zájmen je v běžné mluvě dost časté a systém musí pochopit, o čem uživatel mluví, aniž by v každé větě explicitně zmiňoval, co má konkrétně na mysli. Jednalo se např. o příkazy, které obsahovaly zájmena s relativními pozicemi, příkladem mohou být např. obrázky firem a příkaz "zavolej do té na Main Street". Ukázkami ale mohou být i příkazy jako "naviguj mě k druhé zespodu" nebo "přehraj to", kde je nutné poznat, co je to "to", které má být přehráno (hudba, video, které konkrétně?). Podobně tak je třeba nutné poznat z věty "zavolej mu", co má přesně udělat. Systém tak musí chápat, že musí najít telefonní číslo, dále poznat, koho telefonní číslo to má být (tedy toho, kdo je schován pod slovem "mu"), a pak pochopitelně začít toto číslo vytáčet.

 

 

Výsledky byly velmi slibné. Poněvadž systém nemusel být trénován na hodně znalostí jako ChatGPT, ale spíše na běžné příkazy, i ReALM-80M s pouhými 80 miliony parametrů překonával GPT-3.5, který jich má 175 miliard. Srovnatelný byl tak spíše s GPT-4, který má 1,5 bilionu parametrů (1500 miliard), některé verze ho spíše překonávaly. Apple totiž testoval ReALM také ve verzích 250M, 1B a 3B.

 

Zdroj: arxiv.org, tomsguide.com