Společnost Meta (kdysi Facebook) oznámila uvolnění nové generace LLM nazvaného Llama 3. Ten nyní pohání i nového chatbota na stránce Meta.ai, toho si ale některé země moc neužijí včetně nás.
Co je RTX AI
Web Světhardware.cz přináší velký přehled o NVIDIA RTX AI ve vašem počítači a popisuje spolehlivou a bezpečnou cestu, jak si na svém počítači vytvořit lokální umělou inteligenci.
Na trhu je několik hráčů, kteří vyvíjí velmi pokročilé LLM, modely pro systémy umělé inteligence, které mají i stovky miliard parametrů. Jedním z nich je i společnost Meta (kdysi Facebook), která nyní uvolnila svůj nejnovější LLM Llama 3 jako open-source. Ten bude nabízen v rámci systémů AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM a Snowflake, přičemž je podporován na hardwarových platformách AMD, AWS, Dell, Intel, NVIDIA a Qualcomm. Společnost současně vytvořila AI asistenta na stránce Meta.ai, nicméně to prozatím neplatí pro nás (dostupný zatím v USA, Kanadě, Austrálii a několika afrických zemích).
Llama 3 je nyní dostupná ke stažení ve verzích 8B a 70B, tedy s 8 nebo 70 miliardami parametrů, přičemž pro trénování Meta nashromáždila 15 bilionů tokenů. Pro angličtinu ale bylo celých 95 % z nich, zatímco zbývajících 5 % si rozděluje dalších 30 jazyků. Současně ale pracuje také na verzi Llama 3-400B se 400 miliardami parametrů, která bude multimodální, bude tedy podporovat provázanost mezi textem a obrazem. Tento model by se měl představit ještě letos.
Ke trénování se využívají GPU s výkonem 400 TFLOPS v používaných datových typech. Trénování bylo nejefektivnější v případě, že se využívá 16 tisíc GPU. Nakonec se ale využívají dva clustery, kde každý z nich má 24 tisíc GPU. Proti Llama 2 je nyní trénování AI ve výsledku 3krát efektivnější. Llama 3 by měla být lepší ve zdůvodňování nebo třeba psaní zdrojových kódů. Dobře by měla zvládat i historické znalosti nebo úlohy STEM.
