Meta představuje Llama 3, nové LLM bude s až 400 miliardami parametrů
19.4.2024, Milan Šurkala, aktualita
![Meta představuje Llama 3, nové LLM bude s až 400 miliardami parametrů](meta-predstavuje-llama-3-nove-llm-bude-s-az-400-miliardami-parametru/60608/img/meta-ai-logo-800.webp)
Společnost Meta (kdysi Facebook) oznámila uvolnění nové generace LLM nazvaného Llama 3. Ten nyní pohání i nového chatbota na stránce Meta.ai, toho si ale některé země moc neužijí včetně nás.
Na trhu je několik hráčů, kteří vyvíjí velmi pokročilé LLM, modely pro systémy umělé inteligence, které mají i stovky miliard parametrů. Jedním z nich je i společnost Meta (kdysi Facebook), která nyní uvolnila svůj nejnovější LLM Llama 3 jako open-source. Ten bude nabízen v rámci systémů AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM a Snowflake, přičemž je podporován na hardwarových platformách AMD, AWS, Dell, Intel, NVIDIA a Qualcomm. Společnost současně vytvořila AI asistenta na stránce Meta.ai, nicméně to prozatím neplatí pro nás (dostupný zatím v USA, Kanadě, Austrálii a několika afrických zemích).
![Llama 3 výkon](meta-predstavuje-llama-3-nove-llm-bude-s-az-400-miliardami-parametru/60608/img/llama-3-performance.webp)
Llama 3 je nyní dostupná ke stažení ve verzích 8B a 70B, tedy s 8 nebo 70 miliardami parametrů, přičemž pro trénování Meta nashromáždila 15 bilionů tokenů. Pro angličtinu ale bylo celých 95 % z nich, zatímco zbývajících 5 % si rozděluje dalších 30 jazyků. Současně ale pracuje také na verzi Llama 3-400B se 400 miliardami parametrů, která bude multimodální, bude tedy podporovat provázanost mezi textem a obrazem. Tento model by se měl představit ještě letos.
Ke trénování se využívají GPU s výkonem 400 TFLOPS v používaných datových typech. Trénování bylo nejefektivnější v případě, že se využívá 16 tisíc GPU. Nakonec se ale využívají dva clustery, kde každý z nich má 24 tisíc GPU. Proti Llama 2 je nyní trénování AI ve výsledku 3krát efektivnější. Llama 3 by měla být lepší ve zdůvodňování nebo třeba psaní zdrojových kódů. Dobře by měla zvládat i historické znalosti nebo úlohy STEM.
Zdroj: ai.meta.com