Nvidia Chat with RTX aneb rozběhněte vlastního chatbota na své GeForce

Systémy generativní AI obvykle běží na velmi výkonných serverech v cloudu, kde k tomu vyžadují velké množství nejvýkonnějších grafických karet. Méně obsáhlé systémy AI ale mohou běžet i lokálně. Mobilní procesory v telefonech a tabletech mají jednotky pro práci se systémy umělé inteligence (NPU) už roky, nyní se tyto technologie dostávají i do moderních procesorů v noteboocích a desktopech (AMD Phoenix/Hawk Point, Intel Meteor Lake). Rozběhat takové systémy ale můžete i na GPU, k čemuž nyní Nvidia dává nový bezplatný nástroj. Uvolňuje totiž aplikaci Chat with RTX, kdy můžete vytvořit vlastního chatbota na svém počítači. Podmínkou je mít Windows 10 nebo 11, GeForce RTX 3000 nebo 4000 s minimálně 8 GB VRAM, což v podstatě platí pro všechny modely s výjimkou chystané ořezané RTX 3050 6GB a některých mobilních modelů (např. RTX 3050, RTX 3060), také jsou potřeba nejnovější verze ovladačů.

 

Chat with RTX využívá RAG (Retrieval-Augmented Generation), Nvidia TensorRT-LLM a akceleraci pomocí technologií Nvidia RTX, aby vše mohlo běžet lokálně. Uživatel tak může spojit svá lokální data na PC s open-source modely jako Mistral nebo Llama 2. Chatbota tak lze využít např. k tomu, aby rychle prohledal vaše data, soubory na úložištích, naučil se na ně a později na základě těchto dat vytvořil odpověď (Nvidia např. uvádí otázku „Jak se jmenovala restaurace, kterou mi doporučil partner, když jsme byli v Las Vegas?“). Systém na základě dat z počítače vytvoří novou odpověď, k čemuž bude potřebovat jen sekundy času. Kompatibilní je s formáty .txt, .pdf, .doc/.docx a .xml.

 

Možné je také vkládat YouTube videa, kdy Chat with RTX může z videa vytvořit odpovědi na různé otázky, na něž by člověk našel odpovědi ve videích. Příkladem mohou být např. doporučení na cestování od oblíbeného influencera nebo výcuc z návodů a jiného výukového obsahu. Poněvadž systém běží výhradně lokálně, problémem by nemělo být ani soukromí a ochrana citlivých dat uživatele.

 

Zdroj: blogs.nvidia.com