Nvidia DLSS 3.5 představuje Ray Reconstruction, odšumování pomocí AI

Grafické karty Nvidia GeForce RTX už brzy budou moci využít nové verze technologie DLSS 3.5. Ta přináší odšumování pomocí AI, které je nazváno Ray Reconstruction. Výhodou této novinky má být především mnohem vyšší kvalita obrazu, neboť na výkon (počet snímků za sekundu) by to nemělo mít výraznější vliv. Sama Nvidia říká, že některým hrám to může lehce pomoci, jiným naopak lehce ublížit.

 

 

Pokud dnes využíváte Ray-Tracing, funguje to tak, že herní engine vygeneruje základ scény, tedy geometrii scény a základní materiály, přičemž RT se pak postará o všechno osvětlení, odrazy a barvy pod daným osvětlením. Ani nejsilnější RTX 4090 ale nemá takový výkon, aby mohla vyslat paprsky do všech potřebných míst scény, a tak se využívá toho, že se vysílají jen vzorky paprsků do několika míst. Pokud by se měly vysílat všude, generování jednoho snímku scény by mohlo trvat minuty až hodiny. Hra tak dostane jen základní informaci v několika pixelech o tom, jaká je výsledná barva po všech odrazech, takže výsledek je extrémně zašuměný, viz výše. Takovou hru byste určitě hrát nechtěli.

 

 

Tyto vzorky se tak použijí v další fázi k odšumování. Pixely, v nichž není informace z RT, tak jsou odšumovány více různými algoritmy, ty pracují na dvou základních principech. Jeden je tím, jak to dlouhé roky fungovalo v grafických aplikacích, kdy se více či méně inteligentně rozmývala data ze sousedních pixelů, což sice zahlazuje nepatřičné jasové a barevné změny v pixelech, ale také to přináší menší ostrost a detailnost. Tento prostorový způsob doplňuje časový. Bere se tak do úvahy to, co bylo ve scéně v předchozích snímcích, protože je dost pravděpodobné, že to bude i v tom následujícím. To má ale svá úskalí.

 

 

Jak vidíte na snímku výše, časová metoda může do snímku zanášet např. artefakty (v minulém snímku bylo na dané pozici zrcátko, teď tam není, ale předpokládá se, že tam bude, což dělá opakovaný obraz neexistujícího předmětu a duchy). Prostřední obrázek pak ukazuje, že takový způsob může mít rovněž málo dat v některých menších plochách, kde je významná změna osvětlení, ale systém nemá moc z čeho brát. Třetí obrázek pak ukazuje problém s odšumováním výrazných detailů. Tradiční systém může mít problémy s tím, aby odlišil to, zda je velká změna jasu detailem, který má být zachován, nebo šumem, který má být potlačen. Odšumování ho obvykle potlačí. Když se do toho přidá ještě čtvrtý fakt, že DLSS funguje z nižšího rozlišení, tedy tyto detaily jsou ve zdrojovém obraze ještě o to méně výrazné, je na problém zaděláno.

 

 

DLSS 3.5 na to jde s funkcí Ray Reconstruction trochu jinak. Místo ručně vytvářených algoritmů pro odšumování se na snímky aplikuje AI. Ta byla naučena na 5krát větším množství dat než DLSS 3 s důrazem na snižování šumu RT. Že AI dokáže v odšumování zázraky, to ukazují i různé grafické editory. Např. AI odšumování v Adobe Camera Raw dokáže posunout kvalitu snímků tak o 2 EV dále, což je opravdu velmi výrazný rozdíl.

 

 

Nvidia ukázala snímky ve hře Cyberpunk 2077, kde ani silná grafická karty řady RTX 4000 nedokáže titul rozběhat ve 4K v hratelných frekvencí. Ty se pohybovaly okolo 20-22 fps. DLSS 2 se Super Resolution se dostalo nejčastěji na 63-65 fps, což už je dobře hratelné, otázkou je ale kvalita. DLSS 3 do toho přidalo ještě Frame Generation, a to už hovoříme o cca 99-104 fps. Poslední DLSS 3.5 přidává ještě Ray Reconstruction a v ukázce se nejčastěji dosahovalo cca 109-113 fps. V tomto případě tak novinka hru dokonce ještě mírně zrychlila, v průměru by ale výsledky měly být podobné, některé hry to totiž může lehce zpomalit. Záleží totiž na tom, jak pomalé byly původní odšumovací metody a v některých případech může být AI rychlejší než několik tradičních odšumovacích algoritmů.

 

 

Zajímavostí je i to, že Ray Reconstruction není zdaleka omezen na GeForce RTX 4000, ale může fungovat na všech kartách GeForce RTX, tedy i na RTX 2000. Výhodu ale DLSS zdaleka nepřináší jen hráčům. Značný posun vpřed to může nabídnout i těm, kteří vytváří profesionální rendery pomocí ray-tracingu tedy s mnohem větším počtem paprsků. Tam se DLSS s RR může využít např. k zobrazení akcelerovaného náhledu výsledku scény, což Nvidia demonstrovala v aplikaci D5 Render.

 

DLSS 3.5 bude k dispozici od podzimu ve hrách Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, aplikacích Chaos Vantage, D5 Render a v NVIDIA Omniverse.

 

Zdroj: nvidia.com