Generativní AI od Flawless vymění slova, mimiku i předabuje film do cizího jazyka

Snímek Fall vypráví o dvou ženách, které vylezly na více než 600 metrů vysokou rádiovou vysílací věž, nicméně ne vše šlo podle plánu, a tak nahoře, uprostřed ničeho, uvízly. Není divu, že vyhrocená situace si vyžádala také peprný slovník, což se ale nelíbilo při udělování ratingu filmu. Aby mohl získat rating PG-13 místo původního R a byl přístupný širšímu publiku, bylo potřeba přistoupit k úpravám. Přetáčet scény nepřicházelo do úvahy z finančních i časových důvodů. A právě proto zde našel využití systém generativní AI TrueSync od londýnského startupu Flawless.

 

Our software harnesses the power of generative AI to change filmed dialogue.

TrueSync opens a new world of possibilities from fast and efficient AI reshoots to the creation of immersive, visual translations, for any language around the world.#GenerativeAI #Hollywood pic.twitter.com/Mx384s6RbD

— Flawless (@Flawlessai) January 27, 2023

 

Systém TrueSync dokáže zmapovat tváře herců a hereček, vygenerovat zvukovou stopu odpovídající nezávadným slovům a také tomu přizpůsobit tvář. Výsledek pak vypadá, jako by herečka opravdu řekla daná slova a ne, že byla vygenerována pomocí AI, a to jak obraz, tak zvuk. Systém totiž dokonce dokáže film předabovat do jiného jazyka a přizpůsobit mimiku obličeje danému jazyku. V japonštině má tak herečka dost odlišné výrazy tváře proti angličtině i proti španělštině. Myslíte si, že je možné, že se v budoucnu standardně dočkáme předabovaných filmů s hlasem původního herce v dabovaném jazyce i adekvátně upravenou mimikou tváře? Připomeňme ještě, že to není tak dávno, co Microsoft ukázal systém VALL-E, který potřebuje jen 3 sekundy zvukového záznamu k naučení se mluvy daného člověka.

 

Zdroj: petapixel.com