Komerční prezentace
Registrace uživatele

Přihlašte se k odběru informací, novinek, získejte přístup do diskuzního fóra.

Vesmír č. 10
Vesmír č. 10
Toto číslo vychází
2. 10. 2017
Novinky
Zdarma jedno celé číslo Vesmíru v pdf.
• Říjnové číslo Vesmíru
reklama

Renesance kresleného filmu

< předchozí | seriál: Počítačová grafika | další >
Publikováno: Vesmír 94, 576, 2015/10

Až donedávna existovaly dvě samostatné techniky pro tvorbu animovaných filmů. První byla ručně kreslená animace (z tisíců rozkreslených 2D obrázků), druhou animace 3D digitálních modelů vytvořených v počítači. Kombinace těchto metod se zdála nemožná, ale díky pokročilým nástrojům počítačové grafiky to už neplatí. Techniku digitální 3D animace lze spojit s volností ruční kresby.

Když se řekne animovaný film, každý si dnes představí zejména 3D počítačové animace, jaké produkují význačná světová studia Disney nebo DreamWorks. Diváci okouzlení nejnovějšími vymoženostmi počítačové grafiky se do nového média zamilovali natolik, že se ručně kreslená animace z kin nenápadně vytratila.

Samotní animátoři ale dobře vědí, že příchod 3D neznamenal jen pokrok, protože jim výrazným způsobem omezil možnost expresivního vyjádření. U ruční kresby má totiž výtvarník naprostou svobodu a postavička, která se ukáže na prvním snímku, nemusí nutně korespondovat se ztvárněním na snímcích následujících. U 3D animace platí úplný opak. Pracovní postup se podobá spíše animaci loutkové a výtvarník musí respektovat jistá fyzikální omezení pro tvar a topologickou konzistenci virtuální „loutky“, která je v počítači reprezentována jako trojrozměrný objekt, jehož základní strukturu nelze v průběhu animace jednoduše měnit. Přes značné úsilí a obratnost animátorů tak i v dnešní době působí 3D animace oproti té klasické, ručně kreslené, stále spíše toporně; postrádá vyjadřovací prostředky typické pro ruční kresbu. Diváci dnes nechodí do kina ani tak na samotnou animaci, jako spíše na vizuální efekt a celkově atraktivní vzhled.

Díky výraznému pokroku ve výzkumu algoritmů pro výpočet globálního osvětlení ve 3D scéně a dostupnosti vysokého výpočetního výkonu lze dnes prakticky bez námahy generovat syntetické obrazy, jež věrně zobrazují realistické světelné efekty a materiály. Když divákovi necháme vybrat, zda se bude dívat na video, v němž je například pohyb kočky ztvárněn sice detailní ručně kreslenou animací, avšak tělo je jen jednoduše vybarveno jedinou barvou, a následně na poměrně jednoduchou 3D animaci, v níž je kočka pokryta realistickou texturou s materiálem simulujícím vzhled chlupů a osvětlena tak, že vynikají jemné přechody světel a stínů, není obtížné si domyslet, jak takový výběr dopadne. Vizuální bohatost jednoduše zvítězí nad svobodou ztvárnění pohybu.

Změť obrazových bodů

Dalo by se podobně atraktivního vzhledu, jaký má 3D animace, docílit i v případě ruční kresby (obr. 1)? Dalo, ale s využitím současných nástrojů jen po vynaložení nesmírného úsilí. Každý ručně kreslený snímek (tj. 2D kresba) by se totiž musel přesně vymodelovat ve 3D tak, aby z hlediska proporcí a struktury korespondoval s původní kresbou, zároveň obsahoval zatím neznámou hloubkovou informaci a navíc byl konzistentní s předchozím snímkem animace, abychom měli informaci o tom, kde se zvolená část těla na novém snímku nachází. Přestože byly provedeny pokusy na kratších sekvencích, nikdo si kvůli obrovské pracnosti takového postupu nedokázal představit, že by se tímto způsobem 3D animace rutinně tvořila.

Velkou výhodou 3D animace je fakt, že výtvarník nejprve animovanou postavičku detailně vymodeluje ve virtuálním prostředí počítače a následně ji rozpohybuje. Díky tomu stroj naprosto přesně „ví“, kde má postavička ruku, jaký má tato ruka tvar, zda se nachází před nebo za tělem a kam se přesune v následujícím animačním snímku. Díky těmto klíčovým informacím lze následně postavičku zobrazit v libovolném úhlu pohledu, vypočítat realistické osvětlení a nanést materiály, které se budou pohybovat konzistentně s pohybem modelu. V případě sekvence ručních kreseb je ale situace jiná. Stroj ji „vnímá“ jako změť velkého množství obrazových bodů, uložených v pravidelných rastrech bez jakékoliv další informace. Abychom získali v čase konzistentní 3D reprezentaci zobrazeného objektu, potřebujeme tuto změť nějak interpretovat.

Existují algoritmy, které dokážou 3D model z obrazu rekonstruovat. Pracují však s předpokladem, že známe virtuální pozici kamery, typ projekce a pozice pravých úhlů či rovnoběžných čar v obraze. Takové předpoklady mohou být splněny, pokud na vstupu máme fotografie reálného světa nebo geometricky přesné výkresy, kterým jsou však ruční kresby velmi vzdálené. 3D rekonstrukce z ručních kreseb proto představovala až donedávna prakticky neřešený problém. Ten se stal hlavní výzkumnou výzvou pro náš tým na katedře počítačové grafiky a interakce na ČVUT FEL, který se zabývá analýzou kresleného filmu již řadu let a stojí například za projektem obarvení černobílého večerníčku O loupežníku Rumcajsovi.

Hledání třetího rozměru

Na prestižní konferenci SIGGRAPH 2014 jsme prezentovali výsledek svého několikaletého výzkumu. Jedná se o metodu Ink-and- Ray, která umožní dodat kreslenému filmu vzhled běžný pro 3D animace (obr. 1c). Metoda využívá faktu, že pro člověka je 3D interpretace ručně kresleného obrázku velmi snadným úkolem, neboť má v mozku uloženu velkou databanku informací, která stroji chybí. Úkolem je tedy nalézt co možná nejjednodušší způsob, jak tuto informaci přenést z lidské mysli do paměti stroje.

Hlavní inspirací nové techniky je optický klam, který se po tisíciletí využívá v sochařství: basreliéf (nízký reliéf, v němž motiv jen mírně vystupuje z pozadí, obr. 2). Z předního pohledu vypadá basreliéf plasticky a většina složitějších světelných efektů, jako například vzájemné zastínění či lesklé odrazy, se věrně zachovává. Divák si často ani nepovšimne, že vlastní hloubková informace je výrazným způsobem zborcená. Tento fakt většinou odhalí až při pohledu z boku. Basreliéf nicméně zachová relativní vztahy v hloubce. A ty jsou pro lidský vizuální systém podstatné. Pro člověka je poměrně obtížné odhadnout absolutní hloubku v obraze, ale relativní vztahy chápe díky známé sémantice velice rychle.

Postačí tedy, pokud výtvarník naznačí, kde se v obraze nacházejí sémanticky významné celky, a k nim určí relativní vztahy v hloubce (obr. 3). Tento jednoduchý vstup nepředstavuje pro výtvarníka velkou kognitivní zátěž, ale dramatickým způsobem zjednoduší celý proces rekonstrukce, neboť plně postačí k vytvoření basreliéfové aproximace ruční kresby. Tu lze dále využít k výpočtu fyzikálně založené simulace šíření světla ve scéně vedoucí k obrázkům, které by se v realitě daly přirovnat k fotografiím basreliéfů. Využívá se faktu, že divák nemá možnost uvidět objekt z jiného pohledu, a tím odpadá i nutnost jeho kompletní 3D rekonstrukce. Ve výsledku lze tedy jen těžko odlišit obrázek vytvořený s použitím reálného modelu od obrázku vytvořeného touto aproximací (obr. 4).

„Líný štětec“ místo „plechovky barvy“

Důležitou součástí procesu 3D rekonstrukce je specifikace sémanticky významných oblastí v obraze. Tu lze nejsnáze provést jejich obarvením. Přestože by se mohlo zdát, že barvení ručně kreslených obrázků je triviální záležitostí, opak je pravdou. Běžně dostupné techniky (například nástroj „plechovka barvy“, přítomný ve všech běžných programech pro úpravu obrázků) jsou pro ruční kresbu naprosto nevyhovující. Hlavním zdrojem komplikací jsou zejména nedotažené kontury, velké množství malých regionů, jemné jasové přechody na hranicích kontur a také přesnost pozicování nástroje.

Všechny tyto problémy úspěšně řeší námi vyvinutá metoda LazyBrush („Líný štětec“, obr. 5, 6, 7). Její hlavní výhodou je, že na rozdíl od jednoduchých heuristických postupů formuluje problém barvení ruční kresby jako optimalizační úlohu, pro kterou lze v určitých případech nalézt globálně optimální řešení nebo jeho aproximaci. V řešení figuruje problém hledání minimálního řezu v grafu, pro který sice existují rychlé polynomiální algoritmy, ale pro rozsáhlé grafy, které metoda LazyBrush staví, je jejich výpočet přesto tak časově náročný, že je v praxi nelze použít. Pro zachování interaktivní odezvy proto bylo nutné vyvinout nový algoritmus, jenž by výpočet výrazným způsobem zrychlil. Vznikl tak algoritmus GridCut (www.gridcut.com), jehož veřejně dostupná implementace patří v současné době k nejrychlejším na světě a byla patentována v USA.1) Vlastní metoda LazyBrush využívající algoritmus GridCut byla v praxi pilotně ověřena při barvení večerníčku Dr. Animo a nedávno byla integrována do profesionálního nástroje TVPaint Animation Pro 11.

Aby se textura pohybovala s obrazem…

Podobně důležité jako rozdělení do sémantických oblastí je i rozpoznání korespondencí mezi jednotlivými snímky animace (obr. 8). Znalost toho, jak např. čepice na jednom snímku změnila svůj tvar a pozici na dalším snímku, umožní přenášet texturu tak, že sleduje pohyb vybrané části obrazu a dodává dojem časoprostorové konzistence. Jinak by zůstala stát na místě a vyvolávala dojem „sprchového závěsu“, kde kapky vody stékají, ale průhledný závěs stojí nehnutě. Registrace se může hodit také v případě, kdy je třeba přenést na nový snímek anotace zadané výtvarníkem v předchozím snímku, tj. například čáry specifikující barvení pro algoritmus LazyBrush (obr. 9).

Problém zjištění korespondencí mezi dvěma obrazy je poměrně dobře prostudován u fotografií reálného světa, kde se využívá faktu, že jisté dobře lokalizovatelné body (např. rohy) mají unikátní okolí, a lze je tudíž rozeznat v jiném obraze i při drobné změně osvětlení, pozice, měřítka, natočení a zkosení úhlu pohledu (známou aplikací z této oblasti je např. automatické spojování fotografií do panoramat). Takovou vlastnost ale bohužel ruční kresby nemívají, nelze se u nich spoléhat na exaktní tvarovou konzistenci. Navíc většina dobře lokalizovatelných bodů má tvarově velmi podobné okolí, což znesnadňuje jejich identifikaci. Obraz je tedy nutné posuzovat spíše globálně.

Existují metody, které pracují v globálním měřítku. Jsou ale robustní jen tehdy, má-li odhadovaná deformace malý počet stupňů volnosti (např. pouze posuv, rotaci a změnu měřítka). V případě složitějších, tzv. free- form deformací je potřeba být již poměrně blízko finální póze, jinak metody často uváznou v lokálně optimálním řešení, které bývá velmi daleko od toho, které hledáme. Podobně jako u problému 3D rekonstrukce představovala i registrace ručních kreseb donedávna prakticky obtížně řešitelný problém.

Řešení přinesla teprve další technika vyvinutá naším týmem (odborně nazývaná „As- Rigid-As-Possible Image Registration“). Na lokální úrovni prohledává stavový prostor všech možných posuvů a zároveň udržuje celkovou konzistenci obrazu pomocí deformačního modelu založeného na zachování lokální tuhosti. Tento nový algoritmus v zásadě napodobuje chování mikroskopického organismu, který v gradientu živin postupně přemisťuje své lokálně rigidní tělo tak, aby maximalizoval přísun potravy. Díky možnosti lokálně prohledat stavový prostor všech možných posuvů se metoda vyhne uváznutí v lokálním optimu, které je typické pro metody založené na globální registraci. Navíc využitím deformačního modelu se zachováním lokální tuhosti dosahuje optimální rovnováhy mezi počtem stupňů volnosti a flexibilitou modelu. Tato revoluční technika se také stala součástí profesionálního nástroje TVPaint Animation Pro 11.

Česká animátorská škola patří odnepaměti v celosvětovém měřítku k nejlepším, a to nejen v oblasti kresleného filmu. Naši přední animátoři Jiří Trnka, Radek Pilař, Zdeněk Miler, Pavel Koutský nebo Michaela Pavlátová dosáhli v tomto oboru světového věhlasu. O to více nás může mrzet, že právě médium kresleného filmu je v poslední době na ústupu. Snad naše technická řešení přispějí k renesanci ruční kresby a otevřou jí dveře do digitálních světů. 

Poznámky

1) Ing. O. Jamriška a doc. D. Sýkora, U.S. Pat. No. 8,533,139. Celý název patentovaného algoritmu je „Optimizing computation of minimum cut in graphs with grid topology“. Přestože byl původně navržen pro zrychlení výpočtu barvení ručních kreseb, jeho licence si pořizují a využívají i firmy aktivní v mnoha dalších oblastech (počítačové vidění, mobilní technologie apod.).

Soubory

článek ve formátu pdf: V201510_576-579.pdf (649 kB)

Diskuse

Žádné příspěvky