Komerční prezentace
Registrace uživatele

Přihlašte se k odběru informací, novinek, získejte přístup do diskuzního fóra.

Vesmír č. 10
Vesmír č. 10
Toto číslo vychází
2. 10. 2017
Novinky
Zdarma jedno celé číslo Vesmíru v pdf.
• Říjnové číslo Vesmíru
reklama

3D rekonstrukce z fotografií

< předchozí | seriál: Počítačová grafika | další >
Publikováno: Vesmír 94, 634, 2015/11

3D rekonstrukce se snaží převést objekty reálného světa do trojrozměrné digitální reprezentace. Metoda pomáhá například architektům, archeologům nebo pracovníkům muzeí snažícím se zachovat kulturní dědictví příštím generacím a zároveň je zpřístupnit laické veřejnosti. Významnou událostí v této oblasti byla 3D digitalizace papírového Langweilova modelu staré Prahy.

Představme si, že vyfotíme několik snímků stejného místa z různých pozic. Například obejdeme dům a na každých pár metrech zmáčkneme spoušť. Máme tedy množinu fotografií, o nichž můžeme říci, že každá část objektu je vidět minimálně na dvou z nich. Pokud vezmeme tyto dvě fotografie a v každé vytvoříme přímku spojující ohnisko fotoaparátu s nějakým bodem na fotografii (roh komínu), získáme v průsečíku těchto dvou a více přímek 3D bod reprezentující reálný bod v trojrozměrném prostoru. Vytvoříme- li takto více bodů a spojíme je hranami do ploch, získáme 3D geometrii reprezentující vyfotografovaný objekt.

Pokud chceme mít objekt barevný, je potřeba ještě získat texturu, tj. obrázek reprezentující barvu objektu. Tento proces si můžeme přiblížit jako promítnutí fotografií na získaný 3D model a uložení barevné informace pro každý pixel. Barevnou texturu je většinou potřeba složit z více než jedné fotografie pro každou stěnu 3D modelu (obr. 1, 2).

Tento jednoduše popsaný proces má mnohá úskalí a staví na mnoha letech výzkumu z oblasti počítačové grafiky, počítačového vidění a optimalizace. Pro věrohodnou rekonstrukci je potřeba pořídit velké množství dobře zacílených fotografií. Pro každou z nich se musí zpětně spočítat pozice a orientace v prostoru (GPS informace a údaje z gyroskopu a akcelerometru se používají pouze pro hrubý odhad základní pozice), což při větším množství (tisíce) fotografií začíná činit problémy. Dále je potřeba pro každou fotografii odhadnout vlastnosti objektivu, tj. ohniskovou vzdálenost a případně parametry soudkového zkreslení (barel distortion). Proces hledání těchto parametrů se nazývá kalibrace, a pokud vše dopadne dobře, na konci získáme zkalibrovanou scénu, v níž můžeme měřit vzdálenosti mezi body a rekonstruovat geometrii.

Ručně, nebo automaticky?

Takto zkalibrovanou scénu poté využijeme pro rekonstrukci 3D geometrie objektu. Existují tři základní přístupy. Prvním je ruční přístup popsaný na začátku článku: uživatel ve fotografiích hledá významné body (rohy) a označuje tentýž bod na minimálně dvou, ale lépe třech fotografiích. Druhý přístup je plně automatický. Algoritmy detekují významné body na fotografiích pořízených z podobných pozic a generují tzv. mračno 3D bodů. Toto mračno se později použije jako základ pro generování geometrie.

Výhodou prvního přístupu je, že uživatel rekonstruuje pouze reálnou geometrii, je však na něj kladena vysoká zátěž procházení a označování mnoha fotografií. Naopak automatický přístup nepotřebuje žádný zásah uživatele, ale generuje geometrii, která přímo souvisí ne s povrchem objektu, ale spíše s jeho vzhledem, a je složena z velkého množství malých trojúhelníků. Automatické metody také mají problémy s oblastmi, které se zdají být jiné na fotografii, než ve skutečnosti jsou, typicky zrcadla a okna. Třetí přístup se snaží kombinovat oba předchozí tím, že pracuje pokud možno automaticky a uživatel pouze občas zásahuje do rekonstrukčního procesu.

Základní využití 3D rekonstrukcí nalezneme například v architektuře, kde se tato technika využívá pro vizualizaci začlenění nové budovy či přestavby do stávajícího stavu města (obr. 3). Častější využití je však v archeologii, muzejnictví a v dalších oborech zachovávajících kulturní dědictví (obr. 4 a 5), v nichž 3D rekonstrukce z fotografií přináší možnost nejen detailně zaznamenat tvar objektu, ale také jeho barevného vzhledu, což například 3D skener neumožňuje.

Digitalizace Langweilova modelu

Z oblasti zachování kulturního dědictví byl i zatím největší 3D rekonstrukční počin uskutečněný v České republice – digitalizace Langweilova modelu Prahy, který je umístěn v Muzeu hlavního města Prahy (obr. 6). Šlo o počin jedinečný i ve světovém měřítku (obr. 7 a 8). V letech 2006–2010 jej realizovala firma Visual connection, a. s., ve spolupráci s odborníky z Fakulty elektrotechnické ČVUT. Hlavním hybatelem projektu byl Jan Buriánek, nadšenec pro moderní technologie počítačové grafiky.

Langweilův model je velký přibližně 5 × 7 m a tvoří ho 52 částí (další čtyři připadají na Vltavu). V miniaturním měřítku přesně zachycuje stav města v první polovině 19. století. Většinu času je uzavřen ve vzduchotěsné schránce, která zachovává stálé klima a omezuje množství dopadajícího světla.

Pro digitalizaci modelu byl vytvořen unikátní robot, který automaticky pořídil přibližně 250 000 fotografií. Kvůli zachování stálosti materiálu bylo nutno omezit infračervené a ultrafialové záření, proto nebylo při rekonstrukci využito laserové snímání. Fotografie zabírají přibližně 8 TB paměti (což odpovídá asi 1700 filmům na DVD) a pro zpracování dat bylo potřeba dalších 20 TB. Snímání modelu bylo pod taktovkou Tomáše Pajdly z katedry počítačového vidění na FEL ČVUT.

Každou z fotografií bylo nutno barevně a jasově korigovat, aby všechny snímky pořízené v průběhu dvou měsíců barevně korespondovaly. Dalším krokem byla kalibrace fotografií. Vzhledem k požadavkům na výstupní geometrii (měla maximálně zachovávat vlastnosti papírové předlohy) byl zvolen ruční rekonstrukční postup pro geometrii budov a poloautomatický pro komíny, stromy a zem pod modelem. Pro ruční postup vznikl speciální grafický editor. Automaticky vyhledával vhodné fotografie pro rekonstruovaný objekt a stahoval si je ze vzdáleného serveru. Tím pádem mohlo být do rekonstrukčního procesu zapojeno přibližně 150 lidí současně a každý z nich měl k dispozici pouze nutné množství fotografií.

Pro poloautomatické rekonstrukce programátoři vyvinuli nástroje umožňující rekonstrukci vybraného objektu pomocí jednoho kliknutí do obrázku, popřípadě pomocí nepřesného črtání. Tyto nástroje využívaly faktu, že lidský mozek rozpoznává objekty v obraze mnohem lépe než počítač, ale zároveň minimalizovaly nutnost přesného vstupu od uživatele. Tím pádem byl jeden člověk schopen během pár hodin vytvořit na základě tisíců fotografií geometrii bez artefaktů typických pro automatické metody. Uživatel pracoval s nástroji podobným způsobem, jaký popisoval Daniel Sýkora u kreslené animace v předchozím díle seriálu (Vesmír 94, 576, 2015/10).

Vytvoření textur modelu obstaral algoritmus beroucí v potaz vlastnosti jednotlivých fotografií, jako jsou odlesky na střechách, rozmazání způsobené specifickou hloubkou ostrosti a nakloněním fotoaparátu. Vzhledem k velkému sebezastínění modelu v úzkých uličkách bylo nutné skládat textury pro stěny domů i z více než deseti fotografií a ohlídat přitom navazování jednotlivých částí textury v rámci jedné budovy i mezi sousedními objekty.

Hlavním účelem rekonstrukce bylo zachování modelu pro případ nenadálé katastrofy, ale jejím nejviditelnějším výstupem je průlet modelem v malém stereoskopickém kině v Muzeu hlavního města Prahy. Od července 2015 lze v Maiselově synagoze spatřit i druhý průlet modelem. Soustředí se na staré Židovské Město, které bylo začátkem 20. století srovnáno se zemí.

Díky velkému posunu v rychlosti výpočetní techniky a v kvalitě digitálních fotoaparátů jsou možnosti 3D rekonstrukce z fotografií dostupné stále širšímu spektru uživatelů. Rekonstrukce není hardwarově náročná a potřebné programy jsou většinou pro nekomerční účely dostupné zdarma. Vzhledem k tomu, že pro první pokusy stačí obyčejný fotoaparát (i mobil), věřím, že se internet začne brzy plnit nejen fotografiemi, ale i 3D modely reálných objektů.

Autor děkuje Muzeu hlavního města Prahy za poskytnutí dat Langweilova modelu.

Soubory

článek ve formátu pdf: V201511_634-637.pdf (907 kB)

Diskuse

Žádné příspěvky