TL;DR Žádný běžně dostupný AI nástroj dnes nedokáže proměnit libovolné video v 3D model kompletně od začátku do konce. Platformy, které inzerují „video na 3D", téměř vždy extrahují několik jednotlivých snímků a pošlou je do stejných pipeline pro rekonstrukci z více pohledů nebo z jednoho obrázku, jaké se používají i pro nahrané fotografie. Skutečná technologie za „video na 3D" zahrnuje klasickou metodu Structure-from-Motion (husté snímky, kalibrace kamery, tvorba meshe), NeRF a 3D Gaussian Splatting (neuronové nebo bodové reprezentace scény) a novější metody video difuze, které pojímají klip s 360° obletem jako sadu obrázků z více pohledů. Pro statický objekt je dnes nejspolehlivější cestou vytáhnout z videa 3 až 4 jasné snímky z různých úhlů a pustit je nástrojem pro rekonstrukci z více obrázků, ne nahrávat celý klip.
Když zadáte do vyhledávače „video na 3D model", narazíte na dva velmi odlišné druhy výsledků. Některé nástroje slibují, že z videa z telefonu vytvoří 3D asset, který můžete vložit do Blenderu nebo Unity. Jiné slibují něco bližšího 3D videu: nahranou scénu, kterou můžete pozastavit a procházet se v ní, spíše záznam hologramu než exportovatelný model. Nejde o stejný produkt a jejich záměna je nejrychlejší způsob, jak si koupit špatný nástroj.
Tento článek oba přístupy rozplete a začne u toho, odkud vlastně pochází dané technologie. Projdeme si klasickou pipeline počítačového vidění, která umožnila 3D rekonstrukci z videa vůbec poprvé, AI metody, jež změnily ekonomiku tohoto problému, a poctivé hranice toho, co je dnes reálně použitelné. Každé technické tvrzení níže lze vysledovat k publikovanému vědeckému článku, nikoli k marketingovým textům. Na konci budete mít pracovní postup, který můžete skutečně použít, ne slib z roadmapy.
Co „video na 3D" ve skutečnosti znamená
Videogrammetrie je postup rekonstrukce trojrozměrné geometrie ze sekvence video snímků namísto sady jednotlivě pořízených fotografií. To je formální název pro to, co si většina lidí představí, když do vyhledávače zadá „video na 3D model".
V praxi je „video na 3D" spíš vyhledávačům přívětivý souhrnný pojem než jediný algoritmus. Video je ve skutečnosti jen hustá sekvence statických obrázků vzorkovaná pevnou frekvencí, typicky 24 až 60 snímků za sekundu. Jakmile systém rozhodne, které snímky skutečně mají význam, převod videa na 3D se zredukuje na stejný základní problém jako převod obrázku na 3D: zjistit, jak sada 2D obrázků souvisí s 3D scénou, a poté zrekonstruovat geometrii, která tyto obrázky vytvořila. Různé nástroje řeší tento problém různou matematikou a volba matematiky určuje, co dostanete na výstupu, model statického objektu, celou scénu, nebo znovu přehratelný okamžik v čase. Zbytek tohoto článku prochází skutečné techniky, abyste poznali, kterou z nich daný nástroj opravdu používá.
Klasický základ: fotogrammetrie a Structure-from-Motion
Fotogrammetrie je věda o měření a rekonstrukci 3D tvarů z fotografií a Structure-from-Motion (SfM) je konkrétní výpočetní technika, která ze sady 2D obrázků současně obnovuje 3D strukturu scény a pohyb kamery. Ani jedno z toho není nové. Dávno předtím, než do hry vstoupilo AI, měli výzkumníci hotové kompletní systémy, které vzaly surovou video sekvenci a vytvořily z ní texturovaný 3D mesh.
Jedním z nejjasnějších příkladů je systém popsaný v článku Pollefeys et al., doslova nazvaném "Video-to-3D," vytvořený na K.U. Leuven a University of North Carolina. Zpracovává nekalibrované ruční video ve čtyřech fázích. Nejprve, v kroku relating images (propojování obrázků), systém sleduje charakteristické body napříč snímky a pomocí statistického testu rozhoduje, zda je pohyb mezi dvěma pohledy lépe vysvětlitelný plochou rovinou (homografií), nebo skutečnou 3D paralaxou (epipolární geometrií). Toto rozhodnutí určuje, který snímek se povýší na „klíčový snímek" hodný rekonstrukce. Za druhé, v kroku structure and motion recovery (obnova struktury a pohybu), systém triangulací sledovaných bodů vytvoří řídký 3D mrak bodů a dopočítá pózu každé kamery, nejprve v nekalibrované projektivní podobě, poté ji pomocí kroku samokalibrace povýší na metrickou rekonstrukci odpovídající reálnému měřítku a průběžně ji zpřesňuje pomocí bundle adjustment, globální optimalizace metodou nejmenších čtverců nad všemi chybami reprojekce.
Za třetí, v kroku dense matching (husté párování), systém deformuje dvojice obrázků tak, aby jejich epipolární linie odpovídaly vodorovným řádkům, a poté spustí řádkový stereo matcher, který odhadne hodnotu hloubky pro téměř každý pixel. Právě zde vykonává svou práci Multi-View Stereo, obecná technika odhadu husté hloubky párováním pixelů napříč mnoha překrývajícími se pohledy. Za čtvrté, v kroku 3D model building (tvorba 3D modelu), se jednotlivé hloubkové mapy spojí do jednoho konzistentního povrchu, typicky trojúhelníkového meshe, a otexturují přímo z původních video snímků. Článek to demonstruje od začátku do konce na vytesaném kamenném reliéfu, kdy z obyčejného videozáznamu zrekonstruuje kompletní texturovaný mesh.
Tato pipeline je opravdu působivá a dodnes stojí za mnoha profesionálními 3D skenovacími softwary. Má ale zabudovanou strukturální daň: potřebuje mnoho překrývajících se snímků s dostatečnou paralaxou mezi nimi, pečlivý výběr snímků a iterativní optimalizaci v každé fázi. Právě tato závislost na objemu a přesnosti je úzké hrdlo, které se metody založené na AI snaží obejít.
Zlom díky AI: NeRF, Gaussian Splatting a video difuze
Právě zde přestává „AI video na 3D" být jen marketingová fráze a začíná odkazovat na konkrétní publikovaný výzkum. Většinu práce zde odvádí tři techniky: NeRF a Gaussian Splatting mění způsob, jakým je výsledná 3D scéna reprezentována, a video difuze mění to, co se vůbec počítá za platný vstup.
Neural Radiance Fields (NeRF) je způsob reprezentace 3D scény jako neuronové sítě, která na vstupu přijímá 3D pozici a směr pohledu a na výstupu vrací barvu a hustotu; tyto hodnoty lze pak vzorkovat podél paprsků kamery a vykreslit fotorealistický obraz z libovolného úhlu pohledu. Namísto explicitního meshe s vrcholy a plochami je NeRF implicitní funkcí, kterou musíte dotazovat a integrovat, abyste vůbec něco uviděli, což z něj dělá skvělý nástroj pro fotorealistické vykreslování, ale nepraktickou volbu pro vložení do herního enginu.
3D Gaussian Splatting je reprezentace scény složená z tisíců malých, poloprůhledných 3D „gaussovských kapek", z nichž každá má vlastní pozici, velikost, orientaci a barvu a které lze v reálném čase vykreslit jejich promítnutím a mísením na obrazovku. Řeší tak největší praktickou výtku vůči NeRF, bolestně pomalé vykreslování, tím, že vymění implicitní neuronovou funkci za explicitní, bodově podobnou reprezentaci vhodnou k „splatování".
Zajímavější zlom pro „video na 3D" ale přichází z přerámování vstupní strany problému. Chen et al. si ve svém článku z roku 2024 "V3D: Video Diffusion Models are Effective 3D Generators" všimli, že video s kamerou obíhající kolem objektu je funkčně totožné se strukturovanou sadou obrázků z více pohledů. Jejich metoda doladí model video difuze, stejnou třídu generativního modelu, jaká se používá k tvorbě krátkých AI video klipů, aby syntetizoval plynulou a konzistentní sekvenci snímků obíhajících kolem objektu, a poté tuto vygenerovanou sekvenci pošle do kroku rekonstrukce 3D Gaussianů nebo meshe. Klíčový poznatek je, že generování koherentní sekvence z více pohledů a generování krátkého videa je matematicky stejná úloha. To je smysluplně odlišný přístup od klasického SfM: místo požadavku na desítky skutečných překrývajících se fotografií vygeneruje chybějící úhly pohledu a rekonstruuje z nich.
Všimněte si, co to dokazuje a co ne. Ukazuje to, že chápat „mnoho konzistentních úhlů pohledu" jako problém generování videa je platný a produktivní technický rámec. Neznamená to ale, že každý nástroj, který tvrdí „nahrajte video", běží přesně na této pipeline, a tento přístup se nevztahuje na rekonstrukci libovolného záznamu ze skutečného světa tak, jak to umí klasické SfM.
Rychlý přehled: klíčové pojmy
- Fotogrammetrie: rekonstrukce měřitelných 3D tvarů z fotografií.
- Structure-from-Motion (SfM): společné obnovení 3D struktury scény a póz kamery z 2D obrázků.
- Multi-View Stereo: odhad husté hloubky na úrovni pixelů párováním pixelů napříč mnoha překrývajícími se pohledy.
- NeRF: neuronová síť, která pro libovolný 3D bod a směr pohledu vrací barvu a hustotu, vykreslovaná pomocí vzorkování paprsků.
- 3D Gaussian Splatting: scéna reprezentovaná mnoha malými 3D Gaussiany, vykreslovaná v reálném čase promítáním a mísením.
- Videogrammetrie: fotogrammetrie prováděná na snímcích extrahovaných z videa místo na jednotlivě pořízených fotografiích.
Statické objekty vs. dynamické scény: dva odlišné problémy
Vše výše popisuje rekonstrukci jednoho statického objektu nebo scény, židle, sochy, produktu, do modelu, který se po vytvoření už nemění. To je jiný problém než zachycení dynamické scény, s pohybujícími se lidmi, tekoucí kapalinou nebo mihotajícím se ohněm, tak, aby ji bylo možné přehrát z nových úhlů pohledu. Právě zaměňování těchto dvou věcí je zdrojem velké části zmatku kolem „videa na 3D" a je to také rozdíl, který se skrývá za vyhledávacím dotazem „jak vytvořit 3D video", jenž ve skutečnosti znamená dvě různé věci v závislosti na tom, kdo se ptá.
Článek Li et al. z CVPR 2022 "Neural 3D Video Synthesis from Multi-view Video", běžně nazývaný DyNeRF, řeší druhý problém přímo. Sestava používá rig s 18 až 21 synchronizovanými kamerami GoPro, které zaznamenávají tutéž pohybující se scénu současně z pevných pozic. DyNeRF rozšiřuje myšlenku NeRF o sadu naučených, časově indexovaných latentních kódů, jeden na snímek, takže stejná neuronová síť dokáže reprezentovat, jak se vzhled a geometrie scény mění v průběhu klipu. Výsledkem je model, který lze dotazovat v libovolném okamžiku a z libovolného úhlu pohledu v rámci pokrytí kamerového rigu, včetně interpolovaných okamžiků mezi zaznamenanými snímky pro efekty zpomaleného pohybu nebo „bullet time". Článek uvádí, že celý 10sekundový záznam s 30 snímky za sekundu z 18 kamer reprezentuje v modelu o velikosti pouhých 28 MB, a poznamenává, že naivní snímek-po-snímku NeRF základní model pro stejný klip by potřeboval k natrénování zhruba 15 000 GPU hodin, oproti přibližně 1 300 pro jejich metodu.
Stojí za to být přesný v tom, co tento výsledek vlastně je. DyNeRF vytváří znovu vykreslitelný 4D objem, kterým můžete provést virtuální kameru, tedy něco, co byste si mohli přehrát ve VR headsetu. Nevytváří jediný statický, exportovatelný trojúhelníkový mesh, který lze otevřít v Blenderu nebo Unity. Jde o skutečně odlišný výstupní formát pro skutečně odlišnou sestavu záznamu, více synchronizovaných kamer kolem scény, nikoli jednu ruční kameru kolem objektu. Pokud skutečně chcete statický 3D model jednoho objektu, je tento výzkum dynamických scén nesprávným nástrojem pro danou úlohu, i když také vychází z „videa".
Co dnešní nástroje pro „video na 3D" ve skutečnosti dělají
Vzhledem k tomu všemu stojí za to zeptat se, co se ve skutečnosti odehrává za tlačítkem „nahrajte své video" na většině dnešních platforem určených běžným uživatelům. Užitečný způsob, jak si obor roztřídit, je podle vstupního režimu, protože ten obvykle spolehlivě signalizuje, jaká rekonstrukční technika se skrývá pod povrchem.
| Vstupní režim | Vyžaduje více úhlů? | Typická podkladová technika |
|---|---|---|
| Jeden obrázek | Ne, chybějící úhly jsou odvozeny nebo vygenerovány | Generování 3D z jednoho pohledu založené na difuzi |
| Více obrázků (2 až 4 fotografie) | Ano, dodává je přímo uživatel | Rekonstrukce z více pohledů, blíže klasické triangulaci |
| Text na obrázky z více pohledů | Ne, pohledy jsou vygenerovány z textového promptu | Generování obrázků z více pohledů založené na difuzi |
| „Video" (jak je inzerováno) | Fakticky ano, jen extrahováno uvnitř nástroje | Vzorkování snímků, které se posílají do jedné z výše uvedených pipeline |
Vzorec v posledním řádku je běžný: platforma, která inzeruje video jako vstup, velmi často interně extrahuje několik snímků a pošle je stejnou pipeline pro více pohledů nebo jeden obrázek, jakou už používá pro nahrané fotografie, místo aby dělala něco skutečně nativního pro video, jako je výše popsaný přístup založený na difuzi. To nemusí být nutně špatné produktové rozhodnutí, extrahované snímky z dobrého videa mohou být vynikajícím vstupem pro rekonstrukci z více pohledů, ale je to jiné tvrzení než „náš model byl trénován na celém videu a nad celým videem uvažuje". Pokud chcete vědět, kterou variantu skutečně používáte, nejspolehlivějším zdrojem nejsou snímky obrazovky z blogového příspěvku, ale vlastní API dokumentace dané platformy, která musí přesně uvádět podporovaná vstupní schémata, aby se podle nich mohli vývojáři integrovat.
Výběr správné platformy pro váš projekt
Pro vývojáře her
Pokud zachycujete rekvizity, postavy nebo prvky prostředí pro hru, obvykle chcete čistý statický mesh s rozumnou topologií a UV mapováním, ne znovu přehratelnou scénu. Několik dobře zvolených záběrů assetu z různých úhlů, poslaných do pipeline pro rekonstrukci z více pohledů, vás k cíli dostane rychleji a předvídatelněji než pokus nahrát celé video s obchůzkou kolem objektu a doufat, že si nástroj sám vybere dobré snímky. Proto se referenční listy rekvizit a postav zpracované přes Meshy pracovní postup s více obrázky obvykle osvědčí lépe než surový klip pro produkční assety.
Pro e-commerce a vizualizaci produktů
Vizualizace produktů se blíží ideálnímu případu pro tuto technologii: statický objekt, kontrolovatelné osvětlení a záznam ve stylu otočného stolku lze snadno natočit záměrně. Krátký 360stupňový klip kolem produktu vám dá přesně ty strukturované, rovnoměrně rozmístěné úhly pohledu, které rekonstrukce z více pohledů potřebuje, což je velký důvod, proč se tento případ použití tak často objevuje v ukázkách. Vytáhněte z tohoto klipu čtyři rovnoměrně rozmístěné snímky a Meshy Image to 3D si s tím poradí dál.
Pro nezávislé tvůrce a nadšence
Pokud pracujete s telefonem a nemáte žádný snímací rig, dobrá zpráva z výše uvedeného výzkumu platí opravdu i pro vás: základní pipeline fotogrammetrie byla výslovně navržena pro nekalibrované ruční spotřebitelské fotoaparáty a AI metody na ní postavené dědí stejně nízké nároky na vybavení. Důležitější než vybavení je zvolit několik snímků, které skutečně pokrývají zadní a boční strany objektu. Telefon a Meshy pracovní prostor s více obrázky stačí k dosažení použitelného výsledku, aniž byste museli cokoliv kupovat.
Praktická cesta dnes: od video snímků k 3D modelu
Tady je hlavní myšlenka, kterou si z tohoto článku stojí za to odnést: video je v zásadě hustá sekvence 2D obrázků a rekonstrukce z více pohledů je v zásadě technika, jak proměnit několik 2D obrázků z různých úhlů v jeden 3D tvar. To je stejný logický krok, jaký dělá V3D, když pojímá obíhající video jako sadu obrázků z více pohledů. Je to také stejná logika, na které stojí nástroje pro převod obrázku na 3D, jež přijímají více referenčních fotografií jednoho objektu místo jen jedné.
Funkce Meshy Image to 3D podporuje přesně tento typ vstupu z více obrázků, až čtyři fotografie stejného objektu z různých úhlů, schopnost, kterou platforma nabízí od Meshy 5. AI čte skutečnou geometrii a detaily z každé dodané fotografie místo toho, aby hádala, jak vypadá zadní strana objektu, což je obvyklý způsob selhání generování z jednoho obrázku. Pokud vycházíte jen z jedné fotografie místo z několika, Meshy nabízí také textové a obrazové nástroje založené na Flux Kontext, které dokážou vygenerovat další obrázky téhož objektu z více pohledů, jež pak můžete použít ve stejném pracovním postupu s více obrázky.
Praktická odpověď na otázku „jak právě teď proměním své video v 3D model" je tedy jednoduchá: nenahrávejte celý klip. Projeďte ho a vytáhněte tři nebo čtyři snímky, které ukazují jasně odlišné úhly objektu, zepředu, ze strany, zezadu, možná pohled ze tří čtvrtin, a poté tyto statické snímky pusťte přes Meshy postup Multi-View Image to 3D ve Workspace. Jde o manuální krok a je omezen na jeden až čtyři obrázky na generování, ne na libovolný počet snímků, a tento návod na převod obrázků z více pohledů na 3D podrobněji popisuje výběr záběrů a nastavení, pokud si chcete projít celý postup od začátku do konce. Nezrekonstruuje celou pohybující se scénu tak, jak to dělá DyNeRF, a není to ani video-nativní difuzní pipeline, kterou popisuje V3D. Je to ale reálná, funkční metoda dostupná už dnes, postavená na stejné základní logice, kterou tento celý článek sleduje zpět k jejím zdrojům.
