TL;DR Żadne popularne narzędzie AI nie zamienia dziś dowolnego wideo w model 3D w pełni automatycznie, od początku do końca. Platformy reklamujące „wideo na 3D" niemal zawsze wyodrębniają garść nieruchomych klatek i przepuszczają je przez te same potoki rekonstrukcji wielowidokowej lub jednoobrazowej, które są używane przy przesyłaniu zdjęć. Prawdziwa technologia stojąca za „wideo na 3D" obejmuje klasyczną Structure-from-Motion (gęste klatki, kalibracja kamery, budowa siatki), NeRF i 3D Gaussian Splatting (neuronowe lub oparte na punktach reprezentacje sceny) oraz nowsze metody dyfuzji wideo, które traktują klip z 360-stopniowym obrotem jako zestaw obrazów wielowidokowych. Dla statycznego obiektu najpewniejszą ścieżką jest dziś wyciągnięcie 3–4 wyraźnych klatek pod różnymi kątami z wideo i przepuszczenie ich przez narzędzie do rekonstrukcji z wielu obrazów, a nie przesyłanie całego klipu.
Wyszukaj hasło „model 3D z wideo", a trafisz na dwa zupełnie różne rodzaje wyników. Niektóre narzędzia obiecują zamianę wideo z telefonu w zasób 3D, który można wczytać do Blendera lub Unity. Inne obiecują coś bliższego wideo 3D: nagraną scenę, którą można zatrzymać i po której można się poruszać, coś bardziej przypominającego nagranie hologramu niż eksportowalny model. To nie są te same produkty, a pomylenie ich to najszybszy sposób na kupienie niewłaściwego narzędzia.
Ten artykuł rozdziela te dwa pojęcia, zaczynając od tego, skąd naprawdę pochodzi leżąca u ich podstaw technologia. Przejdziemy przez klasyczny potok widzenia komputerowego, który w ogóle umożliwił rekonstrukcję 3D na podstawie wideo, metody AI, które zmieniły ekonomię tego problemu, oraz uczciwe ograniczenia tego, co da się dziś realnie dostarczyć. Każde techniczne stwierdzenie poniżej można prześledzić do opublikowanej pracy naukowej, a nie materiałów marketingowych. Na koniec będziesz mieć przepływ pracy, którego naprawdę możesz użyć, a nie obietnicę z mapy drogowej.
Co naprawdę oznacza „wideo na 3D"
Wideogrametria to praktyka rekonstruowania trójwymiarowej geometrii na podstawie sekwencji klatek wideo zamiast zestawu osobno zrobionych zdjęć. To formalna nazwa tego, co większość ludzi ma na myśli, wpisując w wyszukiwarkę „model 3D z wideo".
W praktyce „wideo na 3D" to wygodne pod względem wyszukiwania pojęcie złożone, a nie pojedynczy algorytm. Wideo to tak naprawdę tylko gęsta sekwencja nieruchomych obrazów próbkowanych z ustaloną częstotliwością, zwykle od 24 do 60 na sekundę. Gdy system zdecyduje, które klatki naprawdę się liczą, wideo na 3D sprowadza się do tego samego podstawowego problemu co obraz na 3D: ustalenie, jak zestaw obrazów 2D odnosi się do sceny 3D, a następnie odtworzenie geometrii, która wytworzyła te obrazy. Różne narzędzia rozwiązują ten problem za pomocą różnej matematyki, a wybór tej matematyki decyduje o tym, co otrzymasz na wyjściu: model statycznego obiektu, całą scenę albo moment w czasie, który można odtworzyć ponownie. Reszta tego artykułu omawia rzeczywiste techniki, dzięki czemu będziesz w stanie ocenić, którą z nich naprawdę uruchamia dane narzędzie.
Klasyczne podstawy: fotogrametria i Structure-from-Motion
Fotogrametria to nauka o dokonywaniu pomiarów i rekonstruowaniu kształtów 3D na podstawie fotografii, a Structure-from-Motion (SfM) to konkretna technika obliczeniowa, która jednocześnie odtwarza strukturę 3D sceny i ruch kamery na podstawie zestawu obrazów 2D. Żadna z nich nie jest nowa. Na długo zanim AI pojawiło się na scenie, badacze zbudowali już kompletne systemy, które na podstawie surowej sekwencji wideo tworzyły teksturowaną siatkę 3D.
Jednym z najbardziej przejrzystych przykładów jest system opisany przez Pollefeys et al. w pracy zatytułowanej dosłownie "Video-to-3D", zbudowany na K.U. Leuven i University of North Carolina. Przetwarza on niekalibrowane wideo nagrane z ręki w czterech etapach. Po pierwsze, w kroku łączenia obrazów, system śledzi punkty charakterystyczne w kolejnych klatkach i za pomocą testu statystycznego decyduje, czy ruch między dwoma ujęciami lepiej wyjaśnia płaska powierzchnia (homografia), czy prawdziwa paralaksa 3D (geometria epipolarna). Ta decyzja określa, która klatka zostaje awansowana do rangi „klatki kluczowej", wartej wykorzystania do rekonstrukcji. Po drugie, w kroku odtwarzania struktury i ruchu, system trianguluje śledzone punkty w rzadką chmurę punktów 3D i wyznacza pozycję każdej kamery, najpierw w niekalibrowanej formie projekcyjnej, a następnie podnosi ją do rekonstrukcji metrycznej, skalowanej do realnego świata, dzięki krokowi samokalibracji, i przez cały czas dopracowuje ją za pomocą bundle adjustment, globalnej optymalizacji metodą najmniejszych kwadratów wszystkich błędów reprojekcji.
Po trzecie, w kroku gęstego dopasowywania, system przekształca pary obrazów tak, aby ich linie epipolarne pokrywały się z poziomymi liniami skanowania, a następnie uruchamia dopasowywanie stereo linia po linii, aby oszacować wartość głębi niemal dla każdego piksela. To właśnie tutaj działa Multi-View Stereo, ogólna technika szacowania gęstej głębi poprzez dopasowywanie pikseli w wielu nakładających się ujęciach. Po czwarte, w kroku budowy modelu 3D, poszczególne mapy głębi są łączone w jedną spójną powierzchnię, zazwyczaj w postaci siatki trójkątów, i teksturowane bezpośrednio na podstawie oryginalnych klatek wideo. Praca demonstruje to od początku do końca na przykładzie rzeźbionego reliefu kamiennego, odtwarzając pełną teksturowaną siatkę wyłącznie na podstawie zwykłego materiału wideo.
Ten potok robi naprawdę wrażenie i wciąż stanowi podstawę wielu profesjonalnych programów do skanowania 3D. Ma jednak wbudowany koszt strukturalny: potrzebuje wielu nakładających się na siebie klatek z odpowiednią paralaksą między nimi, starannego doboru klatek i iteracyjnej optymalizacji na każdym etapie. Ta zależność od ilości i precyzji jest dokładnie tym wąskim gardłem, które metody oparte na AI miały skrócić.
Zwrot w stronę AI: NeRF, Gaussian Splatting i dyfuzja wideo
To właśnie tutaj „AI wideo na 3D" przestaje być frazą marketingową i zaczyna wskazywać na konkretne, opublikowane badania. Główną pracę wykonują tu trzy techniki: NeRF i Gaussian Splatting zmieniają sposób reprezentowania powstałej sceny 3D, a dyfuzja wideo zmienia to, co w ogóle liczy się jako poprawne dane wejściowe.
Neural Radiance Fields (NeRF) to sposób reprezentowania sceny 3D jako sieci neuronowej, która przyjmuje pozycję 3D i kierunek patrzenia, a zwraca kolor i gęstość; te wartości można następnie próbkować wzdłuż promieni kamery, aby wyrenderować fotorealistyczny obraz z dowolnego punktu widzenia. Zamiast jawnej siatki z wierzchołkami i ścianami, NeRF jest funkcją niejawną, którą trzeba odpytać i scałkować, aby w ogóle cokolwiek zobaczyć, co czyni ją doskonałą do fotorealistycznego renderowania, ale niewygodną do wczytania w silniku gry.
3D Gaussian Splatting to reprezentacja sceny złożona z tysięcy małych, półprzezroczystych „bryłek" gaussowskich 3D, z których każda ma własną pozycję, rozmiar, orientację i kolor, i które można renderować w czasie rzeczywistym poprzez ich rzutowanie i mieszanie na ekranie. Rozwiązuje ona największą praktyczną bolączkę NeRF, czyli boleśnie wolne renderowanie, zamieniając niejawną funkcję neuronową na jawną, punktopodobną reprezentację nadającą się do „rozpryskiwania" (splattingu).
Jednak bardziej interesujący zwrot dla „wideo na 3D" wynika z przeformułowania strony wejściowej problemu. Chen et al., w pracy z 2024 roku "V3D: Video Diffusion Models are Effective 3D Generators", zauważyli, że wideo z kamerą krążącą wokół obiektu jest funkcjonalnie identyczne ze zorganizowanym zestawem obrazów wielowidokowych. Ich metoda dostraja model dyfuzji wideo, tę samą klasę modeli generatywnych, która służy do tworzenia krótkich klipów wideo AI, aby syntetyzować płynną, spójną sekwencję klatek okrążających obiekt, a następnie podaje tę wygenerowaną sekwencję do kroku rekonstrukcji Gaussa 3D lub siatki. Kluczowa obserwacja jest taka, że generowanie spójnej sekwencji wielowidokowej i generowanie krótkiego wideo są matematycznie tym samym zadaniem. To istotnie inne podejście niż klasyczne SfM: zamiast wymagać dziesiątek prawdziwych, nakładających się na siebie zdjęć, metoda ta generuje brakujące punkty widzenia i rekonstruuje na ich podstawie.
Warto zauważyć, co to dowodzi, a czego nie. Pokazuje to, że traktowanie „wielu spójnych punktów widzenia" jako problemu generowania wideo jest ważnym i owocnym ujęciem technicznym. Nie oznacza to, że każde narzędzie, które mówi „prześlij wideo", uruchamia dokładnie ten potok, ani że podejście to rozciąga się na rekonstrukcję dowolnego materiału nagranego w realnym świecie tak, jak robi to klasyczne SfM.
Szybki przewodnik: kluczowe pojęcia
- Fotogrametria: rekonstruowanie mierzalnych kształtów 3D na podstawie fotografii.
- Structure-from-Motion (SfM): jednoczesne odtwarzanie struktury 3D sceny i pozycji kamer na podstawie obrazów 2D.
- Multi-View Stereo: szacowanie gęstej głębi dla każdego piksela poprzez dopasowywanie pikseli w wielu nakładających się ujęciach.
- NeRF: sieć neuronowa, która zwraca kolor i gęstość dla dowolnego punktu 3D i kierunku patrzenia, renderowana poprzez próbkowanie promieni.
- 3D Gaussian Splatting: scena reprezentowana jako wiele małych gaussianów 3D, renderowana w czasie rzeczywistym poprzez rzutowanie i mieszanie.
- Wideogrametria: fotogrametria wykonywana na klatkach wyodrębnionych z wideo zamiast na osobno zrobionych zdjęciach.
Statyczne obiekty a dynamiczne sceny: dwa różne problemy
Wszystko powyższe opisuje rekonstrukcję jednego statycznego obiektu lub sceny, krzesła, posągu, produktu, w model, który po zbudowaniu się nie zmienia. To inny problem niż uchwycenie dynamicznej sceny, takiej z poruszającymi się ludźmi, lejącymi się cieczami czy migoczącym ogniem, w sposób pozwalający odtworzyć ją z nowych punktów widzenia. Mieszanie tych dwóch rzeczy jest źródłem sporej części zamieszania wokół „wideo na 3D", a także stoi za podziałem kryjącym się za zapytaniem „jak zrobić wideo 3D", które w rzeczywistości oznacza dwie różne rzeczy w zależności od tego, kto pyta.
Praca Li et al. z CVPR 2022, "Neural 3D Video Synthesis from Multi-view Video", powszechnie nazywana DyNeRF, bezpośrednio zajmuje się drugim problemem. Zestaw wykorzystuje rig z 18 do 21 zsynchronizowanych kamer GoPro, nagrywających jednocześnie tę samą ruchomą scenę z ustalonych pozycji. DyNeRF rozszerza ideę NeRF o zestaw wyuczonych, indeksowanych w czasie kodów latentnych, po jednym na klatkę, dzięki czemu ta sama sieć neuronowa może reprezentować, jak wygląd i geometria sceny zmieniają się na przestrzeni całego klipu. Wynikiem jest model, który można odpytać w dowolnym momencie czasu i z dowolnego punktu widzenia w zasięgu rigu kamer, w tym o interpolowane momenty pomiędzy zarejestrowanymi klatkami, na potrzeby efektów spowolnionego ruchu lub „bullet time". Praca podaje, że pełne 10-sekundowe nagranie w 30 klatkach na sekundę z 18 kamer udało się przedstawić w modelu o rozmiarze zaledwie 28 MB, oraz zauważa, że naiwny bazowy model NeRF liczony klatka po klatce dla tego samego klipu potrzebowałby około 15 000 godzin GPU na trening, w porównaniu do około 1300 godzin dla ich metody.
Warto precyzyjnie określić, czym jest ten wynik. DyNeRF tworzy dający się ponownie wyrenderować wolumen 4D, przez który można przelecieć wirtualną kamerą, czyli coś, co oglądałoby się w goglach VR. Nie tworzy pojedynczej, statycznej, eksportowalnej siatki trójkątów, którą można otworzyć w Blenderze czy Unity. To naprawdę inny format wyjściowy dla naprawdę innego układu przechwytywania, wielu zsynchronizowanych kamer wokół sceny, a nie jednej kamery trzymanej w ręku wokół obiektu. Jeśli tak naprawdę potrzebujesz statycznego modelu 3D jednego obiektu, te badania nad dynamicznymi scenami są niewłaściwym narzędziem do tego zadania, mimo że one również zaczynają się od „wideo".
Co naprawdę robią dzisiejsze narzędzia „wideo na 3D"
Biorąc to wszystko pod uwagę, warto zapytać, co tak naprawdę dzieje się za przyciskiem „prześlij swoje wideo" w większości platform skierowanych do konsumentów. Przydatnym sposobem uporządkowania tego obszaru jest podział według trybu wejścia, ponieważ zwykle jest to wiarygodny sygnał wskazujący na leżącą u podstaw technikę rekonstrukcji.
| Tryb wejścia | Czy wymagane są różne kąty? | Typowa technika leżąca u podstaw |
|---|---|---|
| Pojedynczy obraz | Nie, brakujące kąty są wywnioskowane lub wygenerowane | Generowanie 3D z jednego widoku oparte na dyfuzji |
| Wiele obrazów (2 do 4 zdjęć) | Tak, dostarczone bezpośrednio przez użytkownika | Rekonstrukcja wielowidokowa, bliższa klasycznej triangulacji |
| Tekst na obraz wielowidokowy | Nie, widoki są generowane na podstawie promptu tekstowego | Generowanie obrazów wielowidokowych oparte na dyfuzji |
| „Wideo" (jak reklamowane) | Faktycznie tak, po prostu wyodrębniane wewnątrz narzędzia | Próbkowanie klatek zasilające jeden z powyższych potoków |
Wzorzec z ostatniego wiersza jest powszechny: platforma reklamująca wejście wideo bardzo często wewnętrznie wyodrębnia garść klatek i przepuszcza je przez ten sam potok wieloobrazowy lub jednoobrazowy, który już działa przy przesyłaniu zdjęć, zamiast robić cokolwiek natywnego dla wideo, jak opisane wyżej podejście oparte na dyfuzji. To niekoniecznie zła decyzja produktowa, wyodrębnione klatki z dobrego wideo mogą być doskonałym materiałem wieloobrazowym, ale to inne twierdzenie niż „nasz model został wytrenowany na pełnym wideo i rozumuje na jego podstawie". Jeśli chcesz wiedzieć, z którego rozwiązania faktycznie korzystasz, najbardziej wiarygodnym źródłem nie są zrzuty ekranu z wpisu na blogu, lecz własna dokumentacja API danej platformy, która musi dokładnie wymieniać obsługiwane schematy wejściowe, aby deweloperzy mogli się z nią zintegrować.
Wybór odpowiedniej platformy do Twojego projektu
Dla twórców gier
Jeśli przechwytujesz rekwizyty, postacie lub elementy otoczenia do gry, zwykle potrzebujesz czystej, statycznej siatki z rozsądną topologią i mapowaniem UV, a nie sceny, którą można odtworzyć ponownie. Garść starannie dobranych ujęć zasobu pod różnymi kątami, przepuszczona przez potok rekonstrukcji wielowidokowej, doprowadzi Cię do celu szybciej i bardziej przewidywalnie niż podawanie całego wideo z okrążeniem obiektu i liczenie na to, że narzędzie samo wybierze dobre klatki. Dlatego arkusze referencyjne rekwizytów i postaci, przepuszczone przez przepływ pracy Meshy oparty na wielu obrazach, zwykle sprawdzają się lepiej niż surowy klip w przypadku zasobów produkcyjnych.
Dla e-commerce i wizualizacji produktów
Wizualizacja produktów jest bliska idealnemu przypadkowi użycia dla tej technologii: statyczny obiekt, kontrolowane oświetlenie, a ujęcie w stylu obrotowego stolika łatwo nagrać celowo. Krótki klip z obrotem o 360 stopni wokół produktu daje dokładnie te uporządkowane, równomiernie rozłożone punkty widzenia, których potrzebuje rekonstrukcja wielowidokowa, co w dużej mierze tłumaczy, dlaczego ten przypadek użycia tak często pojawia się w prezentacjach. Wyciągnij cztery równomiernie rozłożone klatki z tego klipu, a funkcja Image to 3D od Meshy zajmie się resztą.
Dla niezależnych twórców i hobbystów
Jeśli pracujesz z telefonu i nie masz rigu do przechwytywania, dobra wiadomość płynąca z powyższych badań dotyczy naprawdę też Ciebie: podstawowy potok fotogrametryczny został jawnie zaprojektowany z myślą o niekalibrowanych, konsumenckich kamerach trzymanych w ręku, a metody AI zbudowane na jego podstawie odziedziczyły ten sam niski próg wymagań sprzętowych. Ważniejszy od sprzętu jest wybór garści klatek, które faktycznie pokazują tył i boki obiektu. Telefon i przestrzeń robocza Meshy oparta na wielu obrazach wystarczą, aby uzyskać użyteczny wynik bez kupowania czegokolwiek.
Praktyczna ścieżka na dziś: od klatek wideo do modelu 3D
Oto myśl przewodnia, którą warto wynieść z tego artykułu: wideo to w istocie gęsta sekwencja obrazów 2D, a rekonstrukcja wielowidokowa to w istocie technika zamiany garści obrazów 2D z różnych kątów w jeden kształt 3D. To ten sam zabieg logiczny, który stosuje V3D, traktując wideo z orbitowaniem jako zestaw obrazów wielowidokowych. To także ta sama logika, na której opierają się narzędzia obraz na 3D, przyjmujące wiele referencyjnych zdjęć jednego obiektu zamiast tylko jednego.
Funkcja Image to 3D od Meshy obsługuje dokładnie taki rodzaj wejścia z wielu obrazów, do czterech zdjęć tego samego obiektu z różnych kątów, możliwość, którą platforma posiada od czasu Meshy 5. AI odczytuje rzeczywistą geometrię i detale z każdego dostarczonego zdjęcia, zamiast zgadywać, jak wygląda tył obiektu, co jest typowym błędem generowania z jednego obrazu. Jeśli zaczynasz tylko od jednego zdjęcia zamiast kilku, Meshy oferuje również narzędzia tekstowe i obrazowe oparte na Flux Kontext, które mogą wygenerować dodatkowe obrazy wielowidokowe tego samego obiektu, które można następnie podać do tego samego przepływu pracy z wieloma obrazami.
Praktyczna odpowiedź na pytanie „jak teraz zamienić moje wideo w model 3D" jest prosta: nie przesyłaj całego klipu. Przewiń go i wyciągnij trzy lub cztery klatki pokazujące wyraźnie różne kąty obiektu, przód, bok, tył, może ujęcie pod kątem trzech czwartych, a następnie przepuść te nieruchome obrazy przez przepływ Multi-View Image to 3D od Meshy w Workspace. To krok wykonywany ręcznie, ograniczony do od jednego do czterech obrazów na generację, a nie dowolnej liczby klatek, a ten przewodnik po obrazie wielowidokowym na 3D omawia dobór ujęć i ustawienia bardziej szczegółowo, jeśli chcesz zobaczyć cały proces od początku do końca. Nie zrekonstruuje to całej ruchomej sceny tak, jak robi to DyNeRF, i nie jest to natywny dla wideo potok dyfuzyjny opisywany przez V3D. Jest to jednak realna, działająca metoda dostępna już dziś, zbudowana na tej samej podstawowej logice, do której źródeł cały ten artykuł prowadził.
