TL;DR Bugün hiçbir yaygın yapay zeka aracı, rastgele bir videoyu uçtan uca bir 3D modele dönüştürmüyor. "Videodan 3D'ye" diye pazarlanan platformlar, neredeyse her zaman birkaç sabit kareyi çıkarıp bunları fotoğraf yüklemeleri için kullanılan aynı çoklu görünüm veya tek görüntü yeniden yapılandırma hatlarından geçiriyor. "Videodan 3D'ye" arkasındaki gerçek teknoloji, klasik Structure-from-Motion'dan (yoğun kareler, kamera kalibrasyonu, ağ oluşturma), NeRF ve 3D Gaussian Splatting'e (sinirsel veya nokta tabanlı sahne temsilleri) ve 360° dönüş klibini bir çoklu görünüm görüntü seti olarak ele alan daha yeni video diffusion yöntemlerine kadar uzanıyor. Bugün statik bir nesne için en güvenilir yol, tüm klibi yüklemek değil, videonuzdan 3 ila 4 net açılı kare çekip bunları bir çoklu görüntü yeniden yapılandırma aracından geçirmektir.
"Videodan 3D modele" diye arama yaptığınızda birbirinden çok farklı iki tür sonuçla karşılaşırsınız. Bazı araçlar, telefonunuzla çektiğiniz bir videoyu Blender veya Unity'ye aktarabileceğiniz bir 3D varlığa dönüştürmeyi vaat eder. Diğerleri ise 3D videoya daha yakın bir şey vaat eder: duraklatıp içinde gezinebileceğiniz, dışa aktarılabilir bir modelden çok bir hologram kaydına benzeyen, kaydedilmiş bir sahne. Bunlar aynı ürün değildir ve ikisini birbirine karıştırmak, yanlış aracı satın almanın en hızlı yoludur.
Bu yazı, altta yatan teknolojinin gerçekte nereden geldiğinden yola çıkarak bu ikisini birbirinden ayırıyor. Öncelikle video tabanlı 3D yeniden yapılandırmayı ilk baştan mümkün kılan klasik bilgisayarlı görü hattını, ardından bu problemin ekonomisini değiştiren yapay zeka yöntemlerini ve bugün gerçekten hayata geçirilebilecek olanın dürüst sınırlarını ele alacağız. Aşağıdaki her teknik iddia, bir pazarlama metnine değil, yayımlanmış bir makaleye dayanıyor. Sonunda elinizde bir yol haritası vaadi değil, gerçekten kullanabileceğiniz bir iş akışı olacak.
"Videodan 3D'ye" Gerçekte Ne Anlama Geliyor
Videogrametri, tek tek çekilmiş sabit fotoğraflar yerine bir video kare dizisinden üç boyutlu geometriyi yeniden oluşturma pratiğidir. Çoğu insanın arama çubuğuna "videodan 3D modele" yazdığında kastettiği şeyin resmi adı budur.
Pratikte "videodan 3D'ye", tek bir algoritma değil, aramaya uygun birleşik bir terimdir. Bir video, aslında sabit bir hızda -genellikle saniyede 24 ila 60 kare- örneklenen yoğun bir sabit görüntü dizisinden ibarettir. Bir sistem hangi karelerin gerçekten önemli olduğuna karar verdiğinde, videodan 3D'ye problemi görüntüden 3D'ye ile aynı temel probleme indirgenir: bir dizi 2D görüntünün 3D bir sahneyle nasıl ilişkili olduğunu bulmak, ardından bu görüntüleri üreten geometriyi yeniden oluşturmak. Farklı araçlar bu problemi farklı matematiksel yaklaşımlarla çözer ve seçilen matematik, elde ettiğiniz sonucu -statik bir nesne modeli, tam bir sahne veya yeniden oynatılabilir bir an- belirler. Bu yazının geri kalanı, belirli bir aracın gerçekte hangisini çalıştırdığını anlayabilmeniz için asıl teknikleri ele alıyor.
Klasik Temel: Fotogrametri ve Structure-from-Motion
Fotogrametri, fotoğraflardan ölçüm yapma ve 3D şekilleri yeniden oluşturma bilimidir; Structure-from-Motion (SfM) ise bir dizi 2D görüntüden bir sahnenin 3D yapısını ve kameranın hareketini eş zamanlı olarak geri kazanan spesifik hesaplama tekniğidir. Bunların hiçbiri yeni değildir. Yapay zeka bu alana girmeden çok önce araştırmacılar, ham bir video dizisini alıp dokulu bir 3D ağ (mesh) üreten eksiksiz sistemler zaten geliştirmişti.
Bunun en net örneklerinden biri, K.U. Leuven ve Kuzey Carolina Üniversitesi'nde geliştirilen ve Pollefeys ve arkadaşları tarafından tam olarak "Video-to-3D" başlıklı makalede anlatılan bir sistemdir. Bu sistem, kalibre edilmemiş, elde tutularak çekilmiş bir videoyu dört aşamada işler. Birincisi, görüntüleri ilişkilendirme aşamasında sistem, kareler arasındaki özellik noktalarını takip eder ve istatistiksel bir test kullanarak iki görüntü arasındaki hareketin düz bir düzlemle (homografi) mi yoksa gerçek 3D paralaksla (epipolar geometri) mi daha iyi açıklandığına karar verir. Bu karar, hangi karenin yeniden yapılandırma için değerli bir "anahtar kare" olarak öne çıkarılacağını belirler. İkincisi, yapı ve hareket geri kazanımı aşamasında sistem, takip edilen noktaları seyrek bir 3D nokta bulutuna üçgenler ve her bir kameranın konumunu önce kalibre edilmemiş izdüşümsel bir biçimde çözer, ardından bir öz-kalibrasyon adımıyla metrik, gerçek dünya ölçeğinde bir yeniden yapılandırmaya yükseltir ve tüm süreç boyunca, tüm yeniden izdüşüm hatalarının küresel bir en küçük kareler optimizasyonu olan demet ayarlaması (bundle adjustment) ile iyileştirir.
Üçüncüsü, yoğun eşleştirme aşamasında sistem, görüntü çiftlerini epipolar çizgileri yatay tarama çizgileriyle hizalanacak şekilde büker, ardından neredeyse her piksel için bir derinlik değeri tahmin etmek üzere bir tarama çizgisi stereo eşleştiricisi çalıştırır. Multi-View Stereo (Çoklu Görünüm Stereo) adı verilen, çakışan birçok görünüm boyunca pikselleri eşleştirerek yoğun derinlik tahmini yapan genel teknik, işini burada yapar. Dördüncüsü, 3D model oluşturma aşamasında, tekil derinlik haritaları genellikle üçgensel bir ağ (mesh) olarak tutarlı tek bir yüzeyde birleştirilir ve doğrudan orijinal video karelerinden dokulandırılır. Makale, bunu uçtan uca oyulmuş bir taş kabartma üzerinde gösteriyor ve sıradan bir video görüntüsünden başka hiçbir şey kullanmadan tam dokulu bir ağ (mesh) yeniden oluşturuyor.
Bu iş hattı gerçekten etkileyicidir ve bugün hâlâ birçok profesyonel düzeyde 3D tarama yazılımının temelini oluşturmaktadır. Ancak yapısal bir maliyeti de beraberinde getirir: aralarında yeterli paralaks bulunan birçok çakışan kareye, dikkatli kare seçimine ve her aşamada yinelemeli optimizasyona ihtiyaç duyar. Hacme ve hassasiyete duyulan bu bağımlılık, tam olarak yapay zeka tabanlı yöntemlerin kısayoldan çözmeye çalıştığı darboğazdır.
Yapay Zeka Dönüşümü: NeRF, Gaussian Splatting ve Video Diffusion
"Yapay zeka ile videodan 3D'ye" ifadesinin bir pazarlama sloganı olmaktan çıkıp belirli, yayımlanmış araştırmalara işaret etmeye başladığı nokta burasıdır. İşin büyük kısmını üç teknik yapar: NeRF ve Gaussian Splatting, ortaya çıkan 3D sahnenin nasıl temsil edildiğini değiştirir; video diffusion ise en başta geçerli bir girdi olarak neyin sayıldığını değiştirir.
Neural Radiance Fields (NeRF), bir 3D sahneyi, bir 3D konum ve bakış yönünü girdi olarak alıp bir renk ve yoğunluk değeri veren bir sinir ağı olarak temsil etme yöntemidir; bu değerler daha sonra herhangi bir bakış açısından fotogerçekçi bir görüntü render etmek için kamera ışınları boyunca örneklenebilir. Köşe noktaları ve yüzeyleri olan açık bir ağ (mesh) yerine NeRF, bir şey görebilmek için sorgulanması ve entegre edilmesi gereken örtük bir fonksiyondur; bu da onu fotogerçekçi render için mükemmel ama bir oyun motoruna aktarmak için elverişsiz kılar.
3D Gaussian Splatting, her biri kendi konumuna, boyutuna, yönelimine ve rengine sahip binlerce küçük, yarı saydam 3D Gauss "yumağından" oluşan ve ekrana izdüşürülüp harmanlanarak gerçek zamanlı render edilebilen bir sahne temsilidir. Örtük sinir fonksiyonunu açık, "splatlanabilir" nokta benzeri bir temsille değiştirerek NeRF'in en büyük pratik sorununu, acı verici derecede yavaş render süresini çözer.
Ancak "videodan 3D'ye" için daha ilginç olan dönüşüm, problemin girdi tarafının yeniden çerçevelenmesinden geliyor. Chen ve arkadaşları, 2024 tarihli "V3D: Video Diffusion Models are Effective 3D Generators" makalesinde, bir nesnenin etrafında dönen bir kamera videosunun, işlevsel olarak yapılandırılmış bir çoklu görünüm görüntü setiyle aynı olduğunu gözlemlemiştir. Yöntemleri, kısa yapay zeka video klipleri üretmek için kullanılan aynı üretici model sınıfı olan bir video diffusion modelini ince ayar yaparak bir nesnenin etrafını dolaşan pürüzsüz, tutarlı bir kare dizisi sentezler, ardından bu üretilmiş diziyi bir 3D Gauss veya mesh yeniden yapılandırma adımına besler. Buradaki temel içgörü, tutarlı bir çoklu görünüm dizisi üretmenin ve kısa bir video üretmenin matematiksel olarak aynı görev olduğudur. Bu, klasik SfM'den anlamlı biçimde farklı bir yaklaşımdır: onlarca gerçek, çakışan fotoğraf talep etmek yerine, eksik bakış açılarını üretir ve bunlardan yeniden yapılandırma yapar.
Bunun neyi kanıtladığına ve neyi kanıtlamadığına dikkat edin. Bu, "birçok tutarlı bakış açısını" bir video üretim problemi olarak ele almanın geçerli ve verimli bir teknik çerçeveleme olduğunu gösteriyor. "Video yükleyin" diyen her aracın tam olarak bu iş hattını çalıştırdığı anlamına gelmiyor ve klasik SfM'nin yaptığı gibi rastgele gerçek dünya görüntülerini yeniden yapılandırmaya da genişlemiyor.
Hızlı Referans: Temel Terimler
- Fotogrametri: fotoğraflardan ölçülebilir 3D şekilleri yeniden oluşturma.
- Structure-from-Motion (SfM): bir sahnenin 3D yapısını ve kamera konumlarını 2D görüntülerden birlikte geri kazanma.
- Multi-View Stereo: çakışan birçok görünüm boyunca pikselleri eşleştirerek piksel başına yoğun derinlik tahmini yapma.
- NeRF: herhangi bir 3D nokta ve bakış yönü için renk ve yoğunluk çıktısı veren, ışın örneklemesiyle render edilen bir sinir ağı.
- 3D Gaussian Splatting: birçok küçük 3D Gauss ile temsil edilen ve izdüşüm ile harmanlama yoluyla gerçek zamanlı render edilen bir sahne.
- Videogrametri: tek tek çekilmiş fotoğraflar yerine videodan çıkarılan kareler üzerinde uygulanan fotogrametri.
Statik Nesneler ve Dinamik Sahneler: İki Farklı Problem
Yukarıda anlatılanların tamamı, bir sandalye, bir heykel veya bir ürün gibi statik bir nesneyi ya da sahneyi, bir kez oluşturulduktan sonra değişmeyen bir modele dönüştürmeyi anlatıyor. Bu, insanların hareket ettiği, sıvıların döküldüğü veya ateşin titreştiği dinamik bir sahneyi, yeni bakış açılarından yeniden oynatılabilecek şekilde yakalamaktan farklı bir problemdir. Bu ikisini birbirine karıştırmak, "videodan 3D'ye" konusundaki kafa karışıklığının büyük bölümünün kaynağıdır; ayrıca bu, soranın kim olduğuna bağlı olarak gerçekte iki farklı şey anlamına gelen "3D video nasıl yapılır" arama sorgusunun ardındaki ayrımdır.
Li ve arkadaşlarının CVPR 2022'de yayımlanan ve yaygın olarak DyNeRF adıyla anılan "Neural 3D Video Synthesis from Multi-view Video" başlıklı makalesi, ikinci problemi doğrudan ele alıyor. Kurulum, sabit konumlardan aynı hareketli sahneyi eş zamanlı kaydeden 18 ila 21 senkronize GoPro kamerasından oluşan bir düzenek kullanıyor. DyNeRF, NeRF fikrini, kare başına bir tane olacak şekilde öğrenilmiş, zaman indeksli gizli kodlar (latent codes) kümesiyle genişletiyor, böylece aynı sinir ağı sahnenin görünümünün ve geometrisinin klip boyunca nasıl değiştiğini temsil edebiliyor. Çıktı, kamera düzeneğinin kapsama alanı içinde herhangi bir zaman noktasında ve herhangi bir bakış açısından sorgulayabileceğiniz, ağır çekim veya "bullet time" efektleri için kaydedilen kareler arasında ara değerlemeli anları da içeren bir modeldir. Makale, 10 saniyelik, 30fps, 18 kameralı tam bir kaydı yalnızca 28MB'lık bir modelde temsil ettiğini bildiriyor ve aynı klip için kare kare naif bir NeRF referans yönteminin eğitim için yaklaşık 15.000 GPU saatine ihtiyaç duyacağını, kendi yöntemlerinin ise bunu yaklaşık 1.300 GPU saatine indirdiğini belirtiyor.
Bu sonucun tam olarak ne olduğu konusunda net olmakta fayda var. DyNeRF, içinde sanal bir kamerayı gezdirebileceğiniz, bir VR başlığında geri izleyebileceğiniz türden, yeniden render edilebilir bir 4D hacim üretir. Blender veya Unity'de açabileceğiniz tek bir statik, dışa aktarılabilir üçgen ağ (mesh) üretmez. Bu, gerçekten farklı bir yakalama kurulumu -bir nesnenin etrafında dolaşan tek bir elde kamera değil, bir sahnenin etrafına yerleştirilmiş çoklu senkronize kamera- için gerçekten farklı bir çıktı biçimidir. Gerçekten istediğiniz şey tek bir nesnenin statik bir 3D modeliyse, bu dinamik sahne araştırması, o "video" ile başlasa da, bu iş için yanlış araçtır.
Bugünün "Videodan 3D'ye" Araçları Gerçekte Ne Yapıyor
Tüm bunlar göz önüne alındığında, şu anda çoğu tüketiciye yönelik platformdaki "videonu yükle" düğmesinin arkasında gerçekte neyin çalıştığını sormakta fayda var. Bu alanı sınıflandırmanın yararlı bir yolu, girdi moduna göre ayırmaktır; çünkü bu genellikle altta yatan yeniden yapılandırma tekniği için güvenilir bir sinyaldir.
| Girdi modu | Birden fazla açı gerekiyor mu? | Tipik altta yatan teknik |
|---|---|---|
| Tek görüntü | Hayır, eksik açılar çıkarım yoluyla tahmin edilir veya üretilir | Diffusion tabanlı tek görünümden 3D üretimi |
| Çoklu görüntü (2 ila 4 fotoğraf) | Evet, kullanıcı tarafından doğrudan sağlanır | Klasik üçgenlemeye daha yakın, çoklu görünüm yeniden yapılandırması |
| Metinden çoklu görünüm görüntüsü | Hayır, görünümler bir metin isteminden üretilir | Diffusion tabanlı çoklu görünüm görüntü üretimi |
| "Video" (pazarlandığı şekliyle) | Fiilen evet, sadece aracın içinde çıkarılır | Yukarıdaki iş hatlarından birine beslenen kare örnekleme |
Son satırdaki bu örüntü yaygındır: video girdisini reklamını yapan bir platform, çoğunlukla dahili olarak birkaç kareyi çıkarır ve bunları, yukarıda açıklanan diffusion tabanlı yaklaşım gibi video-özgü herhangi bir şey yapmak yerine, fotoğraf yüklemeleri için zaten çalıştırdığı aynı çoklu görünüm veya tek görüntü iş hattından geçirir. Bu mutlaka kötü bir ürün kararı değildir -iyi bir videodan çıkarılan kareler mükemmel bir çoklu görünüm girdisi olabilir- ama bu, "modelimiz tam video üzerinde eğitildi ve tam video üzerinden akıl yürütüyor" iddiasından farklı bir iddiadır. Gerçekte hangisini kullandığınızı bilmek istiyorsanız, en güvenilir kaynak bir blog yazısının ekran görüntüleri değil, geliştiricilerin entegrasyon yapabilmesi için desteklenen girdi şemalarını doğru biçimde listelemesi gereken platformun kendi API dokümantasyonudur.
Projeniz İçin Doğru Platformu Seçmek
Oyun Geliştiriciler İçin
Bir oyun için sahne objeleri, karakterler veya ortam parçaları yakalıyorsanız, genellikle istediğiniz şey yeniden oynatılabilir bir sahne değil, makul bir topolojiye ve UV'lere sahip temiz, statik bir ağdır (mesh). Varlığın iyi seçilmiş birkaç açı çekimini bir çoklu görünüm yeniden yapılandırma hattından geçirmek, tam bir dolaşma videosu yüklemeyi ve aracın sizin için iyi kareler seçmesini ummayı denemekten daha hızlı ve daha öngörülebilir şekilde sonuca ulaştırır. Meshy'nin çoklu görüntü iş akışından geçirilen obje ve karakter referans sayfalarının, üretim varlıkları için ham bir klipten daha iyi sonuç vermesinin nedeni de budur.
E-ticaret ve Ürün Görselleştirme İçin
Ürün görselleştirmesi, bu teknoloji için ideal duruma yakındır: statik bir nesne, kontrol edilebilir aydınlatma ve dönen platform tarzı bir çekim, kasıtlı olarak yapılması kolay bir şeydir. Ürünün etrafında çekilen kısa bir 360 derecelik klip, size çoklu görünüm yeniden yapılandırmasının tam olarak istediği yapılandırılmış, eşit aralıklı bakış açılarını verir; bu kullanım örneğinin demolarda bu kadar sık görülmesinin büyük bir nedeni de budur. O klipten eşit aralıklı dört kare çekin, gerisini Meshy'nin Image to 3D özelliği halledebilir.
Bağımsız Yaratıcılar ve Hobi Amaçlı Kullanıcılar İçin
Bir telefonla çalışıyorsanız ve bir çekim düzeneğiniz yoksa, yukarıdaki araştırmadan gelen iyi haber sizin için de gerçekten iyi bir haber: temel fotogrametri iş hattı, açıkça kalibre edilmemiş, elde tutulan tüketici kameraları için tasarlanmıştı ve bunun üzerine inşa edilen yapay zeka yöntemleri de ekipman konusunda aynı düşük eşiği miras alıyor. Ekipmandan daha önemli olan şey, nesnenin arkasını ve yanlarını gerçekten kapsayan birkaç kare seçmektir. Bir telefon ve Meshy'nin çoklu görüntü çalışma alanı, hiçbir şey satın almadan kullanılabilir bir sonuç elde etmek için yeterlidir.
Bugünün Pratik Yolu: Video Karelerinden 3D Modele
Bu yazıdan çıkarılmaya değer ana fikir şu: bir video temelde yoğun bir 2D görüntü dizisidir ve çoklu görünüm yeniden yapılandırması temelde farklı açılardan birkaç 2D görüntüyü tek bir 3D şekle dönüştüren bir tekniktir. Bu, V3D'nin bir nesnenin etrafını dolaşan bir videoyu çoklu görünüm görüntü seti olarak ele alırken yaptığı mantıksal hamlenin aynısıdır. Bu, tek bir nesnenin sadece bir tane yerine birden fazla referans fotoğrafını kabul eden görüntüden 3D'ye araçlarının arkasındaki mantığın da aynısıdır.
Meshy'nin Image to 3D özelliği, tam olarak bu tür çoklu görüntü girdisini destekler -aynı nesnenin farklı açılardan çekilmiş dört fotoğrafına kadar- ve bu, platformun Meshy 5'ten beri sahip olduğu bir yetenektir. Yapay zeka, bir nesnenin arkasının nasıl göründüğünü tahmin etmek yerine -ki bu tek görüntüden üretimin genel hata modudur- sağlanan her fotoğraftan gerçek geometriyi ve detayı okur. Yalnızca tek bir fotoğraftan yola çıkıyorsanız, Meshy aynı zamanda aynı konunun ek çoklu görünüm görüntülerini üretebilen Flux Kontext tabanlı metin ve görüntü araçları da sunar; bunları daha sonra aynı çoklu görüntü iş akışına besleyebilirsiniz.
Yani "videomu şu anda nasıl bir 3D modele dönüştürürüm" sorusunun pratik cevabı basittir: tüm klibi yüklemeyin. Videoyu ileri geri gezinerek nesnenin açıkça farklı açılarını gösteren üç veya dört kare çekin -ön, yan, arka, belki bir de dörtte üç açısı- ardından bu sabit görüntüleri Workspace içindeki Meshy'nin Multi-View Image to 3D akışından geçirin. Bu manuel bir adımdır ve rastgele sayıda kare değil, üretim başına bir ila dört görüntüyle sınırlıdır; uçtan uca nasıl işlediğini görmek isterseniz bu çoklu görünüm görüntüden 3D'ye kılavuzu, çekim seçimini ve ayarları daha ayrıntılı olarak ele alıyor. Bu yöntem, DyNeRF'in yaptığı gibi hareketli bir sahnenin tamamını yeniden yapılandırmaz ve V3D'nin tarif ettiği video-özgü diffusion iş hattı da değildir. Ama bugün mevcut, gerçek ve işleyen bir yöntemdir; bu yazının baştan sona kaynaklarına kadar takip ettiği aynı altta yatan mantık üzerine kuruludur.
