TL;DR Сьогодні жоден популярний ШІ-інструмент не перетворює довільне відео на 3D-модель повністю автоматично, від початку до кінця. Платформи, які рекламують «відео в 3D», майже завжди витягують кілька окремих кадрів і пропускають їх через ті самі конвеєри реконструкції з кількох ракурсів або з одного зображення, що використовуються для завантажених фотографій. Реальна технологія, що стоїть за «відео в 3D», охоплює класичний Structure-from-Motion (щільні кадри, калібрування камери, побудова сітки), NeRF і 3D Gaussian Splatting (нейронні або точкові представлення сцени), а також новіші методи відеодифузії, які розглядають кліп із обертанням на 360° як набір зображень із кількох ракурсів. Для статичного об'єкта сьогодні найнадійніший шлях — вибрати 3–4 чіткі кадри з різних ракурсів із вашого відео і пропустити їх через інструмент реконструкції з кількох зображень, а не завантажувати весь кліп.
Введіть у пошук «перетворення відео на 3D-модель», і ви отримаєте два зовсім різні типи результатів. Одні інструменти обіцяють перетворити відео з телефону на 3D-об'єкт, який можна імпортувати в Blender або Unity. Інші пропонують щось ближче до 3D-відео: записану сцену, яку можна поставити на паузу і «пройтися» всередині неї, — це більше схоже на запис голограми, ніж на модель, яку можна експортувати. Це не один і той самий продукт, і сплутати їх — найшвидший спосіб купити не той інструмент.
Ця стаття розводить ці два поняття, починаючи з того, звідки насправді походить базова технологія. Ми пройдемося класичним конвеєром комп'ютерного зору, який уперше зробив можливою 3D-реконструкцію на основі відео, методами на основі ШІ, що змінили економіку цієї задачі, та чесними межами того, що реально можна доставити сьогодні. Кожне технічне твердження нижче можна простежити до опублікованої наукової статті, а не до маркетингових матеріалів. Наприкінці у вас буде робочий процес, яким можна дійсно скористатися, а не обіцянка з дорожньої карти.
Що насправді означає «відео в 3D»
Відеограмметрія — це практика реконструкції тривимірної геометрії з послідовності відеокадрів, а не з набору окремо знятих фотографій. Це формальна назва того, що більшість людей мають на увазі, коли вводять у рядок пошуку «перетворення відео на 3D-модель».
На практиці «відео в 3D» — це зручний для пошуку складений термін, а не єдиний алгоритм. Відео — це, по суті, щільна послідовність нерухомих зображень, які знімаються з фіксованою частотою, зазвичай 24–60 кадрів за секунду. Щойно система визначає, які кадри дійсно важливі, задача «відео в 3D» зводиться до тієї самої базової задачі, що й «зображення в 3D»: з'ясувати, як набір 2D-зображень пов'язаний із 3D-сценою, а потім реконструювати геометрію, яка породила ці зображення. Різні інструменти розв'язують цю задачу за допомогою різної математики, і саме вибір математичного апарату визначає, що ви отримаєте на виході — модель статичного об'єкта, повну сцену чи момент часу, який можна відтворити знову. Решта цієї статті розглядає реальні техніки, щоб ви могли зрозуміти, яку саме з них насправді використовує той чи інший інструмент.
Класична основа: фотограмметрія та Structure-from-Motion
Фотограмметрія — це наука про вимірювання та реконструкцію 3D-форм на основі фотографій, а Structure-from-Motion (SfM) — це конкретна обчислювальна техніка, яка одночасно відновлює 3D-структуру сцени та рух камери з набору 2D-зображень. Жодна з цих технологій не є новою. Задовго до появи ШІ дослідники вже створювали повноцінні системи, які на основі необробленої відеопослідовності отримували текстуровану 3D-сітку.
Один із найяскравіших прикладів — система, описана Pollefeys et al. у статті, яка так і називається "Video-to-3D", створена в K.U. Leuven та Університеті Північної Кароліни. Вона обробляє некалібровану відзняту з рук відеозйомку у чотири етапи. Спочатку, на етапі зіставлення зображень, система відстежує характерні точки в кадрах і за допомогою статистичного тесту визначає, чи краще рух між двома ракурсами пояснюється плоскою площиною (гомографія), чи справжнім 3D-паралаксом (епіполярна геометрія). Це рішення визначає, який кадр підвищується до статусу «ключового кадру», придатного для реконструкції. Далі, на етапі відновлення структури й руху, система тріангулює відстежені точки в розріджену 3D-хмару точок і обчислює позу кожної камери — спочатку в некаліброваній проєктивній формі, а потім, завдяки етапу самокалібрування, підвищує її до метричної реконструкції в реальному масштабі, і протягом усього процесу вдосконалює результат методом bundle adjustment — глобальної оптимізації методом найменших квадратів за всіма похибками репроєкції.
Далі, на етапі щільного зіставлення (dense matching), система деформує пари зображень так, щоб їхні епіполярні лінії збігалися з горизонтальними рядками сканування, а потім застосовує стереозіставлення по рядках, щоб оцінити значення глибини майже для кожного пікселя. Саме тут у дію вступає Multi-View Stereo — загальна техніка оцінки щільної глибини шляхом зіставлення пікселів у багатьох перекривних ракурсах. Нарешті, на етапі побудови 3D-моделі, окремі карти глибини об'єднуються в одну узгоджену поверхню, зазвичай у вигляді трикутної сітки, і текстуруються безпосередньо з оригінальних відеокадрів. У статті цей процес продемонстровано від початку до кінця на прикладі різьбленого кам'яного рельєфу — повну текстуровану сітку реконструйовано лише зі звичайної відеозйомки.
Цей конвеєр справді вражає і досі лежить в основі багатьох професійних програм для 3D-сканування. Але в ньому закладена структурна ціна: потрібно багато перекривних кадрів із достатнім паралаксом між ними, ретельний відбір кадрів і ітеративна оптимізація на кожному етапі. Саме ця залежність від обсягу даних і точності є вузьким місцем, яке методи на основі ШІ і намагаються скоротити.
Зсув у бік ШІ: NeRF, Gaussian Splatting та відеодифузія
Саме тут «ШІ для перетворення відео на 3D» перестає бути маркетинговою фразою і починає вказувати на конкретні опубліковані дослідження. Основну роботу тут виконують три техніки: NeRF і Gaussian Splatting змінюють спосіб представлення отриманої 3D-сцени, а відеодифузія змінює саме уявлення про те, що вважати придатними вхідними даними.
Neural Radiance Fields (NeRF) — це спосіб представлення 3D-сцени у вигляді нейронної мережі, яка приймає 3D-позицію та напрямок погляду і видає колір і щільність; ці значення потім вибираються вздовж променів камери, щоб відрендерити фотореалістичне зображення з будь-якого ракурсу. Замість явної сітки з вершинами й гранями NeRF є неявною функцією, яку потрібно опитувати й інтегрувати, щоб узагалі щось побачити, — це робить її чудовою для фотореалістичного рендерингу, але незручною для використання в ігровому рушії.
3D Gaussian Splatting — це представлення сцени у вигляді тисяч невеликих напівпрозорих 3D-гаусіанів («плям»), кожен із яких має власну позицію, розмір, орієнтацію та колір і які можна рендерити в реальному часі, проєктуючи й змішуючи їх на екрані. Цей метод вирішує найбільшу практичну проблему NeRF — болісно повільний рендеринг — заміняючи неявну нейронну функцію явним, «розбризкуваним» точковим представленням.
Однак цікавіший зсув для «відео в 3D» полягає в переосмисленні самої вхідної частини задачі. Chen et al. у статті 2024 року "V3D: Video Diffusion Models are Effective 3D Generators" помітили, що відео з камерою, яка обертається навколо об'єкта, функціонально ідентичне структурованому набору зображень із кількох ракурсів. Їхній метод донавчає модель відеодифузії — той самий клас генеративних моделей, що використовується для створення коротких ШІ-відеокліпів, — щоб синтезувати плавну, узгоджену послідовність кадрів навколо об'єкта, а потім передає цю згенеровану послідовність на етап реконструкції у вигляді 3D-гаусіанів або сітки. Ключова ідея полягає в тому, що генерація узгодженої багаторакурсної послідовності та генерація короткого відео — це, з математичної точки зору, одна й та сама задача. Це суттєво відрізняється від класичного SfM: замість того щоб вимагати десятки реальних перекривних фотографій, метод генерує відсутні ракурси і реконструює модель на їх основі.
Варто зазначити, що саме доводить, а що ні. Це показує, що розгляд «багатьох узгоджених ракурсів» як задачі генерації відео є валідним і продуктивним технічним підходом. Це не означає, що кожен інструмент, який каже «завантажте відео», використовує саме цей конвеєр, і це не поширюється на реконструкцію довільних реальних відеозаписів так, як це робить класичний SfM.
Короткий довідник: ключові терміни
- Фотограмметрія: реконструкція вимірюваних 3D-форм на основі фотографій.
- Structure-from-Motion (SfM): одночасне відновлення 3D-структури сцени та поз камери з 2D-зображень.
- Multi-View Stereo: оцінка щільної глибини для кожного пікселя шляхом зіставлення пікселів у багатьох перекривних ракурсах.
- NeRF: нейронна мережа, яка видає колір і щільність для будь-якої 3D-точки та напрямку погляду, що рендериться шляхом вибірки вздовж променів.
- 3D Gaussian Splatting: представлення сцени у вигляді безлічі невеликих 3D-гаусіанів, які рендеряться в реальному часі методом проєкції та змішування.
- Відеограмметрія: фотограмметрія, що виконується на кадрах, витягнутих із відео, а не з окремо знятих фотографій.
Статичні об'єкти проти динамічних сцен: дві різні задачі
Усе, про що йшлося вище, описує реконструкцію одного статичного об'єкта чи сцени — стільця, статуї, продукту — в модель, яка більше не змінюється після побудови. Це інша задача, ніж захоплення динамічної сцени — з людьми в русі, рідиною, що ллється, або вогнем, що мерехтить, — таким чином, щоб її можна було відтворити з нових ракурсів. Саме змішування цих двох задач і породжує значну частину плутанини навколо «відео в 3D», і саме на цьому поділі ґрунтується пошуковий запит «як зробити 3D-відео», який насправді означає дві різні речі залежно від того, хто його ставить.
Стаття Li et al. з CVPR 2022 "Neural 3D Video Synthesis from Multi-view Video", яку зазвичай називають DyNeRF, безпосередньо береться за другу задачу. У цій установці використовується риг із 18–21 синхронізованих камер GoPro, які одночасно знімають одну й ту саму рухому сцену з фіксованих позицій. DyNeRF розширює ідею NeRF набором навчених, індексованих за часом латентних кодів — по одному на кадр, — щоб та сама нейронна мережа могла представляти, як зовнішній вигляд і геометрія сцени змінюються протягом кліпу. Результатом є модель, яку можна опитати в будь-який момент часу і з будь-якого ракурсу в межах покриття рига камер, включно з інтерпольованими моментами між записаними кадрами для ефектів уповільненої зйомки або «bullet time». У статті повідомляється, що повний 10-секундний запис із частотою 30 кадрів/с із 18 камер представлено в моделі розміром лише 28 МБ, і зазначається, що наївний покадровий базовий варіант NeRF для того самого кліпу потребував би приблизно 15 000 годин роботи GPU для навчання — проти близько 1300 годин для їхнього методу.
Варто точно розуміти, що являє собою цей результат. DyNeRF створює 4D-об'єм, який можна повторно рендерити і крізь який можна «пролетіти» віртуальною камерою, — щось на кшталт того, що ви переглядали б у VR-гарнітурі. Це не окрема статична сітка з трикутників, яку можна експортувати й відкрити в Blender або Unity. Це справді інший формат виводу для справді іншої установки захоплення — кількох синхронізованих камер навколо сцени, а не однієї камери в руках навколо об'єкта. Якщо вам насправді потрібна статична 3D-модель одного об'єкта, це дослідження динамічних сцен — не той інструмент, навіть попри те, що воно теж починається з «відео».
Що насправді роблять сьогоднішні інструменти «відео в 3D»
З огляду на все це варто запитати, що насправді відбувається за кнопкою «завантажте своє відео» на більшості споживчих платформ сьогодні. Корисний спосіб розсортувати ці інструменти — за режимом вхідних даних, оскільки це зазвичай надійний сигнал того, яка техніка реконструкції працює під капотом.
| Режим вхідних даних | Потрібні кілька ракурсів? | Типова базова техніка |
|---|---|---|
| Одне зображення | Ні, відсутні ракурси домислюються або генеруються | 3D-генерація з одного ракурсу на основі дифузії |
| Кілька зображень (2–4 фото) | Так, надаються безпосередньо користувачем | Реконструкція з кількох ракурсів, ближча до класичної тріангуляції |
| Текст → зображення з кількох ракурсів | Ні, ракурси генеруються з текстового запиту | Генерація зображень із кількох ракурсів на основі дифузії |
| «Відео» (за заявленим форматом) | Фактично так, просто витягуються всередині інструмента | Вибірка кадрів, яка передається в один із вищезазначених конвеєрів |
Шаблон в останньому рядку є поширеним: платформа, яка рекламує підтримку відео на вході, дуже часто внутрішньо витягує кілька кадрів і пропускає їх через той самий конвеєр для кількох ракурсів або одного зображення, який вона вже використовує для завантажених фотографій, замість того щоб робити щось по-справжньому «відеонативне», як описаний вище підхід на основі дифузії. Це не обов'язково погане продуктове рішення — витягнуті кадри з хорошого відео можуть бути чудовим вхідним матеріалом для реконструкції з кількох ракурсів, — але це інше твердження, ніж «наша модель навчена на повних відео і працює з ними». Якщо ви хочете дізнатися, яким саме підходом ви насправді користуєтеся, найнадійніше джерело — не скріншоти з блогу, а власна документація API платформи, яка мусить точно перелічувати підтримувані схеми вхідних даних, щоб розробники могли інтегруватися з нею.
Вибір правильної платформи для вашого проєкту
Для розробників ігор
Якщо ви знімаєте реквізит, персонажів або елементи оточення для гри, зазвичай вам потрібна чиста статична сітка з прийнятною топологією та UV-розгорткою, а не сцена, яку можна відтворити знову. Кілька вдало підібраних кадрів з різних ракурсів об'єкта, пропущені через конвеєр реконструкції з кількох ракурсів, приведуть вас до результату швидше й передбачуваніше, ніж спроба завантажити повне відео обходу навколо об'єкта в надії, що інструмент сам обере вдалі кадри. Саме тому референс-листи реквізиту та персонажів, оброблені через мультизображенневий воркфлоу Meshy, зазвичай дають кращий результат для продакшн-асетів, ніж необроблений кліп.
Для електронної комерції та візуалізації продуктів
Візуалізація продуктів — це майже ідеальний випадок для цієї технології: статичний об'єкт, контрольоване освітлення, і зйомку на поворотному столику легко організувати навмисно. Короткий кліп на 360 градусів навколо продукту дає саме ті структуровані, рівномірно розташовані ракурси, яких потребує реконструкція з кількох ракурсів, — саме тому цей сценарій використання так часто зустрічається в демонстраціях. Візьміть чотири рівномірно розташовані кадри з цього кліпу, і Meshy Image to 3D зробить решту.
Для незалежних авторів і аматорів
Якщо ви працюєте з телефоном і не маєте спеціального рига для зйомки, хороша новина з дослідження вище стосується і вас: базовий конвеєр фотограмметрії був спеціально розроблений для некаліброваних споживчих камер, знятих з рук, і методи ШІ, побудовані на його основі, успадковують той самий низький поріг вимог до обладнання. Важливіше за обладнання — вибрати кілька кадрів, які дійсно охоплюють задню частину та боки об'єкта. Телефона і мультизображенневого воркспейсу Meshy достатньо, щоб отримати придатний результат, не купуючи нічого додатково.
Практичний шлях сьогодні: від відеокадрів до 3D-моделі
Ось наскрізна ідея, яку варто винести з цієї статті: відео — це, по суті, щільна послідовність 2D-зображень, а реконструкція з кількох ракурсів — це, по суті, техніка перетворення кількох 2D-зображень із різних ракурсів на одну 3D-форму. Це той самий логічний хід, який робить V3D, коли розглядає відео з обертанням як набір зображень із кількох ракурсів. Це також та сама логіка, що лежить в основі інструментів «зображення в 3D», які приймають кілька референсних фотографій одного об'єкта замість лише однієї.
Функція Meshy Image to 3D підтримує саме такий тип вхідних даних із кількох зображень — до чотирьох фотографій одного об'єкта з різних ракурсів, — можливість, яку платформа має ще з Meshy 5. ШІ зчитує реальну геометрію та деталі з кожної наданої фотографії, замість того щоб вгадувати, як виглядає задня частина об'єкта, — а це типова слабкість генерації з одного зображення. Якщо ви починаєте лише з однієї фотографії замість кількох, Meshy також пропонує текстові та графічні інструменти на основі Flux Kontext, які можуть згенерувати додаткові зображення з різних ракурсів того самого об'єкта, — їх потім можна пропустити через той самий мультизображенневий воркфлоу.
Отже, практична відповідь на питання «як мені прямо зараз перетворити своє відео на 3D-модель» проста: не завантажуйте весь кліп. Перегляньте його і виберіть три-чотири кадри, які чітко показують різні ракурси об'єкта — спереду, збоку, ззаду, можливо, під три чверті, — а потім пропустіть ці стоп-кадри через флоу Meshy Multi-View Image to 3D у Workspace. Це ручний крок, і він обмежений одним-чотирма зображеннями на одну генерацію, а не довільною кількістю кадрів; цей покроковий гайд з multi-view image to 3D детальніше розповідає про вибір кадрів і налаштування, якщо ви хочете побачити весь процес від початку до кінця. Це не реконструює цілу рухому сцену так, як це робить DyNeRF, і це не той відеонативний дифузійний конвеєр, який описує V3D. Але це реальний, робочий метод, доступний вже сьогодні, побудований на тій самій базовій логіці, до джерел якої й простежувала ця стаття.
