Airon LLC, Depth Vision™

В этом уроке мы познакомимся с основами и принципами работы алгоритмов фотограмметрии. Это позволит, понимая суть работы, не делать грубых ошибок при подготовке фотоматериала, сэкономит массу вашего времени и сделает процесс работы более доступным и комфортным! И так приступим.

С теоретическими основами фотограмметрии Вы можете ознакомиться по ссылке http://ru.wikipedia.org/wiki/Фотограмметрия, мы же рассмотрим понятие фотограмметрии применительно к программному обеспечению Depth Vision™. Математические основы будут упрощены для повышения доступности материала.

Для начала следует понимать, что фотография это плоское изображение, и мы можем извлечь из оной лишь двухмерные координаты точек объекта, в привычных для нас из школьного курса геометрии координатах X и Y. Соответственно, произведя съемку с двух различных точек одного и того же объекта, мы получаем второе изображение, где те же точки имеют определенное смещение, относительно тех же точек на первом изображении (параллакс). Чем ближе расположены точки к камерам, тем больше параллакс. Соответственно, чем дальше расположены точки от местоположения камер при съемке – тем смещения меньше. Измеряя смещения точек, и сопоставляя их на разных изображениях, мы имеем возможность вычислять глубину этих точек, т.е. координату Z. Вот так просто работает этот метод! Для повышения доступности материала мы опустили такие важные необходимые параметры, которые необходимо учесть при вычислении координат, как дисторсия линз, фокальное расстояние, соотношение и пропорции матрицы фотокамеры, предварительное вычисление и ориентация положения камер и другие не мене важные параметры. Все это, конечно же, важно, но принцип, описанный выше, является фундаментальным понятием фотограмметрии

Для вычисления трехмерных координат точек при фотограмметрической реконструкции объектов необходимо минимум два изображения. Извлечь трехмерные координаты точек объекта, имея одно изображение, невозможно!(рисунок 1)

Следующее важное следствие(рисунок 2)

Чем больше изображений фотосъемки, тем большее количество точек можно будет реконструировать в трехмерную модель и тем точнее будет общий результат реконструкции.

Выполнив два снимка с двух различных точек, мы видим, что, по крайней мере, задняя, невидимая для выбранных ракурсов часть объекта, не будет видна для сканирования. Соответственно, что бы получить полную реконструкцию объекта, мы должны выполнить съемку со всех доступных точек, так что бы все части сканируемого объекта попали в фотосет. Руководствуясь первым правилом, каждый участок объекта должен быть как минимум на двух фотографиях, чтобы была возможность извлечь трехмерные координаты точек этого участка. Из нашего опыта, для получения более точного результата следует стараться иметь три таких фотографии с повторяющимися участками объекта сканирования(рисунок 2). И так следует вывод –

Чем больше фотографий и ракурсов съемки, тем выше качество сканирования и тем больше частей объекта будет реконструировано в трехмерную модель. Снимайте объект со всех доступных сторон!

Попробуем рассмотреть следующее важное понятие. Методы фотограмметрии анализируют схожие участки изображения для выявления параллакса. Человеческий глаз без проблем может сказать точно, к примеру, что вот этот цветок и эта точка на лепестке одной фотографии, совпадает с таким же цветком и такой же точкой на другой фотографии, но чуть развернута и уменьшена. До появления компьютеров люди вручную измеряли смещение при помощи линеек на самых обычных бумажных фото и методом триангуляции извлекали трехмерные координаты точек и их ориентацию в пространстве. Человеческий мозг, в данном случае, идеальный аналитический инструмент определения сходных участков на различных фотографиях. Но компьютер работает только с математическими моделями определения и описания. Утилит, которые позволяют различными методами сопоставлять «похожие» или идентичные участки изображения, достаточно большое количество. Проще говоря, перед компьютером стоит задача, найти условно «цветок» на одном изображении и, сопоставив его с изображением «цветка» на другом, четко идентифицировать, что это один и тот же «цветок». И затем произвести все ту же триангуляцию, вычислить положение и ориентацию точек объекта, т.е. отсканировать его поверхность.

Собственно основное время расчетов тратится на то, что бы определить и сопоставить различные участки набора фотографий и выявить идентичные. Алгоритмы Depth Vision™ находят эти участки, вычисляют их параллакс, искажения и восстанавливают по ним их трехмерные координаты. Если алгоритм не может найти какому-либо участку одной фотографии хотя бы одно соответствие из оставшихся фотографий, то эта часть не будет реконструирована в трехмерную модель. Соответственно, впоследствии на этом месте трехмерной модели будет дырка. Самая плохая ситуация когда на поверхности сканируемой модели слишком много похожих участков и тогда алгоритм может дать сбой и реконструировать лишь небольшую часть объекта или вовсе не реконструировать его. Позже, из детальных рекомендаций по подготовке вашего фотоаппарата, площадки или студии перед съемкой, мы узнаем, как можно минимизировать подобные проблемы и достичь максимального качества сканирования объектов.

Вернемся к поверхностям, которые по-разному, в зависимости от своих физических и визуальных свойств, поддаются реконструкции. Сканированию плохо поддаются ровные без искажений поверхности. Например, пластмасса, обои без рисунка, мышка компьютера и т.д. Соответственно поверхности, на которых есть разнообразный не повторяющийся рисунок (лист журнала с разноцветной рекламой и разнообразным шрифтом, деревянный рисунок стола естественного дерева, кирпичная стена с трещинами и выбоинами, скульптура или памятник из природного камня, лицо человека) отлично подходят для сканирования. Посмотрите на эти изображения, где на примерах показано какие объекты будут реконструированы, а какие нет. Отсюда следует сделать важный вывод(рисунок 3. 3a и 3b):

Сканированию поддаются объекты, имеющие стохастический (разнообразный и различный на всех участках) рисунок на своей поверхности! Гладкие объекты и объекты с ровной поверхностью могут быть реконструированы частично, либо вообще не могут быть отсканированы методом фотограмметрии!

Что же делать, если все-таки необходимо отсканировать гладкий без ярко выраженного рисунка объект? Есть несколько вариантов решения вопроса.

Рассмотрим тестовые изображения. В данном тесте это контролер игровой приставки Microsoft® XBOX 360™ из отличной пластмассы с очень красивым дизайном, но, к сожалению, с совершенно гладкой поверхностью без какого либо рисунка. Ко всему прочему кнопки еще и полупрозрачные. Попробовав реконструировать этот объект «как есть» мы получим весьма удручающий результат.

Попробуем нанести на поверхность контролера рисунок специальной матовой цветной пастой. Каким образом это лучше сделать Вы можете увидеть вот на этом изображении(рисунок 4b). На кнопки нанесем непрозрачный матовый состав.

Произведем съемку фотосета для последующей обработки и сканирования. Теперь мы можем наблюдать результат на представленных здесь изображениях(рисунок 4c). Отсканировано более 95% поверхности объекта! Это отличный результат для фотограмметрического сканирования такого проблемного объекта. Еще раз посмотрим, для сравнения, на качество и точность сканирования до нанесения пасты и после.

Отсюда можно вывести следующее правило в рамках использования технологии Depth Vision™:

Отражающие, блестящие и полупрозрачные объекты не поддаются фотограмметрическому сканированию!

(рисунок 4 и 4a)

Пожалуй, последний, но не менее важный момент, который Вам необходимо будет уяснить - при реконструкции методами фотограмметрии чрезвычайно важно знать положение и ориентацию точек съемки друг относительно друга. Проще говоря, вычислить расстояния и угол поворота камер относительно друг друга. В большинстве программного обеспечения наших конкурентов для этого, Вас попросят разместить какие либо маркеры рядом или же на поверхности сканируемого объекта (кстати, это не всегда срабатывает т.к. не всегда имеется возможность при съемке держать маркеры в кадре). Чаще, Вас принудят вручную ориентировать и указывать точки ориентации камер на каждом изображении! А для правильной ориентации таких точек должно быть не менее шести (это принцип ориентации любой геометрической сущности в трехмерном пространстве, но сейчас не это самое главное). Теперь представьте, что у Вас фотосет в 50-60 фотографий и сколько манипуляций Вам необходимо произвести, если на каждом фото надо указать минимум 6 точек и сопоставить с другими изображениями!

Технология Depth Vision™ полностью избавляет Вас от этой утомительной процедуры. Правда, следует соблюдать следующее правило: фон сканируемого объекта должен содержать как можно более разнообразный рисунок – стохастический рисунок. Листва, разломы, различные вмятины, потертости или другие достаточно контрастные объекты – это отличные маркеры по которым Depth Vision™ автоматически сориентирует камеры! Чуть ранее мы обсуждали поверхности пригодные для сканирования фотограмметрическим методом. Так вот здесь мы имеем точно такой же принцип работы: чем больше различных по форме, размерам, яркости и цвету объектов на фоне сканируемого объекта, тем выше качество ориентации камер в пространстве друг относительно друга. И так сформулируем последнее важное для нас правило(рисунок 5 и 5a):

Делайте фотосъемку объекта с как можно более стохастическим фоном для возможности генерации как можно большего количества точек привязки – маркеров! Чем меньше точек привязки, маркеров, положения камер тем ниже точность реконструкции!

Объединим все эти важные понятия фотограмметрии применительно к технологии Depth Vision™ вот в такую маленькую памятку:

• Перед съемкой убедитесь, что свойства поверхности приемлемы для метода фотограмметрического сканирования. Нанесите пасту или раствор, которые сделают поверхность вашего объекта матовой и без ровных, низкочастотных участков в плане цвета и контрастности.

• Используйте при студийной съемке подкладку в виде стохастического высокочастотного рисунка или же при съемке на открытой местности яркий и разноцветный фон для того, что бы при реконструкции сгенерировалось как можно больше точек привязки, которые впоследствии максимально точно сориентируют положение ваших камер и позволят получить наиболее качественный результат сканирования объекта.

• Делайте как можно больше изображений с разных ракурсов, что бы все части сканируемого объекта были минимум на 2х различных фотографиях, а лучше трех или четырех.

На этом наш урок подходит к концу. И так, мы узнали многое об основах и принципах выполнения съемки в соответствии с правилами фотограмметрии. Отличный результат!