Наука и Техника → Камера светового поля меняет кадр после съёмки

Перед вами не четыре фотографии, сделанные с разной фокусировкой. Это один единственный снимок светового поля, позволяющиий перестраивать себя по желанию (фотографии Lytro).

Молодая американская компания обещает до конца года вывести на рынок камеру, которая революционизирует фотографию. Заявление амбициозное. Но прототип уже существует, и создан он после многолетних исследований.

Основатель стартапа Lytro из Кремниевой долины, глава компании и изобретатель экзотической камеры Рен Нг (Ren Ng) утверждает: «Наша миссия заключается в изменении фотографии навсегда, обычные камеры уйдут в прошлое».

*****

Если верить Lytro, то пользователям не придется беспокоиться о подборе времени экспозиции, диафрагмы, фокусировки и должного освещения с новой камерой. И дело не в автоматике, которая, как можно подумать, сама устанавливает указанные выше параметры перед съёмкой. Нет, новинке просто не нужны такие настройки, чтобы успешно снять сюжет.

Камера Lytro готова запечатлеть любую сцену менее чем через секунду после включения аппарата. Да, у новой камеры нет задержки между «сном» и собственно моментом спуска. Не нужно нажимать кнопку наполовину и ждать пока аппарат наведёт фокусировку. Ею Lytro вовсе не занимается. Но после происходит «чудо».


Продвинутая технология неотличима от магии: каждый кадр, выполненный по новой методике, вовсе не занимает в памяти объём, как сотни традиционных кадров, но при этом позволяет менять фокус постфактум (фотографии Lytro).

Используя полученный при съёмке файл, специальная программа может произвольно менять глубину резкости и фокусировку кадра. Достаточно просто щёлкнуть мышкой на нужном объекте — предмете первого, второго или третьего плана, как эти участки становятся резкими, а другие размываются.

Причём речь не идёт об искусственном «замыливании» в стиле фотошопа. Все проявляющиеся и вновь уплывающие в туман изображения — реальные. Всё работает так, словно вы сделали в один момент несколько десятков, а то и сотен кадров с фокусировкой, установленной на разное расстояние.

Как происходит перефокусировка после съёмки — можно опробовать самому в картинной галерее Lytro, а ещё посмотреть в ролике ниже.



Секрет технологии заключается в том, что новая камера записывает в память так называемое световое поле (light field). Если говорить упрощённо, световое поле полностью определяет вид сцены, а представить его можно как совокупность всех лучей, проходящих от всех точек окружающей обстановки во всех направлениях.


Упрощённое представление светового поля (иллюстрация Lytro).

В новой камере в качестве датчика задействован спроектированный компанией сенсор светового поля. В отличие от обычной матрицы, он получает и сохраняет в цифровом снимке информацию не только о яркости и цвете прошедших через объектив лучей, но и о направлении, с которого они пришли. Это последняя информация теряется в обычной камере, поясняет Lytro.


Камера Lytro сохраняет раздельную информацию о лучах света, пришедших в объектив с разного расстояния и под разными углами (иллюстрация Lytro).

В результате, записанные светочувствительной матрицей данные, позволяют за счёт программного алгоритма не только менять глубину фокусировки в конечном кадре, но в некоторых пределах смещать перспективу всей сцены и даже плавно переходить от 2D к 3D. Звучит фантастично, но именно такую технику обещает вывести на рынок компания Lytro.


Нг — выпускник Стэнфорда (Stanford). В руках учёный держит серийную цифровую камеру, которую команда Рена перекроила в прототип Lytro, использовав ряд магазинных и самодельных деталей (фото с сайта k9ventures.com).

Если копнуть глубже, в технологии открываются любопытные подробности. Скажем, свой сенсор светового поля Нг придумал не на пустом месте. В своей работе Рен отталкивался от принципа так называемой пленоптической камеры (plenoptic camera).

Учёным такая камера известна уже много лет, но до сих пор кочует как эксперимент из института в институт. До потребительского рынка она так и не добралась.

Задача пленоптической камеры заключается в получении намного более полной информации о сцене, нежели это возможно с камерой классической. Кстати, попытки такой всеохватывающей съёмки предпринимались не раз. Но в отличие, к примеру, от похожей работы Mitsubishi Electric, где для захвата светового поля применялось сочетание сенсора и кодирующей маски, в пленоптической камере между основным объективом и матрицей размещается массив из большого множества микролинз.

Каждая такая линза передаёт свет на относительно небольшую группу пикселей в приёмной матрице. Все вместе они формируют мозаику, содержащую больше данных о световых волнах, чем кажется на поверхностный взгляд.


Так плеоноптическая камера фиксирует сцену (иллюстрация Ren Ng).

Взяв исходные пиксели, путём решения довольно сложных уравнений, можно получить представление о сцене в большем разрешении, чем имеется в отдельном фрагменте мозаики.

При этом расстояние от объектива до снимаемых объектов не играет никакой роли. Зная законы распространения света, можно подобрать такую обработку, что каждый предмет нарисуется точно в фокусе.


Часть снимка, полученного с помощью массива микролинз, лежащих прямо перед матрицей (но с определённым зазором). Справа вверху — ещё более увеличенные фрагменты (на основном кадре обведены квадратами), внизу — синтезированный результирующий кадр (иллюстрация Ren Ng).

Однако, у пленоптических камер есть проблемы. Скажем, размер микролинз и их соотношение с пикселями матрицы, лежащей внизу, расстояние между микролинзами и матрицей — все эти параметры сочетаются между собой так, что вам сложно получить хорошую фокусировку одновременно с высоким разрешением картинки под каждой микролинзой. Что-то удаётся вытянуть, что-то пропадает.

При этом важно, что набор таких миниатюрных изображений несёт информацию не только о яркости и цветах разных точек, но и о расстоянии от камеры до той или иной части сцены. Что будет, если все эти знания объединить? Если упрощать задачу, вопрос перед авторами технологии стоял такой: можно ли из сырых и грубых изображений под микролинзами вычислить всю обстановку со всеми её деталями?

Чтобы ответить на него, Нг подвёл под работу плеоптической камеры целую теорию о различных способах представления световых полей и различных математических преобразованиях с ними, а в результате спроектировал свой аппарат (с сопутствующим софтом), который способен на описанные выше трюки.

(Подробнее о научной части проекта можно узнать в PDF-документе, а немного деталей из истории появления Lytro и предшествовавшей ей работе специалистов Стэнфорда — в блоге венчурной компании K9, помогавшей Рену осуществить мечту.)


Микрорешётка квадратных линз, использованная в экспериментальном прототипе. Её размерность — 296 х 296 линз. Линзы эти покрывают почти 100% площади. Эта решётка была помещена поверх светочувствительной матрицы с разрешением 4096 х 4096 пикселей. Внизу показана сборка этих узлов (фотографии Ren Ng).

Камера Lytro работает при слабом освещении без вспышки, а ещё она может производить 3D фотографии с одним объективом, приводит PC World слова представителей компании.

С трёхмерностью, честно скажем, не всё понятно. Чтобы её получить, нужно снимать объект хотя бы с двух точек зрения. Вероятно, в данном случае, за счёт той самой решётки микролинз, можно отснять сцену так, будто мы располагаем двумя объективами.

Расстояние между ними, в данном случае, это диаметр основного объектива. Деталей, однако, Lytro не раскрывает, как и не показывает пока трёхмерные «Lytro-снимки».

Увы, остаются неясными многие аспекты работы камеры и софта, но главное нет ответа на вопрос — какой же конечный продукт американцы намерены вывести на рынок?

Не указаны ни точная дата появления Lytro в продаже, ни цена, ни даже форм-фактор новинки (будет ли это «мыльница», или увесистая «зеркалка»). Так что желающим приобщиться к революции в фотографии следует ещё немного подождать.