- У тебя какая камера в телефоне? - 1 пиксель! (6 фото)

В традиционной цифровой фотосъёмке принято использовать объектив, который формирует световой поток и направляет его на матрицу светочувствительных элементов — ПЗС или КМОП сенсор цифровой камеры. Считается, что чем больше элементов в матрице, тем лучше фотография: 20 миллионов элементов лучше, чем 13 миллионов. Это один из основных показателей качества фотографии, вместе со светосилой объектива и плотностью самих элементов (чем меньше плотность, тем больше физический размер матрицы, тем меньше искажений и наводок дают элементы).

Но что если у фотоаппарата вообще нет объектива, а светочувствительная матрица состоит из 1 (одного) пикселя? Современные цифровые технологии обработки сигналов действительно позволяют очень быстро собрать и обработать световой поток одним-единственным светочувствительным элементом. В этом случае фотоаппарату не нужны не объектив, ни большая матрица. То есть фотоаппаратура заменяется на компьютерные вычисления.

Техника однопиксельной фотосъёмки является частью нового подхода, который называется вычислительной фотографией. Сюда же относятся и другие инновационные вычислительные методы для манипуляций над световым потоком: склейка панорам, расширение динамического диапазона за счёт многократной экспозиции с разными выдержками, камеры светового поля, даже пресловутую щелевую фотосъёмку можно отнести в эту категорию.

В вычислительной фотографии объект съёмки подвергается измерениям, которые затем декодируются для получения изображения. Одна из фундаментальных задач — избавиться вообще от объектива, поскольку это самая дорогая и тяжеловесная часть фотоаппарата. При достаточно мощном процессоре объектив не нужен.

Одно из наиболее перспективных направлений вычислительной фотографии — сжатие измерений (compressive sensing). Именно использование такой техники даёт возможность сконструировать однопиксельную камеру, впервые описанную в литературе в 2008 году. Оригинальная модель однопиксельной камеры представляет собой оптический компьютер, состоящий из одного светочувствительного диода, цифрового микрозеркала (DMD), двух линз и аналого-цифрового преобразователя.

Несмотря на такую примитивную конструкцию с одним фотодиодом камера вполне узнаваемо фиксировала объекты при съёмке. В данном случае цифровое микрозеркало выступает в роли пространственного модулятора света (ПМС) — необходимого элемента любой однопиксельной камеры. В роли ПМС может быть и другое устройство, которое накладывает определённой пространственной модуляции на луч света под управлением компьютера. Так сигнал кодируется, а после его регистрации и записи — раскодируется обратно и формирует изображение.

Реконструкция измерений, сделанных фотодиодом, в виде чёрно-белого и цветного изображений 256×256 пикселей (вторая и третья фотографии) в модели образца 2008 года. На первом изображении — оригинальное изображение

Однопиксельная камера требует проведения тысяч последовательных измерений, где скорость является ключевым фактором. Чем быстрее проводятся измерения — тем лучше (желательно, чтобы объект не двигался во время измерений).

Технологический прогресс не стоит на месте, и сенсоры последнего поколения способны регистрировать сигнал гораздо быстрее, чем предыдущие, что открывает новые возможности для создания однопиксельных камер лучшего качества. В недавнем номере журнала IEEE Transactions on Computational Imaging за 20 марта 2017 года описана современная однопиксельная камера с подсветкой объекта, которая работает во временном масштабе пикосекунд.

Авторы научной работы из лаборатории Media Lab при Массачусетском технологическом институте объясняют, что пикосекундный интервал позволяет различать отдельные фотоны, поступающие на сенсор с различных точек объекта с миллиметровым разрешением. При этом сенсор регистрирует больше информации от этого фотона, чем просто факт поступления (в отличие от обычного пикселя), так что требуется меньше масок в качестве ПМС.

Однопиксельные камеры с интервалом в пикосекунду или меньше создавались и раньше, но они страдали от низкой чувствительности. Хорошую чувствительность демонстрировал Single Photon Avalanche Photodiode (SPAD) — на уровне современных КМОП, но у него была низкая скорость работы, десятки пикосекунд между измерениями.

В новой научной работе описано устройство, которое сочетает в себе преимущества всех однопиксельных камер, созданных ранее: оно работает в масштабе пикосекунд и демонстрирует чувствительность как у SPAD. Эксперименты показали, что для получения качественных изображений в таком временном масштабе измерений им требуется в 50 раз меньше шаблонов подсветки, чем в традиционных однопиксельных камерах. То есть сформировать изображение можно в 50 раз быстрее.

Принцип работы сверхбыстрой однопиксельной камеры образца 2017 года: (a) подсветка с модулированием волнового фронта; (b) измерения времени прихода отражённых фотонов сверхбыстрым всенаправленным сенсором

Принцип работы камеры показан из иллюстрации. Нужно понимать, что каждая точка фотографируемого объекта отражает световой конус. Регистрируя фотоны из конуса, можно делать вывод о форме всего объекта целиком и о расстоянии до каждой точки.

Камера демонстрирует отличное качество фотосъёмки. На следующих образцах приводится сравнение фотографий образца (вверху) обычной однопиксельной камерой с 50 и 2500 шаблонами подсветки (второй ряд), а также однопиксельной камеры новой конструкции (третий и четвёртый ряд). Шаблоны подсветки выбираются из случайного распределения Бернулли в {−1, 1}, как и в эксперименте с обычной однопиксельной камерой. Обратите внимание, что в образцах с новой камеры используется всего 50 шаблонов.

Как видим, у новой разработки качество съёмки гораздо выше даже при кардинальном уменьшении шаблонов подсветки.

Описанная конструкция однопиксельной камеры с активной подсветкой значительно превосходит аналогичные однопиксельные камеры по ряду технических характеристик. Это даёт возможность рассчитывать, что в будущем подобные дешёвые камеры без подвижных частей могут найти практические применение в повседневных бытовых приборах.

Научная работа опубликована 20 марта 2017 года в журнале IEEE Transactions on Computational Imaging (doi:10.1109/TCI.2017.2684624, pdf).