Постмортем постфокуса: как умерла революционная Lytro

Современная цифровая фотография решила практически все проблемы, которые мог иметь фотограф прошлого. В 2023 году вообще достаточно непросто сделать картинку, которая была бы плоха именно с точки зрения техники.

Шум? Сейчас ISO на гибридных камерах такой конский, что я на A7s искал убежавшего ночью в сад кота, причём с успехом. Экспонирование? Динамический диапазон сенсора в некоторых камерах доходит до 14-15 стопов и можно рассмотреть отражение в глазах чёрной кошки в тёмной комнате, если достаточно высоко приподнять shadows в Capture One. Убегающие от вас дети и звери? Современный следящий автофокус с диплёрнингом способен трекать МКС или луноход на астрофотографиях, не говоря уже о бытовых сценариях.

Единственной ошибкой формата "одна ошибка и ты ошибся" является фокусировка. Промахнулись вы или ИИ мимо нужного объекта? Ну сорян, снимайте либо серией, либо как-нибудь потом переснимете. Нейросети пытаются "додумать" резкость на некоторых смартфонах, но результаты у них получаются разнонаправленные.

Прекрасно эту проблему понимал исследователь из Стэнфорда Рен Нг (Ren Ng, справа), который основал компанию Lytro в 2006 году с целью создать фотоаппарат, который бы позволил менять область фокусировки после того, как вы сделали снимок.

"Ого!", скажете вы. Как такое возможно? На самом деле технологии под названием "пленоптическая камера" уже больше столетия, просто Нг решил создать её коммерческую и цифровую версию.

Внимание! Здесь и далее автор намеренно делает чрезмерные упрощения, дабы сделать статью хотя бы удобоваримой. Если вы отлично знаете оптическую теорию: понять и простить.

Отличие пленоптического фотоаппарата от обычного в том, что камера не только собирает в файл информацию о цвете (длине волн) и свете в сцене, но и полную информацию об интенсивности света и, ключевое, его направлении. Для этого на сенсор установлен массив специальных микролинз, которые позволяют понимать камере с какой стороны приходит луч на носитель. Это называется "записью светового поля", а сами камеры называют "камерами светового поля", хотя слово "пленоптический" как по мне звучит куда лучше.

Впервые эту идею предложили аж в 1908 году (вы вообще удивитесь сколь мало всего в мире цифровой фотографии появилось с нуля) французский учёный Габриэль Липпман, который получил "Нобелевку" за свой процесс репродукции цвета на фотографиях через интерференцию волн.

Липпман изобрёл "полную фотографию" расположив на пластинке с фотоэмульсией стеклянные бусины в случайном порядке, те самые микролинзы. Вдохновением для этого послужили фасеточные глаза насекомых. В теории такая технология позволяла бы смотреть на проявленное изображение под углом в 25 градусов.

На практике система Липпмана из 12 линз так и не была доработана из-за того, что гений французской фотографии так и не придумал как же проявлять полученный результат. Собственно, проявка долгое время являлась главным "затыком" всей пленоптической истории. При этом сами принцип формирования изображения вполне себе развивался и через интерференцию волн, к примеру, работает печатная "голограмма". Те самые голографические наклейки на дисках - это прямые потомки принципов, заложенных Липпманом. Голография тоже записывает и демонстрирует световое поле, но для этого требуются высокоточные лазеры и там всё в целом непросто.

Итак, огромным прорывом для пленоптической фотографии стал полноценный и качественный цифровой сенсор. Теперь массив из тысяч микролинз можно было размещать прямо над сенсором и записывать информацию о цветовых векторах прямо в файл.

Более того, интерпретация этих векторов стала возможной постфактум. Пленоптика, как и 3D в целом так манила, что свои пленоптические эксперименты в нулевых вела даже корпорация Adobe.

Попутно принцип пленоптиченской фотографии развивали в университетах и лидером этой гонки был Стэнфорд, так что нет ничего удивительного что его выпускник в итоге ушёл основывать первую консьюмерскую компанию, которая попыталась вывести пленоптику на рынок.

В момент своего основания в 2006 году Lytro выглядела вполне себе грозно и с претензией. Техническим директором компании выступал Курт Эйкели, бывший основатель культовой Silicon Graphics, а в инвесторы вписались Бен Горовиц и Майк Рэмзи из TiVo.

Чтобы понять откуда исходила такая фанатичная вера в продукт, который век лежал на полке, надо понимать реалии той эпохи. Все верили в 3D, все хотели в 3D (спросите фильм "Аватар" 2009 года) и все хотели вскочить на этот поезд с самой лучшей для этого технологией. Lytro в первую очередь была основана чтобы использовать векторную информацию для постфокуса, но компания вполне себе планировала вскочить и в 3D-гонку с промышленными решениями.

Дальше Нг и его Lytro ждала история стремительного взлёта в духе ранних стартапов Долины. Компания возила свои демки по выставкам и стендам аж целых шесть лет. По слухам, за год до релиза своей первой коммерческой камеры Рен Нг даже консультировал Стива Джобса, якобы чтобы улучшить камеру в iPhone.

И вот в 2012-м году первая коммерческая пленоптическая камера Lytro Light Field Camera вышла. И сказать что шкаф упал громко - ничего не сказать. Во-первых, к тому моменту ажиотаж вокруг 3D начал потихоньку спадать, а многие инженеры почувствовав вкус крови в воде начали отскакивать в куда как более перспективный VR.

Во-вторых, сама камера Lytro ну вот никак не впечатляла. Да, на сенсоре стояло аж 200 тысяч гексагональных микролинз. Компания не говорила "мегапиксели", а утверждала что её камера измеряется "мегаскоплениями". В реальности же пользователь получал достаточно паршивый снимок в 1.2 мегапикселя с просто унизительной фото чувствительностью. Размер сенсора тоже был мизерным, почти мобильным.

Причём качество снимка после того как свет проходил через фильтр Байера и микролинзы падало так сильно, что итоговый результат было легко перепутать с чем-то, снятым на кнопочный телефон. Стоило это чудо 400 долларов и покупали его в основном журналисты для обзоров и вау-эффекта.

Просто так нельзя было посмотреть и готовое изображение. Вам надо было обработать снимок на ПК и залить его на сервера Lytro чтобы наслаждаться рефокусом в специальном плеере. Естественно, тот умер вместе с компанией и в 2023-м я так и не смог найти интерактивный пример работы технологии, все архивы просто были вытерты из интернета. Как же прекрасно облачное будущее, словами не описать.

Не сильно помогал первой Lytro и форм-фактор, который был очень красив на картинках, но использовать эту камеру по своему прямому назначению было настоящей пыткой.

Прекрасно понимая, что фокус не удался (простите), Рен Нг практически мгновенно дистанцировался от компании и отскочил назад в фундаментальное образование. Lytro же продолжила прожирать вертолётные деньги инвесторов и с новым релизом решила сконцентрироваться на продаже технологии (её купили в HTC всего один раз для неудачной камеры в One M8) и развитии профессиональных решений.

В 2015-м компания выпустила свою вторую пленоптическую камеру, на этот раз беззеркалку с несменным зум-объективом Lytro Illum. Она стоила 1600 долларов, предлагала низкое качество картинки, для обработки всё ещё был нужен специфический софт, а в итоге вы всё равно получали 4 мегапикселя, причём далеко не всегда приемлемого качества.

Illum в пух и прах разнесли даже техножурналисты (ошибочно посчитавшие пленоптику будущим фотографии), но все сошлись во мнении, что Lytro умерла со стилем. Камера и вправду была очень красивой.

Под конец своего существования Lytro попыталась вскочить на набирающий обороты рынок VR-камер, но деньги кончились раньше амбиций и в 2018-м первая и единственная потребительская пленоптическая компания обанкротилась, а львиная доля её сотрудников по обоюдному согласию перешла в Google.

При этом не стоит думать, что такая судьба постигла всю технологию. Raytrix, основанная примерно в то же время, вполне успешно продаёт камеры светового поля в промышленность, медицину и оптику. У немецкой компании огромное количество партнёров в области медицины и дефектологии (пленоптика потрясающе показывает невидимые другими средствами контроля микротрещины) и она просто делает своё дело, а не раздаёт в прессу типичные для долины залихватские интервью.

Надо понимать и то, что даже Lytro не удалось решить главную беду пленоптики для потребителя: проявка готового снимка всё ещё была долгим и утомительным занятием, требовала ПК и ПО, плюс была слишком тяжеловесна для обработки данных глубины в реальном времени.

Другой нож в спину пленоптике нанесла вычислительная фотография. Вполне себе двухмерная камера научилась строить карты глубины (а позже ей стал помогать лидар), а нейросети и процессоры так быстро стали обрабатывать и преобразовывать входящую информацию в полезные данные, что надобность в особенных камерах с массивом микролинз просто отпала. Дешевле напичковать устройство камерами высокой чёткости, лидарами и мощным чипом, чем возиться со сложной технологией, которая громоздится над сенсором в несколько слоёв.

Увидим ли мы камбэк пленоптики? Почему бы и нет, она бы пригодилась в качестве камеры, к примеру, для второй ревизии шлема Apple Vision Pro. При условии что хоть кому-то удастся решить проблемы низкого динамического диапазона и несравнимо более высокой вычислительной нагрузки. А до тех пор пленоптика лишь сноска в истории камер, а Lytro - показательный пример хайпа новых технологий без осознания их выживаемости, который лёг в один гроб с 3D-телевизорами.