Google Pixel: В чём секрет камеры смартфона от Google?

Многие считают камеру Google Pixel лучшей. В плане железа она мало чем отличается от конкурентов — главное в софте. Но обработка изображения ИИ есть и у других производителей. Тем не менее Pixel (даже «бюджетный» 3a) на одном месте всех возил. Давайте разберемся, в чем уникальность обработки фото на Google Pixel, и как поисковик стал королем мобильной фотографии.

В современных мобильных камерах алгоритмы обработки важнее, чем железо. Но когда начинаешь разбираться, понимаешь, что камеру Google конструировали гребаные гении. Сегодня расскажу, как это устроено.

Технология HDR+

Многие из вас помнят, что первый телефон, на котором появился знаменитый режим HDR+ был Nexus 5. Но разрабатывался алгоритм не для него и даже не для смартфонов, а для футуристичных Google Glass.

Всё началось в 2011 году, когда глава экспериментального подразделения Google X Себастьян Трун (Sebastian Thrun) обратил внимание, что большую матрицу и оптику в очки не поставить, а снимать как-то надо. Поэтому, единственным выходом оставалось, улучшить картинку софтом. Для решения этой задачи был приглашен профессор Стэнфордского Университета, эксперт в области вычислительной фотографии — Марк Левой.

Именно он в 2011 году выпустил приложение SynthCam для iPhone 4, которое симулировало размытие фона как в зеркалках. Так себе симулировало будем честны. Марк Левой возглавил команду разработчиков, которые назвали себя Gcam.

При разработке алгоритма было сразу заложено 4 принципа, которые сильно повлияли на развитие вычислительной фотографии:

Быть мгновенным  На обработку снимка не должно тратиться более нескольких секунд и все вычисления должны проходить локально на устройстве, а не в облаке, например. А значит, алгоритм должен быть простым для вычисления. Быть автоматическим Никаких ручных настроек. Пользователь должен получать качественные снимки не задумываясь о тонкостях алгоритма. Быть естественным Эффект не должен делать изображение сюрреалистичным, мультяшным. А ночь не должна выглядеть как плохая дневная фотография. Кстати, этот принцип и сейчас заметен: например, Pixel далеко не всегда делает такой ядреный HDR, как конкуренты, хотя мог бы. Быть консервативным HDR+ должен рассматриваться как режим по умолчанию, не содержать артефактов, а результат должен быть, как минимум, не хуже чем обычная фотография.

Эти принципы побудили команду Gcam подойти к работе нестандартно, потому как все остальные решения того времени этим принципам не отвечали.

Обычно в мобильной фотографии динамический диапазон расширяют при помощи техники брекетинга (вилки). Делается несколько снимков: один нормальной яркости, один светлее, один темнее. А потом они склеиваются: тени берутся из светлого снимка, света с темного, остальное с обычного. За счёт этого мы получаем расширение ДД, то есть HDR. Сейчас это умеет любой смартфон.

Но у такого метода есть и недостатки. Во-первых, снимки с разной освещенностью и выдержкой сложно склеить между собой, и поэтому возможны артефакты, типа гоустинга. Во-вторых, совсем не решается проблема с шумами, поэтому из-за агрессивного шумоподавления теряются детали и возникает эффект мокрой губки. В-третьих, при таком методе можно сильно переборщить с компрессией теней и света и на выходе получить неестественную, мультяшную картинку. Все эти проблемы, в той или иной степени, по-прежнему встречаются в смартфонах.

Так что же придумали инженеры Gcam? Они решили, что эффективнее будет склеивать между собой снимки не с разной экспозицией, а с одинаковой, причем чуть недоэкспонированные, т.е. темные или недосвеченные. Звучит нелогично! Чем вообще может помочь склейка темных снимков? А откуда взять информацию в тенях? А как это вообще поможет избавиться от шума? И вот тут начинается магия Google.

Начнём с того, что в этом случае, снимки не склеиваются, а как бы накладываются друг на друга, усредняя информацию о цвете при каждом наложении. На этом не всё. Из-за того что снимки делаются с более короткой выдержкой, они получаются чётче, объекты меньше размываются.

Потом, так как снимки одинаковые по яркости и размытию их становится существенно проще склеивать. И, конечно, с короткой выдержкой снимки делаются быстрее, а значит можно сохранить больше кадров за одно и то же время. За счёт усреднения значения каждого пикселя с разных фото, существенно уменьшается шум, но детали сохраняются.

Плюс ко всему, увеличивается глубина цвета с 10 до 14 бит. И это даёт возможность искусственно высветить тени без видимых артефактов! Звучит всё гениально и просто, но на самом деле алгоритм чрезвычайно сложный, потому как он должен работать во всех условиях при съёмке с рук, не сажать мгновенно батарейку и не выдавать артефактов.

Как работает алгоритм 

Когда вы запускаете приложение камера, оно начинает непрерывно снимать, загружая в циклический буфер от 15 до 30 фотографий, в зависимости от уровня освещённости. В момент, когда вы делаете снимок, запись прекращается и берутся последние кадры из буфера. Из первых трёх кадров выбирается самый резкий, а потом на него накладываются другие снимки исключая фрагменты которые не изменились. Каждый снимок сравнивается покадрово и все измененные области отсекаются. После получения склеенного кадра в дело вступают всякие улучшатели, убираются шумы, аберрации, дымка, виньетка, повышается контраст, резкость и прочее. В этот момент происходит автобаланс белого, дебаеризация, устранение шумов, тональная компрессия, устранение хроматических аберраций, виньетирования, дымки, сглаживание полутонов, гамма коррекция, повышение контрастности, четкости и насыщенности. И это всё автоматически!

При этом для опытных фотографов и просто любителей повыкручивать фотографии в Adobe Lightroom в Pixel 3 появилась возможность сохранять RAW-файлы, полученные в результате объединения нескольких кадров. Они одновременно сочетают в себе все преимущества вычислительной фотографии и при этом остаётся полная свобода творчества.

Конечно, Google не единственный кто умеет в вычислительную фотографию. Вместе с iPhone XS Apple предоставила свою версию магического алгоритма. Со слов Фила Шиллера, технология работает следующим образом. В циклическом буфере вращается 4 кадра с нормальной экспозицией и 4 промежуточных кадра с пониженной экспозицией, а также 1 светлый кадр с более длинной выдержкой. Далее нейронный движок анализирует все кадры и склеивает удачные фрагменты между собой.

Принцип работы похож на вариант реализации от Google, но за счёт того, что нужно склеить снимки с 3 разными экспозициями, такой алгоритм гораздо сложнее реализовать на практике, не получив артефакты типа гоустинга и агрессивной компрессии цвета. Более того, такой метод теоретически должен быть более затратен для вычисления.  Но стоит отдать должное Apple, потому, что они не только успешно это реализовали, но добились вычисления в реальном времени, за счёт плотной интеграции со своим железом. То есть на экране iPhone в камере вы видите то, что получится на фотографии, Google таким похвастаться не может.

Но Google может другое: они реализовали подобный алгоритм и в при съёмке видео вплоть до 30 кадров в секунду, что вообще взрывает мозг!

via GIPHY

Итого, преимущества алгоритма от команды Gcam:

Значительно уменьшаются шумы, практически без потери детализации. Почти полное отсутствие артефактов. Естественная цветопередача. Чёткая краника даже при условии быстрого движения в кадре.

Но у такого подхода, конечно есть недостатки. Во-первых, во время съёмки непонятно, каким получится итоговый снимок, потому как в видоискателе отображается картинка прямиком с матрицы, без особых улучшений. А во-вторых, чтобы посмотреть результат придётся немного подождать пока снимок обработается. И иногда это прям раздражает. Но итоговый результат того стоит!

А если вам интересно поглубже изучить как работает алгоритм полное описание его работы, вплоть до математических формул, есть в свободном доступе на сайте Стэндфордского университета.

 

За подготовку материала благодарим Антона Евстратенко.

droider.ru android Android Видео google Pixel мобильная камера разбор

Кратко по миру / android

14.09.2019 17 vedensky Распечатать

  • Оцените публикацию
    • 0
Реклама на сайте

Похожие публикации

Первый взгляд на Google Pixel 3XL

Осенний и запоздалый флагман от Google - смотрим на фотографии, вырез экрана, сравниваем характеристики и рассуждаем о том, кому он нужен…... 23-08-2018 02:15

Pixel 3 XL впервые на снимках

Инсайдеры опубликовали на форуме XDA Developers галерею с прототипом. На фотографиях можно заметить вырез под фронтальную камеру, дактилоскоп сзади и порт USB Type-C. Якобы Pixel 3 XL от Google Якобы... 08-06-2018 14:13

Флагманы от Google. Pixel 2 и Pixel 2 XL

Вчера Google провели презентацию, где была представлена целая россыпь новых устройств, среди которых – два долгожданных смартфона, Pixel 2 и Pixel 2 XL…... 05-10-2017 02:58

Google Pixel 2 и Pixel 2 XL представлены официально

Сегодня в Сан-Франциско компания Google провела презентацию в ходе которой, помимо множества других устройств, были показаны и обновленные флагманы компании — Google Pixel 2 и Pixel 2 XL. Слухов и... 04-10-2017 22:53

Google скрывает суперфлагман Ultra Pixel?

Блогер Арун Маини опубликовал в YouTube-канале видеоролик, в котором имеется галерея фотографий будущего устройства, сделанных в офисе «Корпорации добра». Якобы Ultra Pixel от Google Якобы Ultra... 29-09-2017 15:23

Google представила «живые» чехлы для Pixel и Pixel XL

В апреле Google анонсировала конструктор Live Case для Nexus 5X и 6P. Покупателю предоставляли возможность разместить на чехле любимые фотографии, снимки с Google Maps и абстрактные изображения.... 18-11-2016 16:09

Видео: Обзор Google Pixel – часть 1

Первая часть обзора недавно представленного смартфона Google Pixel, в которой мы проведем распаковку устройства, осмотрим его внешне, поговорим о первых впечатлениях и разных приятных мелочах этого... 23-10-2016 12:50

Google переименовала оболочку новых смартфонов в Pixel Launcher

Компания вовсю готовится к осенней презентации, где, по слухам, откажется от линейки Nexus в пользу Pixel. Стало известно, что Google переименовала прошивку для грядущих смартфонов Nexus Launcher в... 13-09-2016 15:26


@

  • bowtiesmilelaughingblushsmileyrelaxedsmirk
    heart_eyeskissing_heartkissing_closed_eyesflushedrelievedsatisfiedgrin
    winkstuck_out_tongue_winking_eyestuck_out_tongue_closed_eyesgrinningkissingstuck_out_tonguesleeping
    worriedfrowninganguishedopen_mouthgrimacingconfusedhushed
    expressionlessunamusedsweat_smilesweatdisappointed_relievedwearypensive
    disappointedconfoundedfearfulcold_sweatperseverecrysob
    joyastonishedscreamtired_faceangryragetriumph
    sleepyyummasksunglassesdizzy_faceimpsmiling_imp
    neutral_faceno_mouthinnocent

Реклама на сайте

Другие материалы сайта:

CES 2019. День пятый – приготовление пищи и ее доставка

Стоимость интернета на выставке; автоматическое приготовление хлеба и коктейлей; роботы для доставки посылок; электромотоцикл Harley-Davidson; переводчик из StarTrek…...

mobile-review.com обзоры

Настройки и обзоры 12.01.2019 89

Обзор Huawei E3372 — USB-модем с поддержкой LTE

Сейчас найти бесплатный Wi-Fi в городе можно практически везде: кафешки, рестораны и наземный транспорт в конце концов. Всё это позволяет вам выйти в интернет в случае необходимости. И казалось бы, зачем теперь нужны все эти мобильные роутеры и модемы, ведь можно же просто раздать интернет со...

Root Nation Рекомендуем

Кратко по миру 31.12.2018 169

10 штучек февраля

Игровой лэптоп Dell Alienware M15, Nikon Z7, новые наушники от Sony, карманный принтер от Huawei, смартфоны Samsung и Sony, отличный сериал на «Кинопоиске»…...

mobile-review.com обзоры

Настройки и обзоры 06.03.2019 85


iPad DJey

smartZone.ru плейлист

Реклама на сайте