Для толкового разъяснения этого вопроса мы обратились к материалам агенства FossBytes — Technology Simplified. Ниже приводится перевод статьи «Что внутри камеры моего смартфона: Объяснение единства аппаратного и программного обеспечения».
Автор: Manik Berry.
Вот как ваш смартфон создает потрясающие изображения.
По мере того как телефоны становились все больше и лучше, менялись и камеры смартфонов. Если вы хотите знать, что находится внутри камеры смартфона, вы должны знать, как она работает и с какой точностью делается телефонная фотография.
Что находится внутри камеры смартфона?
Компоненты камеры смартфона с пояснениями:
— Объектив
— Диафрагма
— Сенсор
— ISP (процессор сигналов изображения)
— Датчик времени пролёта (Время пролётный сенсор)
— Как работает камера вашего смартфона?
— Что такое треугольник экспозиции?
— Почему телефоны оснащаются тройными или четверными камерами?
— Из чего сделаны камеры телефонов?
— Подведение итогов
Прежде всего, прежде чем говорить о том, как смартфон делает снимки, необходимо узнать, что находится внутри него. Обычная аппаратная часть камеры смартфона включает в себя определённые компоненты. Это объектив, матрица, ISP или процессор сигналов изображения, а в некоторых случаях — датчик точной фокусировки. Давайте поговорим о том, что входит в состав камеры смартфона.
Объектив
Объектив камеры смартфона — это просто кусок полированного прозрачного материала (пластика или стекла), который фокусирует свет на матрице камеры. Это практически единственная видимая часть камеры смартфона.
Он фокусирует свет, направляя его на матрицу, и передает ей необходимые детали для создания фотографии. Фокусное расстояние камеры вашего телефона определяет поле зрения (насколько широким или узким будет снимок).
Например, основная камера Samsung Galaxy S20 Ultra имеет фокусное расстояние 25 мм, ультраширокоугольная камера имеет фокусное расстояние 13 мм, а телеобъектив установлен на 103 мм. Однако фокусное расстояние камеры смартфона фиксировано, поэтому вы получаете три разных объектива — широкоугольный, сверхширокоугольный и телеобъектив.
Диафрагма (Aperture)
Диафрагма (Aperture) — это отверстие, которое определяет, сколько света попадет через объектив на матрицу камеры. Широкая диафрагма позволяет делать более качественные и стабильные снимки при слабом освещении.
Диафрагма обозначается символом ƒ-стоп (ƒ/). Если диафрагма открыта широко, она пропускает больше света, а если она установлена на узкое отверстие, на матрицу камеры попадает меньше света.
Чем меньше число ƒ/, тем шире диафрагма. Это означает, что диафрагма полностью открыта при ƒ/1,7 и почти полностью закрыта при ƒ/8 и выше. Большинство камер смартфонов поставляются с фиксированной диафрагмой, что означает, что она не регулируется.
Размытие фона в портретном режиме телефона достигается отчасти благодаря широкой (ƒ/1,7 или около того) диафрагме. Более широкая диафрагма обеспечивает малую глубину резкости, что означает размытие всего, что находится за/вокруг объекта в фокусе. Большая глубина резкости — это когда фон также сфокусирован, как и объект съемки.
Например, основная камера iPhone 12 имеет диафрагму ƒ/1,6, а сверхширокоугольный объектив — диафрагму ƒ/2,4. Смартфоны стремятся к более низкому числу ƒ/, чтобы сенсор мог захватывать более яркие изображения в условиях низкой освещенности.
Сенсор
Это часть камеры вашего смартфона, где свет извне преобразуется в сигналы, что ещё на один шаг приближает его к превращению в фотографию. Сенсор — одна из самых сложных частей камеры смартфона.
Когда вы говорите, что ваш телефон оснащён камерой 12 МП, вы, по сути, говорите о сенсоре. Камера 12 МП означает, что матрица этой камеры имеет 12 мегапикселей. 1 мегапиксель равен 1 миллиону пикселей. Таким образом, сенсор камеры вашего смартфона имеет 12 миллионов крошечных квадратиков с красным, зеленым и синим цветовыми фильтрами для улавливания света, поступающего извне.
Больше пикселей — не всегда лучшее качество.
Техническое название пикселя — фотосит, а фотосит бывает разных размеров, измеряемых в микрометрах или мкм. Проще говоря, чем больше фоторешётка, тем больше света она может захватить. Поэтому камера смартфона с 64-мегапиксельной матрицей с пикселем/фотоситом размером 0,8 мкм может работать не так хорошо, как 12-мегапиксельная матрица с пикселем 2,4 мкм.
В статье на сайте The Smartphone Photographer рассказывается о камерах Samsung Galaxy S20 Ultra. 108-Мп камера телефона имеет размер пикселя 0,8 мкм, который установлен в соотношении 9:1, что делает 2,4 мкм большой суперпиксель, что хорошо. Для сравнения, у зеркальной камеры размер отдельных пикселей может достигать 8,4 мкм.
ISP (Процессор Сигналов Изображения или Процессор обработки сигналов изображения)
Видео «Qualcomm Spectra 580 ISP повышает качество мобильной съёмки в формате 4K HDR»
ISP или Процессор Сигналов Изображения — это мозг камеры. Основная работа ISP заключается в преобразовании сигнала изображения в изображение, которое вы видите на дисплее телефона. Современные ISP делают гораздо больше, чем просто преобразование света из сигнала в изображение.
ISP смартфонов выполняет коррекцию HDR (High Dynamic Range Imaging, HDRI или просто HDR — технологии работы с изображениями, диапазон яркости которых превышает возможности стандартных технологий), цветокоррекцию, восстановление поврежденных пикселей и даже коррекцию Искусственным Интеллектом для улучшения качества изображения.
Обычно ISP встроен в процессор телефона, поэтому физический модуль камеры телефона хорош лишь настолько, насколько хорош процессор, помогающий ему. Например, последний процессор Qualcomm Snapdragon 888 поставляется с ISP Qualcomm Spectra 580.
Компания усовершенствовала ISP до такого уровня, что телефоны, оснащённые чипом Snapdragon 888, могут делать снимки с разрешением до 28 Мп со всех объективов тройной камеры одновременно. В пересчёте на пиксели это означает, что ISP оптимизирован для одновременной обработки света, захваченного 84 миллионами пикселей.
Датчик времени пролёта (TOF или «Time of Flight»).
Это довольно новый компонент, но он способен вывести работу камеры смартфона на новый уровень. Датчик времени пролёта — это дополнительный сенсор, который излучает инфракрасный лазер для измерения глубины сцены.
В результате получаются фотографии с лучшей фокусировкой и точные приложения AR (Дополненной Реальности). Сканер LiDAR в линейке iPhone 12 Pro является примером датчика TOF. Он использует лазеры для сканирования окружающей среды, избегания препятствий и точного измерения глубины сцены.
Как работает камера вашего смартфона?
Теперь, когда вы знаете компоненты камеры смартфона, давайте сложим общую картину. В обычной зеркальной камере вы можете настроить фокус, диафрагму, выдержку, ISO, а затем щёлкнуть и сделать снимок. Однако камера телефона значительно отличается, но принципы остаются теми же.
Фокусное расстояние и диафрагма на телефонной камере фиксированы, также нет физического затвора. Поэтому вы управляете количеством света, включив сенсор. Когда вы щёлкаете затвором, ваш телефон включает сенсор и начинает улавливать свет. Как только он уловит достаточно света, датчик преобразует его в сигнал и отправляет ISP.
Затем ISP принимает сигнал, делает необходимую коррекцию, и вы видите окончательное изображение на экране вашего телефона.
Когда вы нажимаете на изображение при слабом освещении, вы заметите, что полученное изображение будет ярче и намного лучше, чем то, что вы видели, когда собирались нажать на него. Это волшебство, которое делает ISP или процессор сигналов изображения вашего телефона.
Что такое треугольник экспозиции?
Экспозиционный треугольник — это сочетание выдержки, диафрагмы и ISO (ISO — это светочувствительность матрицы, важнейший параметр, определяющий общее качество снимка. Минимальные доступные значения ISO — 50, 100, 150. Чем выше значение ISO, то тем больше шансов, что камера сделает снимок в полной темноте!) Это основной принцип для тех, кто пользуется зеркальными камерами. Поскольку вы не можете физически контролировать экспозицию в смартфоне, она регулируется с помощью выдержки или времени, в течение которого датчик камеры телефона остаётся открытым для света.
Почему телефоны оснащены тройными или четверными камерами?
Объективы зеркальных фотоаппаратов имеют переменное фокусное расстояние, что даёт возможность плавно увеличивать или уменьшать изображение. Поскольку в телефонах эта функция ещё не была реализована, смартфоны сейчас оснащены широкоугольными объективами, сверхширокоугольными, телеобъективами и макрообъективами.
Поэтому, записывая видео на телефон, вы можете оптически увеличивать или уменьшать масштаб изображения без ущерба для его качества.
ISP стали более совершенными, и компоненты могут занимать гораздо меньше места, что делает телефоны способными вмещать несколько камер.
Из чего сделаны камеры телефонов?
Объектив обычного смартфона изготавливается из стекла или пластика, матрица — из светочувствительного полупроводника. Внешний корпус камеры, который вы видите на задней панели телефона, изготовлен из закаленного материала, например, сапфирового стекла.
Подведение итогов
Вот и всё. Вот как все компоненты вашего смартфона преобразуют свет в сигнал, в фотографию для печати. Однако инновации в сфере смартфонов совершенствуют способы работы этих камер.
Одним из самых простых и в то же время удивительных новшеств является OIS (Optical Image Stabilization или «Оптический стабилизатор изображения») на камере телефона. Это означает, что модуль объектива физически регулируется, чтобы избежать дрожания при съёмке. Samsung добавил регулируемую диафрагму в Samsung Galaxy S9, в результате чего фотографии получаются чёткими даже в сценариях с пересветом.
Сегодня Google Pixel и iPhone SE 2 с одним объективом камеры являются примером применения Искусственного Интеллекта (ИИ) с расширенной коррекцией ошибок ISP и программным обеспечением ИИ. Поэтому, когда вы спрашиваете, что находится внутри вашего смартфона или как работает камера смартфона, ответ — это комбинация аппаратного и программного обеспечения.
По материалам агентства FossBytes