5.64 Мб 
Аннотация
Снимать качественное высокоскоростное видео крайне ярких событий, таких как энергичные удары, процессы горения, взрывы, сварка и многие другие явления, часто очень сложно. Проблема заключается в том, что поток фотонов, исходящий от такого события, приводит к пересвету пикселей матрицы. В результате на изображениях в самых ярких областях практически невозможно получить полезную информацию, хотя именно эти зоны нередко являются наиболее важными.
Чтобы решить эту проблему, операторы камер традиционно уменьшают время экспозиции или закрывают диафрагму, чтобы избежать пересвета в самых ярких участках вспышки. Но это приводит к тому, что средние и тёмные участки изображения становятся ещё темнее и часто теряют различимость. Некоторые также добавляют внешние источники света, например светодиоды, импульсные лампы или лазеры, чтобы подсветить фон.
Чтобы не приходилось выбирать между полезными данными в тенях и отсутствием пересвета, можно использовать функцию сенсора, известную как Extreme Dynamic Range (EDR) — экстремальный динамический диапазон. Эта функция обеспечивает динамический двойной период экспозиции, предназначенный для эффективного подавления пересвета.
Для демонстрации принципа приводится схема работы и используется тестовая таблица XYLA, чтобы показать, как меняется отклик пикселей при фиксированном времени экспозиции и различных настройках EDR и яркости пикселей.
Динамический диапазон
Термин «динамический диапазон» обозначает логарифмическое отношение между максимальным измеряемым сигналом сенсора и минимальным. В формальном виде, при фиксированном времени экспозиции, динамический диапазон можно записать по формуле:
DR = 20 × log(FWC / RN) [дБ]
где FWC — это полная ёмкость пиксельной ячейки, то есть максимальное число электронов, которое может накопить пиксель до насыщения, а RN — шум считывания сенсора, то есть уровень шума при отсутствии падающего света, в тёмных условиях.
Для высокоскоростных камер динамический диапазон обычно находится в пределах примерно 50–70 дБ. Для некоторых задач визуализации, особенно связанных с резким изменением контраста, например при взрыве или ударе, этого может быть недостаточно для получения приемлемого отношения сигнал/шум, что приводит к потере ценной информации.
Необходимость в большом динамическом диапазоне стимулировала множество исследований, направленных на его увеличение, включая нелинейные методы, такие как регулировка ёмкости пикселя, нелинейная светочувствительность, системы с несколькими экспозициями, предсказательная выборка и методы времени до насыщения.
Экстремальный динамический диапазон (EDR)
Функция EDR предназначена для того, чтобы помочь пользователям высокоскоростных камер уменьшить вероятность пересвета при записи очень ярких событий.
Сначала удобно представить съёмку одного кадра. В этом случае обычно используется один период экспозиции — пользователь задаёт, как долго пиксель открыт для накопления света на каждом кадре. Пиксели достигают разных уровней яркости или цифровых значений в зависимости от падающего излучения и спектрального состава света. Чем выше освещённость, тем быстрее пиксельная ячейка заполняется электронами.
Если число электронов достигает значения полной ёмкости до окончания экспозиции, пиксель считается насыщенным и сохраняет это максимальное значение, даже если на него продолжает падать свет. Слишком большое количество насыщенных пикселей обычно считается недостатком технической съёмки, потому что пересвеченные пиксели скрывают важные детали изображения, исходящие из яркой области, например детали разрушения, форму пламени, фрагментацию и т. п. Как правило, лучше слегка недоэкспонировать изображение, чем переэкспонировать его, потому что пересвеченные пиксели уже нельзя восстановить при постобработке, тогда как тёмные и средние уровни можно скорректировать.
Идея EDR состоит в том, чтобы эффективно сокращать общее время экспозиции пикселя, если в течение экспозиционного периода его яркость превышает заданный порог. Например, на синей линии на рисунке 1 видно, что при постоянном потоке фотонов сигнал пикселя достигает порогового значения примерно на одной трети времени экспозиции. После этого пиксель удерживается на этом уровне до более позднего момента в экспозиции, когда начинает работать время EDR.
Если бы у пикселя не было настройки EDR, как показано пунктирной синей линией, он бы оказался насыщенным. Если заряд конкретного пикселя в течение всего периода экспозиции остаётся ниже порога, как это происходит при слабом потоке фотонов, функция EDR на него не влияет, и пиксель использует полное время экспозиции, заданное пользователем, как это показано зелёной линией на рисунке 1. Иными словами, EDR расширяет общий динамический диапазон изображения, позволяя слабым сценам сохранять относительно длинную экспозицию, а яркие участки — «обрезать» на пороге.
Связь между сигналом пикселя и временем EDR
Когда источник света непрерывный на протяжении всей экспозиции, работу EDR можно описать математически, где A, B и C — постоянные, зависящие от настроек прошивки сенсора и условий освещения:
Если сигнал пикселя выше порога, то итоговый отображаемый сигнал зависит от EDR-времени; если ниже порога, сигнал остаётся без изменений.
Это моделирование важно для тех, кто хочет калибровать данные пикселей при активированном EDR. Следует подчеркнуть, что динамические события, такие как взрывы, импульсное освещение, мерцание света и ударные явления, очень редко излучают свет с постоянным потоком фотонов и неизменным спектром в течение всего периода интеграции. Поэтому при попытках калибровки и моделирования нужно соблюдать особую осторожность.
В данном случае тестовая таблица XYLA даёт непрерывный по времени и пространству источник света. Съёмка такой таблицы позволяет эмпирически моделировать поведение EDR в автоматическом режиме с помощью итеративного порогового анализа. Это также можно сделать через локальное усреднение данных пикселей в разных областях яркости изображения. Затем, анализируя изображения с фиксированным временем экспозиции, но разным временем EDR, можно получить зависимость между параметрами. После этого линейной аппроксимацией можно вычислить постоянные коэффициенты в приведённом выше уравнении, где сигнал пикселя зависит от сигнала без EDR и от значения времени EDR.
Таким образом, для непрерывных источников выходной сигнал пикселя, то есть яркость, предсказуем при известном времени экспозиции и настройке EDR.
Количественная оценка поведения пикселей при включённом EDR
Для проверки и оценки функции EDR была разработана процедура, проведённая на высокоскоростной камере Phantom VEO 640. В эксперименте использовалась тестовая таблица DSC Labs XYLA, поскольку она имеет форму ксилофона со специальными изолирующими шторками и встроенным регулируемым задним источником света. Каждая соседняя зона яркости отличается в 2 раза по интенсивности. На рисунке 2 показан один кадр этой таблицы.
Эксперимент проводился в тёмной комнате, камера была установлена на штатив. Чтобы избежать отражений от таблицы XYLA, камера и источники света в помещении были закрыты или выключены. На камеру был установлен объектив 50 мм F-mount. В программном обеспечении Phantom Camera Control (PCC) яркость самой светлой области на таблице удерживалась ниже уровня насыщения. Цифровые настройки были установлены по умолчанию, а гамма — на 1, чтобы обеспечить линейность отклика пикселей.
После настройки параметров было записано несколько секунд видео. Затем время EDR изменялось при фиксированном времени экспозиции 200 мкс, и запись повторялась. Процедура повторялась для выбранных значений EDR.
Важно отметить, что перед каждой записью снимался чёрный эталон или CSR/reference, чтобы скорректировать смещение пикселей. Как видно из данных на рисунке 3, существует чёткое пороговое значение яркости, при котором функция EDR почти не влияет на сигнал. Это происходит потому, что пиксели, удерживавшиеся ниже порога в течение всей экспозиции, не изменяются, тогда как пиксели выше порога некоторое время «подрезаются» функцией EDR.
Использование EDR для расширения динамического диапазона
В этом разделе показана эффективность функции EDR. Рядом с яркой лампой была размещена фоновая сцена, состоящая из стандартной шкалы серого. Сам фон освещался светом от лампы.
На рисунке 4A видно, что фон освещён и различим, а нить накала при этом явно пересвечена и плохо определена. Для этого теста время экспозиции камеры было установлено на 60 мкс. Чтобы лучше рассмотреть яркие части изображения, обычно уменьшают экспозицию или закрывают диафрагму. В данном случае на рисунке 4B нить накала показана при снижении экспозиции до 20 мкс, что чётко раскрывает её форму, но при этом фон уходит в тени и теряет детали. Затем камеру установили на экспозицию 60 мкс, а время EDR — на 20 мкс, см. рисунок 4C. Из цифрового изображения видно, что нить накала хорошо видна одновременно с фоновым тестовым изображением.
Из-за природы функции EDR она вносит дополнительный шум в изображение. Кроме того, EDR может исказить цвета, поскольку применённый баланс белого становится некорректным.
Заключение
Чтобы получать качественное видео высококонтрастных событий, пользователи высокоскоростных камер обычно выбирают более короткое время экспозиции или прикрывают диафрагму, чтобы избежать пересвета в ярких областях изображения. Однако при этом часто теряются детали в окружающих областях события, то есть в не светящихся участках, и фон становится очень тёмным и плохо различимым.
В некоторых случаях на сцену можно добавить дополнительный свет, чтобы добиться эффективной съёмки яркого события, например с помощью LED-панели. Однако это часто трудно реализовать, поскольку число рассеянных фотонов от события вместе с добавленным освещением должно быть примерно равно или превышать число фотонов, испускаемых самим событием. Многие используют мощные импульсные лазеры с мощностью свыше 1 кВт. Это, пожалуй, наиболее практичное решение для исследований небольших по полю зрения взрывных процессов. Но для событий с большим полем зрения это особенно сложно, и именно здесь функция EDR, или dual slope, становится эффективным способом оптимизировать динамический диапазон кадра.
Также важно отметить, что функция EDR есть не во всех сенсорах Vision Research. Для камер без EDR часто вместо этого активирована функция correlated double sampling (CDS). У неё другая задача: она предназначена для улучшения качества изображения по соотношению сигнал/шум за счёт уменьшения шума считывания примерно в 3 раза.
И наконец, пользователи часто спрашивают: «Какое время экспозиции и EDR нужно использовать?» Этот вопрос полностью зависит от конкретной задачи и без знания спектра и мощности источника света однозначно не решается. Лучший способ оптимизации — проба и подбор. Если нет возможности провести предварительные тесты, хорошей отправной точкой обычно является значение времени EDR примерно в 1/3 от времени экспозиции. Для задач с экстремальными перепадами яркости часто устанавливают время экспозиции так, чтобы фон был едва виден, а EDR — на минимально доступное значение.
