Авторский пересказ двух публикаций с демонстрационным фильмом.
Предлагается решение задачи улучшения видимости далеких предметов, наблюдаемых сквозь случайно-неоднородную атмосферу. Метод основан на обработке в реальном времени последовательных кадров, снятых цифровой видеокамерой с длиннофокусным объективом. В фильме показаны, как мне кажется, довольно эффектные результаты.
Каждый, кто смотрел в телескоп с большим увеличением, например, на Луну, наблюдал дрожащее, расплывчатое и переменчивое изображение, лишь изредка «проясняющееся» в моменты замирания воздушных колебаний. Области пространства с разной плотностью воздуха можно представить себе в виде множества слабых неправильных случайных линз, постоянно возникающих и исчезающих с большой частотой.
В астрономии для исправления изображений, искаженных атмосферной турбулентностью, применяют классические методы адаптивной оптики (датчики волнового фронта и быстродействующие деформируемые зеркала). Это достаточно сложные и дорогие системы, доступные только для больших и сверхбольших телескопов, однако дающие существенный положительный эффект. Вот показательный пример (взят из: Ralf Flicker. Methods of Multi-Conjugate Adaptive Optics for Astronomy, Lund Observatory, Sweden, 2003).
Левая фотка – участок звездного неба, сфотографированный с длинной экспозицией. Случайные искажения, накладываясь друг на друга, приводят к значительному размытию изображения, в результате чего многие звезды просто не видны, а другие сливаются друг с другом. В центре – тот же участок неба, сфотографированный при использовании адаптивного зеркала. Датчик волнового фронта, нацеленный на яркую (опорную) звезду чуть ниже центрального скопления, измеряет искажения волнового фронта в нескольких точках входной апертуры. Компьютер вычисляет и подает управляющие сигналы через высоковольтные усилители на пьезоэлектрические толкатели. Эти толкатели, надавливая на гибкое зеркало сзади в разных местах, искривляют его так, чтобы компенсировать искажения. Такая процедура происходит сотни раз в секунду. Таким образом можно улучшить изображение в некоторой области вблизи опорной звезды. Как видно из средней фотки, на краях изображение не улучшается, потому что в разных частях изображения существуют другие искажения, отличные от тех, которые измеряет датчик в центре. С помощью всяких ухищрений (многосопряженных адаптивных систем с несколькими опорными звездами и зеркалами) можно добиться расширения области улучшенного изображения – фотка справа. Кстати, угловой размер этой области на небе – всего 90 секунд, или 1/20 лунного диска.
Для подзорной трубы, используемой в «земных условиях», разумеется, нет смысла применять столь сложную технику, как адаптивная оптическая система. Не только из-за сложности и дороговизны, но и потому, что отсутствуют яркие опорные точки, по которым можно было бы определить искажения волнового фронта. В отличие от звезд, удаленные приземные объекты, как правило, малоконтрастны и протяженны. И еще потому, что турбулентность в приземном слое существенно выше, чем в высокогорных обсерваториях.
Поэтому вычислительные методы улучшения видимости удаленных объектов в земных условиях, основанные на постдетекторной обработке изображения, имеют, я полагаю, неплохую перспективу.
Сначала рассмотрим, какие бывают искажения.
В первом приближении можно принять модель формирования изображений объекта, учитывающую прохождение светового потока через случайно-неоднородную среду, описанную в [1]. Она включает в себя три фактора, по-разному искажающих конечное изображение.
Первый фактор – случайные изменения наклона волнового фронта в пределах апертуры. Проще говоря, крупномасштабные неоднородности плотности воздуха действуют как большие слабые призмы, слегка отклоняя световые лучи в разные стороны, из-за чего изображение дрожит. Дрожание можно убрать, измеряя смещение текущего кадра относительно некоторого опорного кадра и сдвигая изображение обратно на величину этого смещения.
Второй фактор — мелкомасштабные флуктуации плотности, приводящие к случайному (для каждого кадра) искажению мелких деталей изображения. Умные люди [2,3], основываясь на теории турбулентности атмосферы и статистической оптике, предлагают следующий способ. Поскольку из-за стохастического характера флуктуаций исправить каждый кадр невозможно, надо применить статистику. Усредненные по времени искажения можно теоретически вычислить и получить вполне определенную для данного состояния атмосферы оптическую передаточную функцию. Иначе говоря, усредненное изображение есть результат действия специфического для атмосферы (негауссова) сглаживающего фильтра. Применив к изображению обратный фильтр, теоретически мы должны получить картинку дифракционного качества.
Третий фактор — дифракционные искажения, связанные с конечностью приемной апертуры и с которыми ничего сделать нельзя. Идеальное изображение точки всегда будет не точкой, а диском с кольцами (так называемая картина Эйри).
Таким образом, если у нас есть последовательный набор изображений объекта, случайно искаженных турбулентной атмосферой, то для восстановления изображения необходимо последовательное выполнение следующих операций. Измерение случайных смещений изображения, исключение этих смещений, усреднение центрированных изображений, вычисление обратной оптической передаточной функции, фильтрация усредненного изображения. Производя эти операции непрерывно с каждым последующим кадром, постепенно получаем исправленное изображение [4]. Применяя процедуру к различным участкам кадра, можно вычислить оптический поток (вектор смещения каждого пикселя как функцию времени) на всем изображении и расширить корректируемое поле зрения [5].
Коррекция смещений. В опорном кадре выбираем квадрат размером в несколько десятков пикселей, внутри которого есть более-менее контрастные детали. В текущем кадре надо найти квадрат такого же размера, лучше всего совпадающий с опорным. Сравнение квадратов производится прямым вычислением взаимно-корреляционной функции S(p,q):
S(p,q) = ∑ mod[In(x+p,y+q) — I0n(x,y)],
где In(x,y), I0n(x,y)– яркости пикселей текущего n-ного кадра и опорного; x,y – координаты пикселей квадрата; p,q – координаты области поиска, примерно равной по величине опорному квадрату; суммирование по всем пикселям квадрата.
Минимум S(p,q), означающий место наилучшего совпадения, находится по известному методу «два шага» поиска экстремумов многомерных функций. Координаты минимума pmin, qmin определяют вектор смещения текущего кадра относительно опорного. Затем квадрат из текущего кадра сдвигается к опорному и суммируется с ним, образуя новый опорный кадр. Так происходит накопление полезного сигнала в опорном квадрате. Суммирование производится рекурсивно с коэффициентом R порядка 0,01–0,05:
I0n+1(x,y) = (1 — R)*I0n(x,y) + R*In(x+pmin,y+qmin)
Грубо можно сказать, что необходимое для дальнейшей фильтрации усреднение происходит по скользящей выборке из нескольких десятков кадров. После этого изображение, ограниченное квадратом, становится в целом стабилизированным, в отличие от остальной части кадра.
Фильтрация. Или устранение остаточного размытия полученного усредненного изображения, обусловленного влиянием мелкомасштабной турбулентности. Это остаточное размытие, например, для одной яркой точки, представляет собой пятно с колоколообразным распределением яркости, ширина которого зависит от интенсивности турбулентности и в несколько раз больше дифракционного диска. Роль фильтрации состоит в преобразовании этого размытого пятна в дифракционно-ограниченную картину Эйри. Фильтрация изображения и получение конечного результата I(x,y) производится путем двумерного прямого Фурье-преобразования (оператор F) усредненного изображения I0n+1(x,y), умножения полученного спектра на обратную оптическую передаточную функцию H(x,y), вычисленную в [2,3], и обратного Фурье-преобразования (оператор F-1):
I(x,y) = F-1[F(I0n+1(x,y))*H(x,y)],
где
H(x,y)] = [arccos ( r ) – r*(1- r2)1/2]*exp[3.44*rr5/3*(1- r1/3)];
r = (x2+y2)1/2/D;
rr = (x2+y2)1/2/d;
D – величина, зависящая от относительного отверстия оптической системы;
d – величина, зависящая от интенсивности турбулентности (параметр Фрида для атмосферы).
В качестве оптической системы применялись телеобъективы МТО-1000, Варио-Гоир-1Т, Sigma с диаметрами входной апертуры от 70 до 140 мм и фокусными расстояниями от 200 до 5000 мм. Пока у меня не было скоростной видеокамеры, приходилось использовать камеру RT-1000DC фирмы «Raster Tecknolodgy» и наблюдать только неподвижные объекты. Основные результаты в фильме получены с ней. Как видно в эпизоде с номером машины, необходимо ждать несколько секунд, пока изображение «проявится».
Эпизоды с вышкой и зданием – попытка реализации расширения корректируемой области на весь кадр. Пришлось работать с заранее записанными видеофайлами, поскольку объем вычислений очень большой, и вообще там еще много нерешенных проблем.
Последний эпизод фильма («Метель») снят совсем недавно с сетевой камерой RM-6740 фирмы JAI, частота кадров 200 гц, время получения исправленного изображения менее 1 сек. В этом эпизоде наблюдается дополнительный эффект уменьшения шумов (в виде падающего снега) в области коррекции.
Литература
1. Оптика атмосферы и океана, 11, 522 (1998).
2. Гудмен Дж. Статистическая оптика (М.: Мир, 1988).
3. Fried D.L. J. Opt. Soc. Am., 56, 1372 (1966).
4. Квантовая электроника, т.40, №5 (2010), с.418-420.
5. Квантовая электроника, т.41, №5 (2011), с.475-478.
Предлагается решение задачи улучшения видимости далеких предметов, наблюдаемых сквозь случайно-неоднородную атмосферу. Метод основан на обработке в реальном времени последовательных кадров, снятых цифровой видеокамерой с длиннофокусным объективом. В фильме показаны, как мне кажется, довольно эффектные результаты.
Астрономическое отступление.
Каждый, кто смотрел в телескоп с большим увеличением, например, на Луну, наблюдал дрожащее, расплывчатое и переменчивое изображение, лишь изредка «проясняющееся» в моменты замирания воздушных колебаний. Области пространства с разной плотностью воздуха можно представить себе в виде множества слабых неправильных случайных линз, постоянно возникающих и исчезающих с большой частотой.
В астрономии для исправления изображений, искаженных атмосферной турбулентностью, применяют классические методы адаптивной оптики (датчики волнового фронта и быстродействующие деформируемые зеркала). Это достаточно сложные и дорогие системы, доступные только для больших и сверхбольших телескопов, однако дающие существенный положительный эффект. Вот показательный пример (взят из: Ralf Flicker. Methods of Multi-Conjugate Adaptive Optics for Astronomy, Lund Observatory, Sweden, 2003).
Левая фотка – участок звездного неба, сфотографированный с длинной экспозицией. Случайные искажения, накладываясь друг на друга, приводят к значительному размытию изображения, в результате чего многие звезды просто не видны, а другие сливаются друг с другом. В центре – тот же участок неба, сфотографированный при использовании адаптивного зеркала. Датчик волнового фронта, нацеленный на яркую (опорную) звезду чуть ниже центрального скопления, измеряет искажения волнового фронта в нескольких точках входной апертуры. Компьютер вычисляет и подает управляющие сигналы через высоковольтные усилители на пьезоэлектрические толкатели. Эти толкатели, надавливая на гибкое зеркало сзади в разных местах, искривляют его так, чтобы компенсировать искажения. Такая процедура происходит сотни раз в секунду. Таким образом можно улучшить изображение в некоторой области вблизи опорной звезды. Как видно из средней фотки, на краях изображение не улучшается, потому что в разных частях изображения существуют другие искажения, отличные от тех, которые измеряет датчик в центре. С помощью всяких ухищрений (многосопряженных адаптивных систем с несколькими опорными звездами и зеркалами) можно добиться расширения области улучшенного изображения – фотка справа. Кстати, угловой размер этой области на небе – всего 90 секунд, или 1/20 лунного диска.
Для подзорной трубы, используемой в «земных условиях», разумеется, нет смысла применять столь сложную технику, как адаптивная оптическая система. Не только из-за сложности и дороговизны, но и потому, что отсутствуют яркие опорные точки, по которым можно было бы определить искажения волнового фронта. В отличие от звезд, удаленные приземные объекты, как правило, малоконтрастны и протяженны. И еще потому, что турбулентность в приземном слое существенно выше, чем в высокогорных обсерваториях.
Поэтому вычислительные методы улучшения видимости удаленных объектов в земных условиях, основанные на постдетекторной обработке изображения, имеют, я полагаю, неплохую перспективу.
Сначала рассмотрим, какие бывают искажения.
Упрощенная модель формирования изображения в атмосфере.
В первом приближении можно принять модель формирования изображений объекта, учитывающую прохождение светового потока через случайно-неоднородную среду, описанную в [1]. Она включает в себя три фактора, по-разному искажающих конечное изображение.
Первый фактор – случайные изменения наклона волнового фронта в пределах апертуры. Проще говоря, крупномасштабные неоднородности плотности воздуха действуют как большие слабые призмы, слегка отклоняя световые лучи в разные стороны, из-за чего изображение дрожит. Дрожание можно убрать, измеряя смещение текущего кадра относительно некоторого опорного кадра и сдвигая изображение обратно на величину этого смещения.
Второй фактор — мелкомасштабные флуктуации плотности, приводящие к случайному (для каждого кадра) искажению мелких деталей изображения. Умные люди [2,3], основываясь на теории турбулентности атмосферы и статистической оптике, предлагают следующий способ. Поскольку из-за стохастического характера флуктуаций исправить каждый кадр невозможно, надо применить статистику. Усредненные по времени искажения можно теоретически вычислить и получить вполне определенную для данного состояния атмосферы оптическую передаточную функцию. Иначе говоря, усредненное изображение есть результат действия специфического для атмосферы (негауссова) сглаживающего фильтра. Применив к изображению обратный фильтр, теоретически мы должны получить картинку дифракционного качества.
Третий фактор — дифракционные искажения, связанные с конечностью приемной апертуры и с которыми ничего сделать нельзя. Идеальное изображение точки всегда будет не точкой, а диском с кольцами (так называемая картина Эйри).
Таким образом, если у нас есть последовательный набор изображений объекта, случайно искаженных турбулентной атмосферой, то для восстановления изображения необходимо последовательное выполнение следующих операций. Измерение случайных смещений изображения, исключение этих смещений, усреднение центрированных изображений, вычисление обратной оптической передаточной функции, фильтрация усредненного изображения. Производя эти операции непрерывно с каждым последующим кадром, постепенно получаем исправленное изображение [4]. Применяя процедуру к различным участкам кадра, можно вычислить оптический поток (вектор смещения каждого пикселя как функцию времени) на всем изображении и расширить корректируемое поле зрения [5].
Алгоритм.
Коррекция смещений. В опорном кадре выбираем квадрат размером в несколько десятков пикселей, внутри которого есть более-менее контрастные детали. В текущем кадре надо найти квадрат такого же размера, лучше всего совпадающий с опорным. Сравнение квадратов производится прямым вычислением взаимно-корреляционной функции S(p,q):
S(p,q) = ∑ mod[In(x+p,y+q) — I0n(x,y)],
где In(x,y), I0n(x,y)– яркости пикселей текущего n-ного кадра и опорного; x,y – координаты пикселей квадрата; p,q – координаты области поиска, примерно равной по величине опорному квадрату; суммирование по всем пикселям квадрата.
Минимум S(p,q), означающий место наилучшего совпадения, находится по известному методу «два шага» поиска экстремумов многомерных функций. Координаты минимума pmin, qmin определяют вектор смещения текущего кадра относительно опорного. Затем квадрат из текущего кадра сдвигается к опорному и суммируется с ним, образуя новый опорный кадр. Так происходит накопление полезного сигнала в опорном квадрате. Суммирование производится рекурсивно с коэффициентом R порядка 0,01–0,05:
I0n+1(x,y) = (1 — R)*I0n(x,y) + R*In(x+pmin,y+qmin)
Грубо можно сказать, что необходимое для дальнейшей фильтрации усреднение происходит по скользящей выборке из нескольких десятков кадров. После этого изображение, ограниченное квадратом, становится в целом стабилизированным, в отличие от остальной части кадра.
Фильтрация. Или устранение остаточного размытия полученного усредненного изображения, обусловленного влиянием мелкомасштабной турбулентности. Это остаточное размытие, например, для одной яркой точки, представляет собой пятно с колоколообразным распределением яркости, ширина которого зависит от интенсивности турбулентности и в несколько раз больше дифракционного диска. Роль фильтрации состоит в преобразовании этого размытого пятна в дифракционно-ограниченную картину Эйри. Фильтрация изображения и получение конечного результата I(x,y) производится путем двумерного прямого Фурье-преобразования (оператор F) усредненного изображения I0n+1(x,y), умножения полученного спектра на обратную оптическую передаточную функцию H(x,y), вычисленную в [2,3], и обратного Фурье-преобразования (оператор F-1):
I(x,y) = F-1[F(I0n+1(x,y))*H(x,y)],
где
H(x,y)] = [arccos ( r ) – r*(1- r2)1/2]*exp[3.44*rr5/3*(1- r1/3)];
r = (x2+y2)1/2/D;
rr = (x2+y2)1/2/d;
D – величина, зависящая от относительного отверстия оптической системы;
d – величина, зависящая от интенсивности турбулентности (параметр Фрида для атмосферы).
Техническая реализация.
В качестве оптической системы применялись телеобъективы МТО-1000, Варио-Гоир-1Т, Sigma с диаметрами входной апертуры от 70 до 140 мм и фокусными расстояниями от 200 до 5000 мм. Пока у меня не было скоростной видеокамеры, приходилось использовать камеру RT-1000DC фирмы «Raster Tecknolodgy» и наблюдать только неподвижные объекты. Основные результаты в фильме получены с ней. Как видно в эпизоде с номером машины, необходимо ждать несколько секунд, пока изображение «проявится».
Эпизоды с вышкой и зданием – попытка реализации расширения корректируемой области на весь кадр. Пришлось работать с заранее записанными видеофайлами, поскольку объем вычислений очень большой, и вообще там еще много нерешенных проблем.
Последний эпизод фильма («Метель») снят совсем недавно с сетевой камерой RM-6740 фирмы JAI, частота кадров 200 гц, время получения исправленного изображения менее 1 сек. В этом эпизоде наблюдается дополнительный эффект уменьшения шумов (в виде падающего снега) в области коррекции.
Литература
1. Оптика атмосферы и океана, 11, 522 (1998).
2. Гудмен Дж. Статистическая оптика (М.: Мир, 1988).
3. Fried D.L. J. Opt. Soc. Am., 56, 1372 (1966).
4. Квантовая электроника, т.40, №5 (2010), с.418-420.
5. Квантовая электроника, т.41, №5 (2011), с.475-478.
