Решая задачу создания программного комплекса для малых беспилотных летательных аппаратов (БПЛА), обеспечивающего возможность противопожарного мониторинга на объектах нефтехимической промышленности [1, 2, 3], появляется научная проблема создания методов, предоставляющих данную возможность. В связи с ограниченным количеством сенсоров в промышленных и массовых БПЛА и получаемых типов данных [2] она значительно усложняется разработкой и применением методов оценки изображения для определения места возгорания, а также локализации относительно данного места с возможностью одновременного составления карты возгораний на местности. В англоязычной литературе данных подход получил название SLAM – Simultaneous Localization and Mapping. Мы предлагаем использовать подход Visual Feature-Based SLAM, т.е. локализацию робота на основе наличия характерных признаков у получаемого камерой изображения – возгорания в нашем случае.
Определение возгорания методами обработки изображения
Актуальность данных методов значительно возросла в связи с развитием вычислительной техники и математических методов анализа изображений. В противоположность датчикам огня и дыма, методы визуального обнаружения могут быть использованы на открытых площадках, где нет возможности устанавливать датчики [4]. Также, в отличие от датчиков, системы, основанные на методах визуального обнаружения, могут выдавать значительно больше информации о типе возгорания, его месторасположении и динамике. Тепловизоры также могут использоваться для получения данной информации, но несмотря на высокие показатели надежности и точности, не могут быть установлены на малые беспилотные летательные аппараты. Следовательно, определение возгорания камерой малого беспилотного летательного аппарата имеет значительную перспективу практического использования.
Ранние методы визуального определения возгорания были основаны на спектральном анализе с использованием дорогого лабораторного оборудования, что помешало дальнейшему распространению применения данной технологии. Для того чтобы обойти данное ограничение и использовать обычные камеры видеонаблюдения, требовались новые методы. В работе [11] представлен один из первых методов по визуальному обнаружению возгорания с применением цветовой классификации.
Методы, основанные лишь на цветовой классификации или интенсивности, достаточно ненадежны и могут давать ложно-положительные результаты в случае присутствия объектов, окрашенных в цвет пламени, но не являющихся им. Это могут быть отражения солнечных лучей, факелы или развевающиеся флаги. В дополнение к цветовой классификации в целях повышения надежности метода обнаружения может быть использован анализ движения пламени. В работе [21] рассмотрена нейронная сеть, принимающая пространственно-временные характеристики пламени в качестве входных данных. В данном методе контур пламени извлекается при помощи статистических критериев в цветовом пространстве HSV. Затем полученный контур привязывается к полярным координатам на изображении для трансформации ряда изображений в ряд колебаний во времени. Затем этот сигнал преобразуется в пространство Фурье для получения частотного спектра, который затем и передается специально обученной нейронной сети. Данный подход дает результаты высокого качества, но в то же время не применим в связи с его вычислительной сложностью. Особенность заключается в ручном создании специальной обучающей таблицы на стадии пре-процессинга. Затем из видео извлекается изображение пламени, основанное на данной таблице. Следующий этап заключается в анализе временных характеристик изменения цвета пикселей для выборки из нескольких изображений пламени и определяет, какие именно пиксели являются пламенем. Форма пламени также представляется в пространственно-временных характеристиках с применением коэффициентов Фурье [13]. Временные изменения в этих коэффициентах считаются как временные отпечатки региона нахождения пламени. Однако проблема заключается в том, что пространственное квантование для небольших регионов привносит большое количество шума в пространство Фурье, что привело к использованию пороговой фильтрации для исключения наименьших регионов изображения. Следовательно, подход, представленный в работе [13], пригоден к использованию, лишь когда регион нахождения пламени заполняет значительное пространство в кадре. Подход, описанный в [11], был дополнен с помощью детектора движения [20] и представлен в работе [5]. В результате статистическая цветовая модель получила достаточную скорость работы и надежность, однако описанные возможности применения были ограничены размером кадра 176×144 пикселя.
Для определения возгорания в автомобильном туннеле в работе [15] использовались особенности изображений возгорания, определенные экспериментально. Этот метод подразумевает определение потенциальных регионов возгорания путем вычисления среднего значения разницы интенсивности красного канала в потенциальном регионе возгорания и дальнейшем подтверждении путем сравнения результата, полученного нейронной сетью. Другие применения данного метода не были обнаружены в литературе.
Одной из характеристик возгорания является мерцание, или мерцающее движение пламени вокруг региона возгорания [9]. Для улучшения надежности обнаружения и сокращения количества ложно-положительных срабатываний использованы различные методы определения данных движений. В работах [8, 18] используется временной вейвлетный анализ для извлечения квазипериодического поведения мерцания пламени и пространственно-вейвлетный анализ для захвата пространственно-цветовых вариаций региона возгорания. Также было предложено использовать скрытую Марковскую модель для моделирования поведения мерцания пламени на видеозаписях [19]. Использовались два свойства видео пламени – мерцание и яркость. В [14] описан подход, позволяющий реализовать автоматическое обнаружение возгораний на видео. Используется суммирование нескольких изображений для получения их серии на специальном временном отрезке, которая затем анализируется для получения лучшего региона изображения, содержащего возгорание. Затем производится извлечение характеристик пламени из этого региона для оценки того, содержится ли «отпечаток» возгорания в нем или нет. Подход в [16] использует не только фонограмму и спектрограмму для правильного анализа мерцания пламени, но и проводит простой анализ потока для отслеживания и оценки турбулентных движений пламени. Этот метод представляет собой смесь анализа мерцания и движения, что дает весьма интересные и многообещающие результаты применения с обычными видеокамерами, такими как встроенные в квадрокоптер [2]. Пример подобного применения можно найти в работе [6], хотя он и ограничен лишь стационарными камерами видеонаблюдения и не содержит рабочего описания использованного метода.
В данной работе наибольшее значение предоставлено методу определения возгорания с использованием множества различных характеристик пламени с целью улучшить скорость, надежность и применимость определения возгорания визуальными методами. Большинство методов, описанных выше, имеют значительные проблемы с надежностью, гибкостью и эффективностью. В основном, проблемы бывают вызваны изменениями в условиях освещения, качестве полученного видео, сложностью сцены и производительностью обрабатывающей системы. Целью данного исследования предлагается создание такого метода, который способен избежать вышеописанных сложностей. В дополнение к уже обычным анализу движения пламени и цветовому анализу, анализ мерцания пламени также предложен к использованию с целью улучшения надежности, эффективности и улучшения по части снижения количества ложно-положительных срабатываний и полных сбоев определения.
Метод
Предложенный метод состоит из трех этапов:
1. Определение движения и вычитание фона.
2. Цветовой анализ и вычитание движущихся объектов, не подходящих по цветовым характеристикам.
3. Тест на определение мерцания и вычитание объектов, не проходящих этот тест.
Определение движения
Пламя обычно является динамическим объектом на видео. Эта особенность может быть использована для его отделения от других объектов, которые лишь окрашены в цвет пламени. Для разделения движущихся и статических объектов можно использовать смешанную Гауссовскую модель [12, 17, 22]. Она является простым и эффективным средством моделирования статического фона, которая отслеживает историю изменения каждого пикселя путем смешивания K нормальных распределений относительно на последовательности кадров в видео. Эти K распределения классифицируются на два набора – для фона и переднего плана. Пиксель, который соответствует распределению фона, считается фоновым, в противном случае он считается «передним планом» Этот метод может решать проблему сложного фона и адаптировать параметры каждой модели автоматически с изменением характеристик полученного видео. Однако она страдает низкой скоростью вычисления, так как основана на пиксельном уровне. Для того, чтобы получить производительность, пригодную для применения в реальном времени, представлен улучшенный метод.
Вектор цветовых характеристик для заданного пикселя в координатах (x, y) в любое время t в цветовом пространстве RGB можно обозначить как
(1)
Ряд наблюдений вектора цветовых характеристик для пикселя (x, y) с течением времени записывается как , который можно представить как стохастический процесс по отношению к другим пикселям, и он имеет свою функцию плотности распределения вероятности. Каждое новое наблюдение из изображения считается фоновым пикселем, если оно хорошо описывается этой функцией. Однако значения пикселей часто подчиняются сложным распределениям, значительно усложняя эффективный подбор и адаптацию функций плотности распределения. Отсюда следует, что с течением времени пиксель моделируется смесью K нормальных распределений, где K – количество распределений. Чем больше K, тем больше возрастает сложность моделируемой сцены ценой увеличения количества вычислений. Вероятность наблюдения заданного вектора цветовых характеристик определяется как
(2)
где wxy,k,t – вес, который является вероятностью того, что данное наблюдение принадлежит к k-му компоненту (сумма всех K равна 1); и – вектор математического ожидания и матрица ковариации k-го нормального распределения в смеси в момент времени t, соответственно. η – нормальная функция плотности распределения, которая определяется как
(3)
где n – количество каналов изображения, и в нашем случае (RGB) оно равно трем.
Для сокращения времени, затрачиваемого на вычисления, красный, зеленый и синий цветовые каналы для каждого пикселя примем за независимые и имеющие одинаковую дисперсию, что значит
(4)
где I обозначает единичную матрицу и σ – среднеквадратичное отклонение.
Известно, что чем больше вес нормального распределения, w, тем больше наблюдений подходят под нормальное распределение за период времени; малое отклонение σ обозначает более стабильное распределение. Следовательно, K распределения описывают историю пикселя и упорядочиваются по соотношению w/σ, которое определяет его статус, т.е. принадлежит он фону или переднему плану. Обычно движущиеся объекты могут быть представлены несколькими распределениями с маленьким весом. Следовательно, первые B распределения которые, что более взвешенная сумма, чем порог T, выбирается для оценки фона, когда остальные распределения K – B являются передним планом, где B определяется как
(5)
Значение порога T является минимальной частью, которая должна считаться фоном. Если значение T велико, модель фона составляется из мультимодального распределения и может представлять комплексно фон.
Для каждого нового наблюдения пикселя оно может совпадать с одним из наибольших компонентов K распределения. Совпадающее нормальное распределение может быть определено, если расстояние между и меньше, чем пороговое значение λ, умноженное на среднеквадратичное отклонение. Каждое новое наблюдение пикселя проверяется путем сравнения с существующим K нормальным компонентом распределения для нахождения первого совпадающего распределения.
(6)
где Mxy,k,t – совпадающая функция k-го распределения в момент времени t; λ – положительное число, которое обычно задается в интервале от 2,5 до 3 и помогает достигать уровня точности более 0,95. Если наблюдаемое значение совпадает с одним из B распределений фона, то пиксель (x, y) маркируется как фоновый; в противном случае он является пикселем переднего плана.
На практике изменения в освещении могут потребовать обновления параметров смешанной модели для адаптации к изменениям. Следовательно, необходимо обновлять параметры смешанной модели для ее адаптации к изменениям освещения. Метод обновления параметров выглядит следующим образом: в момент времени t, если есть совпадение с K распределениями, вектор математического ожидания и ковариация подстраиваются в соответствии с текущим наблюдаемым значением , но остаются такими же для несовпадающих распределений. В то же время веса K распределений в момент времени t подбираются текущей совпадающей функцией. Простая адаптация соответствующих параметров модели пикселя может быть сформирована при помощи следующих уравнений:
(7)
где α обозначает «скорость» обновления фона и может изменяться в диапазоне от 0 до 1. Если нет совпадения с K распределениями для текущего вектора наблюдения , компонент с малым значением w/σ заменяется новым распределением с математическим ожиданием, устанавливаемым и изначально большой вариацией и относительно малым весом.
Быстрый метод, использующий смешанную модель
Метод вычитания фона, описанный выше и основанный на смешанных Гауссовских моделях, показывает результат очень хорошего качества. Однако большие части изображения остаются статичными, что приводит к значительному увеличению количества обрабатываемой информации. Параметры тех пикселей, которые ассоциированы с потенциальным регионом возгорания, хорошо коррелируются с пространственно-временными характеристиками пламени, что в дальнейшем может быть использовано в целях ускорения вычитания фона. Другими словами – позволяет избежать необходимости применять метод, описанный выше для каждого пикселя на каждом кадре.
Основываясь на пространственно-временных характеристиках пикселей, их можно классифицировать на активные и неактивные [12, 22]. Например, рисунок показывает фрагмент изображения разрешением 6×6, где серым обозначены активные пиксели, а белым – неактивные. В случае, если только история изменений каждого активного пикселя смоделирована методом, описанным выше, то количество вычислений сокращается вдвое.
В данном исследовании статус всех неактивных пикселей определяется в соответствии со статусами 4 соседних пикселей. Например, пиксель m – это неактивный пиксель на рис. 1, который будет классифицирован как фоновый или как пиксель переднего плана лишь в соответствии с 4 соседними пикселями (A, B, C, D). Если есть два и более пикселя, которые были определены как фоновые, неактивный пиксель m затем также считается фоновым, и наоборот.
Рис. 1. Активные и неактивные пиксели изображения
Если число пикселей равно, то статус пикселя m определяется в соответствии со следующим уравнением:
(8)
где Tm – пороговое значение; – наблюдаемое значение пикселя m в момент времени t; – среднее среди математического ожидания первого распределения, определенного по соотношению w/σ для четырех соседних пикселей A, B, C, D, следовательно:
(9)
Обобщив вышесказанное, можно сказать, что улучшенная смешанная Гауссовская модель определяется для каждого активного пикселя в цветовом пространстве RGB, где каждый активный пиксель классифицируется как часть движущегося переднего плана, либо как часть статического фона вычислением соответствующей совпадающей модели; в то же время неактивные пиксели классифицируются в соответствии с окружающими их пикселями. В результате, бинарная карта движущихся частей изображения строится в соответствии со следующими правилами:
(10)
где вектор цветовых характеристик пикселя с координатами (x, y) в момент времени t.
Извлечение цветовых характеристик пламени
Пламя всегда имеет определенные цветовые характеристики, за исключением горения при очень высоких температурах и определенных типов «топлива» – тогда пламя может иметь синий цвет; но большинство возгораний имеют белый цвет в центре. Затем цвет изменяется от белого к желтому и потом к красному, так как температура снижается от центра к краю [13]. Был произведен анализ цветовых характеристик пламени и извлечение его цветовых характеристик на основании набора изображений в количестве 2500 штук, общее количество проанализированных пикселей составило около 115 тысяч с различными вариантами качества изображения, освещения и насыщенности. Набор из пикселей был проанализирован статистически, двумерное распределение которого изображено на рис. 1. Абсциссой является зеленый (G) компонент изображения, а ординатой соответственно синий (B), зеленый (G) и красный (R) компоненты каждого пикселя. Представив компонент G в виде прямой линии, мы получим распределение значений компонентов R, G, B на плоскости. Можно сделать вывод, что для большинства изображений пламени значения компонента R больше, чем G, а он в свою очередь больше, чем B. В дополнение, как можно увидеть на рис. 2, большая часть значений компонентов B больше 110 по шкале 0–255. На основе на данных наблюдениях были определены два правила цветовой классификации в пространстве RGB:
1) R(x, y, t) ≥ Rγ;
2) R(x, y, t) ≥ G(x, y, t) ≥ B(x, y, t), (11)
где R(x, y, t); G(x, y, t); B(x, y, t) обозначает цветовой компонент данного пикселя в заданных координатах (x, y) в заданный момент времени t; Rγ обозначает глобальный порог красного компонента для изображений пламени и составляет от 110 до 140.
Тем не менее, фоновая засветка может давать искажение значений на видеоизображениях, давая ложно-положительные срабатывания в засвеченных местах. Для минимизации данного эффекта был разработан еще один этап – анализ цветовой насыщенности. Как представлено на рис. 3, существует корреляция между насыщенностью в регионах изображения пламени с синим компонентом, и она может быть описана двумя функциями. В результате вводится третье правило цветовой классификации для пикселей, содержащих пламя:
3) I2 ≤ S(x, y, t) ≤ I1, (12)
где S(x, y, t) представляет функцию насыщенности, а I1 и I2 задают границы. Уравнения для I1 и I2 соответственно:
(13)
Рис. 2. Двумерное представление распределения пикселей пламени в цветовом пространстве RGB
Для снижения вычислительных затрат предлагается создать предварительно вычисленную таблицу значений для значений B, лежащих в диапазоне [0,255], которая создается непосредственно из уравнений для I1 и I2 , обозначенных выше. В дальнейшем она используется в третьем правиле обработки.
Также данные правила выполняются только на тех пикселях, которые были классифицированы на первом этапе как движущиеся, с использованием смешанной модели Гаусса, определенных в бинарной карте движения (BM).
В дальнейшем, на основании первого этапа и комбинации трех правил создается бинарная карта потенциальных пикселей (CM), содержащих изображение пламени. Формула принятия решения имеет следующий вид:
(14)
Шумы, поступающие при захвате изображения, могут создавать ложно-положительные результаты в карте CM, и для того чтобы снизить их количество во время предварительной обработки изображения, выполняются морфологические операции dilation и erosion.
Особенности мерцания пламени на видео
Известно, что горящее пламя мерцает, пульсирует и границы двигаются с определенными колебаниями, что формирует регион пламени на изображении [9, 10]. Это мерцательное движение вызывается турбулентными потоками окружающего воздуха. Согласно [10], динамический частотный диапазон мерцания пламени составляет 10 Гц вне зависимости от типа вещества.
Данные характеристики предоставляют возможность дифференцирования пламени от других движущихся источников света выполняя частотный анализ. Однако согласно теореме Котельникова частота дискретизации сигнала должна вдвое превышать частоту сигнала. К сожалению, видео, получаемое квадрокоптером, имеет лишь 25 Гц частоты кадров и, следовательно частота нахождения пламени не может быть более 12,5 Гц. В дополнение преобразование сигналов из временного интервала в частотный также занимает время и, соответственно, снижает эффективность метода.
Были предложены различные подходы к минимизации данной проблемы. Разработанный подход описан ниже.
С течением времени яркость и цвет пикселя (x, y), найденного на втором этапе и регистрирующего колеблющиеся движения пламени, варьируется в значительных пределах. Эти колебания яркости и цвета могут повторяться до нескольких раз в секунду. Обозначим SUM как матрицу, которая регистрирует частоту колебания пикселя. Если яркость пикселя изменяется между двумя последующими кадрами, SUM(x, y, t) увеличивается на единицу. Для того, чтобы уменьшить влияние шума, также вводится дополнительный порог Ti, регистрирующий изменения яркости, ΔI(x, y, t). Представим это в виде уравнений:
(15)
где (16)
и (17)
Яркость I(x, y, t) также может быть равна 0,3R + 0,59G + 0,11B, следуя правилам преобразования из цветового пространства RGB в пространство HSI. Но для ускорения вычислений средневзвешенное из этих трех цветов используется, чтобы ограничить количество вычислений с плавающей точкой. Значение порога TI определяется усреднением изменений яркости пикселей изображения, полученных в виде видеопоследовательности. Оно также устанавливается слегка выше, чем среднее изменение на 10 %, чтобы минимизировать влияние шума.
Пиксель, определенный как часть мерцающего пламени, если счетчик его колебаний превосходит порог SUM0 на заданном периоде:
(SUM(x, y, t) – SUM(x, y, t – N)) > SUM0, (18)
где N – период, который соответственно влияет на SUM0.
Рис. 3. Блок-схема предложенного метода
Рис. 4. Некоторые результаты работы метода
Анализ значительного количества видеозаписей пламени в различных условиях позволил установить границы значения порога SUM0. Было обнаружено, что счетчики колебаний для мерцающих пикселей значительно превышают таковые для немерцающих, и значение SUM0 должно быть выбрано как среднее между ними.
Блок-схема метода представлена на рис. 3.
Тестирование и анализ производительности
Представленный метод был реализован на языке программирования Python c использованием библиотек numpy и OpenCV и был протестирован на ноутбуке Dell E6430 с процессором Intel Core i5-3320M. Метод обработал набор нескольких видеозаписей пожаров в различных условиях и различного качества видеозаписи. Разрешение видео было 640×480.
На рис. 4 показаны некоторые результаты его работы.
Библиографическая ссылка
Минин И.В., Логачев В.Г. МЕТОДИКА ОБНАРУЖЕНИЯ ВОЗГОРАНИЯ С ИСПОЛЬЗОВАНИЕМ ЦИФРОВОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЯ // Фундаментальные исследования. – 2016. – № 6-2. – С. 299-307;URL: https://fundamental-research.ru/ru/article/view?id=40414 (дата обращения: 09.10.2024).