Разработкой алгоритмов нахождения в автоматическом режиме малоразмерных объектов на растровых изображениях специалисты по цифровой обработке изображений занимаются уже не одно десятилетие [2, 3, 21, 28, 31]. Под малоразмерным объектом в данном случае понимается изображение объекта, занимающее несколько десятков пикселей на изображении сцены. Результатом работы алгоритма нахождения малоразмерного объекта считается выделение на изображении группы пикселей, относящихся к искомому объекту. Несмотря на достигнутые успехи в решении отдельных задач, проблема все еще остается актуальной. Конкретные алгоритмы существенно зависят как от цели обнаружения малоразмерных объектов, так и от ограничений на содержание сцены.
Целью обнаружения объекта на изображении может быть:
– только его распознавание, т.е. отнесение к одному из известных классов, например, распознавание печатных символов [12];
– подсчет количества объектов, относящихся к разным классам, например, сбор статистических данных по аэрофотоснимкам [15];
– сопровождение выделенных как движущихся, так и неподвижных объектов по кадрам видеопотока, например, для мониторинга транспортных потоков [3];
– определение положения обнаруженного и распознанного объекта, например, для совмещения изображений, полученных с разных ракурсов [14].
Ограничения на содержание сцены касаются как собственно выделяемых объектов, например, возможных символов при обработке растрового изображения текста [12], так и фона, на котором необходимо обнаружить объекты. Фон на изображении с малоразмерными объектами может быть как равномерным, например, при выявлении воздушных объектов [5], так и иметь сложную структуру, например, в системах видеонаблюдения в городской среде [3].
В настоящей работе подробнее рассмотрим наиболее характерные из существующих в настоящее время алгоритмов поиска малоразмерных объектов.
Обнаружение объектовдля сопровождения
Для нахождения малоразмерных объектов на изображениях с равномерным фоном (море, небо, поле) применяются корреляционные методы [5] как в пространственной области, так и в частотной области с использованием различных ортогональных преобразований (Фурье, Уолша, Адамара) [6].
Алгоритмы, разработанные для обнаружения и сопровождения объектов [1], наиболее эффективны при наличии неподвижного фона с перемещающимся по нему объектом. Положение объекта на изображении определяется координатами пикселя, соответствующего центру описанного вокруг изображения объекта прямоугольника. В случае воздушных объектов фон представляет собой практически постоянную или плавно меняющуюся функцию яркости с включениями облаков, скорость перемещения которых значительно меньше скорости выделяемого объекта. Для оценки параметров авторегрессионной модели фона с целью его последующей компенсации используются как алгоритмы линейного предсказания [11], так и адаптивной пространственной фильтрации [16]. Результаты сравнительного анализа показывают [16], что адаптивный алгоритм вполне удовлетворительно работает при отношении сигнал/шум 2,5 и более.
Для изображений искусственных объектов характерно наличие прямолинейных границ (здания, дороги). Изображения естественных объектов в основном имеют криволинейные границы, хотя иногда могут встречаться и прямые линии, например, линия горизонта. Границы объектов на изображении представляют собой области перепада яркости и для их выделения применяются хорошо известные дифференцирующие или разностные фильтры [10, 26]. Например, LoG-фильтр, позволяющий выделить линию контура толщиной в один пиксель с одновременным удалением шума и мелких малоконтрастных деталей [10].
Для выделения только прямолинейных границ применяются более сложные методы, например, выделение линий перепада яркости толщиной в один пиксель детектором Канни [24] с последующим применением преобразования Хафа [22]. Недостаток такого подхода заключается в том, что детектор Канни, как известно [30], из-за нелинейности оператора немаксимального подавления дает на выходе «дрожащую» линию, а также сглаживает углы, т.е. точки резкого изменения направления границы. Преобразование Хафа в этом случае дает фрагментированную линию, что требует дополнительной обработки для связывания фрагментов, а для выделения угловых точек приходится применять дополнительные алгоритмы, например, детектор углов Харриса [25].
Недавно предложенный метод [7], позволяющий улучшить результаты выделения прямых линий на изображении, основан на выполнении ориентированной фильтрации с последующим поиском прямолинейных сегментов граничных линий по каждому направлению с различными коэффициентами масштаба. Найденные прямолинейные сегменты упорядочиваются по направлению и используются для построения иерархической системы дескрипторов распознаваемых объектов, изображения которых ограничены прямыми линиями. Выделение начальных и конечных точек прямых линий производится после формирования профиля градиента в выбранном направлении.
Бинаризация изображения выполняется с учетом результатов эрозии изолированных фрагментов [9], что улучшает выделение протяженных объектов на фоне помех различного вида. Порог бинаризации выбирается с учетом результатов сегментации на основе иерархии по форме и размерам изолированных фрагментов, образующихся на бинарном изображении в результате фильтрации набором соответствующих масок. Эксперименты, проведенные разработчиками данного метода [8], показали высокую эффективность метода для выделения и описания объектов искусственного происхождения на аэрофотоснимках.
Выделение на изображении объектов естественного происхождения представляет значительные трудности в силу наличия, как правило, криволинейной границы, отделяющей объекты как друг от друга, так и от фона [10]. В значительной мере задача облегчается введением дополнительных ограничений, определяющих условия получения изображения или специфику выделяемых объектов. Например, разработаны достаточно эффективные методы поиска на аэрофотоснимках стадных животных с целью подсчета их поголовья [15].
В данном случае автоматическая система должна подсчитать на снимке общее число животных, которые могут представлять собой как отдельные особи, так и неразделенные в процессе сегментации группы, причем на снимке возможно наличие нескольких видов визуально различимых животных.
Специфические особенности предмета обработки заключаются в следующем. Во-первых, система предназначена для подсчета поголовья северных оленей по аэрофотоснимкам тундры, что обеспечивает практически равномерный фон на изображении. Во-вторых, вполне допустимым является некоторый процент ошибок при распознавании, т.к. результатом работы системы являются статистические данные. Указанные особенности позволили, используя хорошо известные методы предварительной обработки, бинаризации, сегментации и распознавания изображений по геометрическим характеристикам сегментов [10, 13, 22, 23], получить вполне удовлетворительные результаты.
Недостатки системы заключаются в том, что при изменении цветового баланса снимка результаты сегментации меняются, а главное – при подсчете учитываются посторонние объекты, имеющие геометрические характеристики, схожие с характеристиками распознаваемых объектов.
При дистанционном зондировании земной поверхности с помощью многополосных спектрометров часто требуется не только распознать и выделить на изображении некоторую область, но и определить ее истинные размеры [20]. Для этого необходимо выполнить коррекцию пространственных искажений, обусловленную разными ракурсами съемки объекта. При коррекции пространственных искажений плоских объектов для нахождения параметров аффинного преобразования используются координаты характерных точек [19].
В системах технического зрения при совмещении растровых изображений, полученных с разных ракурсов, для исключения пространственных искажений выполняется привязка реперных точек [14], по координатам которых вычисляются параметры преобразования совмещаемых изображений.
И в том и другом случае в качестве характерных (реперных) точек используются изображения или хорошо различимых объектов, занимающих на изображении минимальное количество пикселей, или угловые точки контуров изображений более крупных объектов. Методы автоматического обнаружения подобных объектов рассмотрены выше. Возможно и выделение оператором характерных точек на изображении с дальнейшим автоматическим или ручным поиском их соответствия на совмещаемых изображениях [14].
На изображениях, полученных в сложных условиях (недостаточная или излишняя освещенность, погодные явления – дождь, снег, туман), малоразмерные объекты могут практически сливаться с фоном, что затрудняет их идентификацию как в ручном, так и автоматическом режимах. В таких случаях необходимо предварительно повысить контрастность изображения одним из известных методов [18]. Выбор конкретного алгоритма повышения контрастности и параметров обработки изображения зависит от статистических характеристик изображения и исходной различимости объектов.
Выделение подвижных объектов в видеопотоке
Отдельно следует выделить группу методов, ориентированную на выявление подвижных объектов в видеопотоке [17]. Именно признак движения объекта позволяет выделить его на кадре из видеопотока и при необходимости выполнить его сопровождение. Для оценки признака используется поле векторов движения, получаемых методом совмещения блоков, на которые разбиваются отдельные кадры в стандартах видеокодирования MPEG1-2 и Н261/262/263 [4].
В качестве критерия совпадения блоков или целевой функции наиболее часто используется средняя абсолютная разность яркостей пикселей сравниваемых блоков [17]. Известно большое количество алгоритмов, позволяющих находить соответствующие блоки в соседних кадрах видеопотока без полного перебора путем определения максимума целевой функции. Это алгоритмы, основанные на предположении об унимодальности целевой функции, например, поиск по квадрантам [27], алгоритмы, учитывающие возможность медленного движения, например, трехшаговый алгоритм [29], иерархические алгоритмы [32], предсказывающие начальное приближение.
Появление аномальных векторов при отсутствии движения в блоке связано с наличием шума, что вызывает изменение целевой функции. Для их компенсации производится разделение блоков кадра на фоновые, т.е. неподвижные, и движущиеся, между которыми далее и находится соответствие [17]. К фоновым блокам относятся те, у которых уровень корреляции с соответствующим блоком соседнего кадра больше некоторого порога. После компенсации фоновых блоков выполняется сегментация движущихся блоков по совпадению направления их движения.
Выводы
Приведенный краткий обзор методов поиска малоразмерных объектов на изображении позволяет сделать следующие выводы. Существующие в настоящее время алгоритмы являются узконаправленными, т.е. предназначены для эффективного решения задачи в конкретной постановке с рядом ограничительных условий.
Практически все рассмотренные алгоритмы требуют наличия в целом равномерного фона, на котором расположены достаточно контрастные объекты, хотя алгоритмы поиска подвижных объектов могут работать с достаточно произвольным фоном, который компенсируется за счет анализа соседних кадров видеопотока.
Движение в сторону разработки универсальных алгоритмов поиска малоразмерных объектов на изображениях сложных сцен, что вполне эффективно выполняет система «глаз-мозг», остается на сегодня весьма актуальной.
Рецензенты:
Симаков В.В., д.т.н., профессор, генеральный директор ОАО «Конструкторское бюро опытных работ», г. Москва;
Шалыто А.А., д.т.н., профессор, ученый секретарь ОАО «Концерн НПО «Аврора», г. Санкт-Петербург.
Работа поступила в редакцию 01.07.2013.