Научный журнал
Фундаментальные исследования
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,087

О ПРОБЛЕМАХ И МЕТОДАХ НАХОЖДЕНИЯ МАЛОРАЗМЕРНЫХ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ

Филатов Г.П. 1 Поляков С.А. 1
1 Санкт-Петербургский государственный университет аэрокосмического приборостроения
В работе рассматриваются и анализируются методы поиска малоразмерных объектов на изображениях и кадрах видеопотока с целью их выделения и сопровождения. Рассматриваются различные варианты фона, на котором ищутся малоразмерные объекты искусственного и естественного происхождения. Искусственные объекты характеризуются наличием прямолинейных границ, естественные объекты – в основном криволинейных границ. Границы объектов на изображении рассматриваются как области перепада яркости и для их выделения применяются хорошо известные дифференцирующие или разностные фильтры. В целом для решения задачи выделения объектов используются методы фильтрации и фрагментации. На основе обзора даны частные рекомендации по выбору метода обработки изображений с малоразмерными объектами, близкими по характеристикам к фону. Приведены практические рекомендации по применению методов в задачах подсчета и регулирования биоресурсов, выделения и определения местоположения объектов в системах технического зрения и др.
малоразмерный объект
методы фильтрации
фрагментация
выделение
ортогональное преобразование
сопровождение
объект искусственного происхождения
объект естественного происхождения
1. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б.А. Алпатов, П.В. Бабаян, О.Е. Балашов, А.И. Степашкин. – М.: Радиотехника, 2008. – 176 с.
2. Алпатов Б.А., Блохин А.Н. Модели и алгоритмы обнаружения и выделения движущихся фрагментов изображений // Автометрия. – 1995. – № 4. – C. 100–104.
3. Астратов О.С., Филатов В.Н., Чернышова Н.В. Видеомониторинг транспортных потоков // Информационно-управляющие системы. – 2004. – № 1. – С. 14–21.
4. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео / Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин. – М.: ДИАЛОГ-МИФИ, 2003. – 384 с.
5. Вилесов Л.Д. Обнаружение-измерение параметров объектов на изображении. // Информационно-управляющие системы. – 2004. – № 1. – С. 22–29.
6. Виттих В.А., Сергеев В.В., Сойфер В.А. Обработка изображений в автоматизированных системах научных исследований – М.: Наука, 1982. – 214 с.
7. Волков В.Ю., Турнецкий Л.С., Онешко А.В. Выделение прямолинейных кромок на зашумленных изображениях // Информационно-управляющие системы. – 2011. – № 4. – С. 13–17.
8. Волков В.Ю., Турнецкий Л.С., Онешко А.В. Описание и выделение объектов на изображениях с использованием прямолинейных сегментов // Информационно-управляющие системы. – 2012. – № 5. С. 7–14.
9. Волков В.Ю., Турнецкий Л.С. Пороговая обработка для сегментации и выделения протяженных объектов на цифровых изображениях // Информационно-управляющие системы. – 2009. – № 5. – С. 10–13.
10. Гонсалес Р., Вудс Р. Цифровая обработка изображений – М.: Техносфера, 2005. – 1072 с.
11. Джайн А. К. Успехи в области математических моделей для обработки изображений // ТИИЭР. – 1981. – Т. 69. – № 5. С. 9–39.
12. Ерош И.Л., Сергеев М.Б. Соловьев Н.В. Методы быстрого распознавания символов, пригодные для аппаратной реализации // Информационно-управляющие системы. – 2004. – № 4. – С. 2 – 6.
13. Ерош И. Л., Сергеев М. Б., Соловьев Н. В. Обработка и распознавание изображений в системах превентивной безопасности: учеб. пособие / СПб: СПбГУАП, 2005. – 154 с.
14. Козлов А.А., Литвинов М.Ю., Соловьев Н.В. Совмещение растровых изображений в системах технического зрения // Информационно-управляющие системы. – 2007. – № 6. – С. 7–10.
15. Михайлов В.В., Харин Я.В. К вопросу о построении системы распознавания и подсчета животных на аэрофотоснимках. Часть 1. Анализ методов распознавания // Информационно-управляющие системы. – 2011. – № 2. – С. 22–28.
16. Муравьев В.С., Муравьев С.И. Адаптивный алгоритм выделения и обнаружения воздушных объектов на изображениях // Информационно-управляющие системы. – 2011. – № 5. – С. 8–14.
17. Обухова Н.А. Обнаружение и сопровождение движущихся объектов методом сопоставления блоков // Информационно-управляющие системы. – 2004. – № 1. С. 30–37.
18. Сергеев М.Б., Соловьев Н.В., Стадник А.И. Методы повышения контрастности растровых изображений для систем цифровой обработки видеоинформации // Информационно-управляющие системы. – 2007. – № 1. – С. 2–7.
19. Соловьев Н.В. Методы коррекции пространственных искажений изображений плоских объектов в условиях действия полной аффинной группы преобразований // Информационно-управляющие системы. – 2003. – № 7. – С. 7–11.
20. Соловьев Н.В. Применение спектральных характеристик для распознавания изображений при дистанционном зондировании земной поверхности // Информационно-управляющие системы. – 2003. – № 2–3. – С. 2–7.
21. Сосулин Ю.Г. Теория обнаружения и оценивания стохастических сигналов – М.: Сов.радио, 1978. – 320 с.
22. Форсайт Д.А., Понс Ж. Компьютерное зрение: Современный подход: пер. с англ. – М: Издательский дом «Вильямс», 2004. – 928 с.
23. Фурман Я.А., Юрьев А.Н., Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. – Красноярск: КрасГУ, 1992. – 248 с.
24. Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1986. – Vol. 8. – № 6. – Р. 679–698.
25. Harris C., Stephens M. A combined corner and edge detection. – In Proceedings of the Fourth Alvey Vision Conference, 1988. – Р. 147–151.
26. Image Processing / H. Maitre Ed. – London, UK: ISTE Wiley, 2008. – 568 c.
27. Liu L.K., Feig E. A block-based gradient descent search algorithm for block motion estimation in video coding // IEEE Trans, Circuit Syst. Videotech. – 1996. – Vol. 6. – P. 950–953.
28. Meier T., Ngan K.N. Automatic segmentation of moving objects for video object plane eneration // IEEE Trans, Circuit Syst. Videotech. – 1998. – Vol. 8. – № 5. – P. 132–147.
29. Po L.M., Ma W.C. A Novel tour-step search algorithm for fast block estimation. // IEEE Trans, Circuit Syst. Videotech. – 1996. – Vol. 6(3). – P. 313–317.
30. Volkov V., Germer R. Straight Edge Segments Localization on Noisy Images // Proc. of the 2010 Intern. Conf. on Image Processing, Computer Vision and Pattern Recognition IPCV’10. Las Vegas, Nevada. – USA: CSREA Press, 2010. – Vol. II. – P. 512–518.
31. Weszka J., Rosenfeld A. Threshold evaluation Techniques // IEEE Trans. SMC-8. – 1978. – P. 622–629.
32. Xu J.B., Po L.M., Cheung C.K. Adaptive motion tracking block matching algorithms for video coding // IEEE Trans, Circuit Syst. Videotech. – 2000. Vol. – 10 (3). P. 417–422.

Разработкой алгоритмов нахождения в автоматическом режиме малоразмерных объектов на растровых изображениях специалисты по цифровой обработке изображений занимаются уже не одно десятилетие [2, 3, 21, 28, 31]. Под малоразмерным объектом в данном случае понимается изображение объекта, занимающее несколько десятков пикселей на изображении сцены. Результатом работы алгоритма нахождения малоразмерного объекта считается выделение на изображении группы пикселей, относящихся к искомому объекту. Несмотря на достигнутые успехи в решении отдельных задач, проблема все еще остается актуальной. Конкретные алгоритмы существенно зависят как от цели обнаружения малоразмерных объектов, так и от ограничений на содержание сцены.

Целью обнаружения объекта на изображении может быть:

– только его распознавание, т.е. отнесение к одному из известных классов, например, распознавание печатных символов [12];

– подсчет количества объектов, относящихся к разным классам, например, сбор статистических данных по аэрофотоснимкам [15];

– сопровождение выделенных как движущихся, так и неподвижных объектов по кадрам видеопотока, например, для мониторинга транспортных потоков [3];

– определение положения обнаруженного и распознанного объекта, например, для совмещения изображений, полученных с разных ракурсов [14].

Ограничения на содержание сцены касаются как собственно выделяемых объектов, например, возможных символов при обработке растрового изображения текста [12], так и фона, на котором необходимо обнаружить объекты. Фон на изображении с малоразмерными объектами может быть как равномерным, например, при выявлении воздушных объектов [5], так и иметь сложную структуру, например, в системах видеонаблюдения в городской среде [3].

В настоящей работе подробнее рассмотрим наиболее характерные из существующих в настоящее время алгоритмов поиска малоразмерных объектов.

Обнаружение объектовдля сопровождения

Для нахождения малоразмерных объектов на изображениях с равномерным фоном (море, небо, поле) применяются корреляционные методы [5] как в пространственной области, так и в частотной области с использованием различных ортогональных преобразований (Фурье, Уолша, Адамара) [6].

Алгоритмы, разработанные для обнаружения и сопровождения объектов [1], наиболее эффективны при наличии неподвижного фона с перемещающимся по нему объектом. Положение объекта на изображении определяется координатами пикселя, соответствующего центру описанного вокруг изображения объекта прямоугольника. В случае воздушных объектов фон представляет собой практически постоянную или плавно меняющуюся функцию яркости с включениями облаков, скорость перемещения которых значительно меньше скорости выделяемого объекта. Для оценки параметров авторегрессионной модели фона с целью его последующей компенсации используются как алгоритмы линейного предсказания [11], так и адаптивной пространственной фильтрации [16]. Результаты сравнительного анализа показывают [16], что адаптивный алгоритм вполне удовлетворительно работает при отношении сигнал/шум 2,5 и более.

Для изображений искусственных объектов характерно наличие прямолинейных границ (здания, дороги). Изображения естественных объектов в основном имеют криволинейные границы, хотя иногда могут встречаться и прямые линии, например, линия горизонта. Границы объектов на изображении представляют собой области перепада яркости и для их выделения применяются хорошо известные дифференцирующие или разностные фильтры [10, 26]. Например, LoG-фильтр, позволяющий выделить линию контура толщиной в один пиксель с одновременным удалением шума и мелких малоконтрастных деталей [10].

Для выделения только прямолинейных границ применяются более сложные методы, например, выделение линий перепада яркости толщиной в один пиксель детектором Канни [24] с последующим применением преобразования Хафа [22]. Недостаток такого подхода заключается в том, что детектор Канни, как известно [30], из-за нелинейности оператора немаксимального подавления дает на выходе «дрожащую» линию, а также сглаживает углы, т.е. точки резкого изменения направления границы. Преобразование Хафа в этом случае дает фрагментированную линию, что требует дополнительной обработки для связывания фрагментов, а для выделения угловых точек приходится применять дополнительные алгоритмы, например, детектор углов Харриса [25].

Недавно предложенный метод [7], позволяющий улучшить результаты выделения прямых линий на изображении, основан на выполнении ориентированной фильтрации с последующим поиском прямолинейных сегментов граничных линий по каждому направлению с различными коэффициентами масштаба. Найденные прямолинейные сегменты упорядочиваются по направлению и используются для построения иерархической системы дескрипторов распознаваемых объектов, изображения которых ограничены прямыми линиями. Выделение начальных и конечных точек прямых линий производится после формирования профиля градиента в выбранном направлении.

Бинаризация изображения выполняется с учетом результатов эрозии изолированных фрагментов [9], что улучшает выделение протяженных объектов на фоне помех различного вида. Порог бинаризации выбирается с учетом результатов сегментации на основе иерархии по форме и размерам изолированных фрагментов, образующихся на бинарном изображении в результате фильтрации набором соответствующих масок. Эксперименты, проведенные разработчиками данного метода [8], показали высокую эффективность метода для выделения и описания объектов искусственного происхождения на аэрофотоснимках.

Выделение на изображении объектов естественного происхождения представляет значительные трудности в силу наличия, как правило, криволинейной границы, отделяющей объекты как друг от друга, так и от фона [10]. В значительной мере задача облегчается введением дополнительных ограничений, определяющих условия получения изображения или специфику выделяемых объектов. Например, разработаны достаточно эффективные методы поиска на аэрофотоснимках стадных животных с целью подсчета их поголовья [15].

В данном случае автоматическая система должна подсчитать на снимке общее число животных, которые могут представлять собой как отдельные особи, так и неразделенные в процессе сегментации группы, причем на снимке возможно наличие нескольких видов визуально различимых животных.

Специфические особенности предмета обработки заключаются в следующем. Во-первых, система предназначена для подсчета поголовья северных оленей по аэрофотоснимкам тундры, что обеспечивает практически равномерный фон на изображении. Во-вторых, вполне допустимым является некоторый процент ошибок при распознавании, т.к. результатом работы системы являются статистические данные. Указанные особенности позволили, используя хорошо известные методы предварительной обработки, бинаризации, сегментации и распознавания изображений по геометрическим характеристикам сегментов [10, 13, 22, 23], получить вполне удовлетворительные результаты.

Недостатки системы заключаются в том, что при изменении цветового баланса снимка результаты сегментации меняются, а главное – при подсчете учитываются посторонние объекты, имеющие геометрические характеристики, схожие с характеристиками распознаваемых объектов.

При дистанционном зондировании земной поверхности с помощью многополосных спектрометров часто требуется не только распознать и выделить на изображении некоторую область, но и определить ее истинные размеры [20]. Для этого необходимо выполнить коррекцию пространственных искажений, обусловленную разными ракурсами съемки объекта. При коррекции пространственных искажений плоских объектов для нахождения параметров аффинного преобразования используются координаты характерных точек [19].

В системах технического зрения при совмещении растровых изображений, полученных с разных ракурсов, для исключения пространственных искажений выполняется привязка реперных точек [14], по координатам которых вычисляются параметры преобразования совмещаемых изображений.

И в том и другом случае в качестве характерных (реперных) точек используются изображения или хорошо различимых объектов, занимающих на изображении минимальное количество пикселей, или угловые точки контуров изображений более крупных объектов. Методы автоматического обнаружения подобных объектов рассмотрены выше. Возможно и выделение оператором характерных точек на изображении с дальнейшим автоматическим или ручным поиском их соответствия на совмещаемых изображениях [14].

На изображениях, полученных в сложных условиях (недостаточная или излишняя освещенность, погодные явления – дождь, снег, туман), малоразмерные объекты могут практически сливаться с фоном, что затрудняет их идентификацию как в ручном, так и автоматическом режимах. В таких случаях необходимо предварительно повысить контрастность изображения одним из известных методов [18]. Выбор конкретного алгоритма повышения контрастности и параметров обработки изображения зависит от статистических характеристик изображения и исходной различимости объектов.

Выделение подвижных объектов в видеопотоке

Отдельно следует выделить группу методов, ориентированную на выявление подвижных объектов в видеопотоке [17]. Именно признак движения объекта позволяет выделить его на кадре из видеопотока и при необходимости выполнить его сопровождение. Для оценки признака используется поле векторов движения, получаемых методом совмещения блоков, на которые разбиваются отдельные кадры в стандартах видеокодирования MPEG1-2 и Н261/262/263 [4].

В качестве критерия совпадения блоков или целевой функции наиболее часто используется средняя абсолютная разность яркостей пикселей сравниваемых блоков [17]. Известно большое количество алгоритмов, позволяющих находить соответствующие блоки в соседних кадрах видеопотока без полного перебора путем определения максимума целевой функции. Это алгоритмы, основанные на предположении об унимодальности целевой функции, например, поиск по квадрантам [27], алгоритмы, учитывающие возможность медленного движения, например, трехшаговый алгоритм [29], иерархические алгоритмы [32], предсказывающие начальное приближение.

Появление аномальных векторов при отсутствии движения в блоке связано с наличием шума, что вызывает изменение целевой функции. Для их компенсации производится разделение блоков кадра на фоновые, т.е. неподвижные, и движущиеся, между которыми далее и находится соответствие [17]. К фоновым блокам относятся те, у которых уровень корреляции с соответствующим блоком соседнего кадра больше некоторого порога. После компенсации фоновых блоков выполняется сегментация движущихся блоков по совпадению направления их движения.

Выводы

Приведенный краткий обзор методов поиска малоразмерных объектов на изображении позволяет сделать следующие выводы. Существующие в настоящее время алгоритмы являются узконаправленными, т.е. предназначены для эффективного решения задачи в конкретной постановке с рядом ограничительных условий.

Практически все рассмотренные алгоритмы требуют наличия в целом равномерного фона, на котором расположены достаточно контрастные объекты, хотя алгоритмы поиска подвижных объектов могут работать с достаточно произвольным фоном, который компенсируется за счет анализа соседних кадров видеопотока.

Движение в сторону разработки универсальных алгоритмов поиска малоразмерных объектов на изображениях сложных сцен, что вполне эффективно выполняет система «глаз-мозг», остается на сегодня весьма актуальной.

Рецензенты:

Симаков В.В., д.т.н., профессор, генеральный директор ОАО «Конструкторское бюро опытных работ», г. Москва;

Шалыто А.А., д.т.н., профессор, ученый секретарь ОАО «Концерн НПО «Аврора», г. Санкт-Петербург.

Работа поступила в редакцию 01.07.2013.


Библиографическая ссылка

Филатов Г.П., Поляков С.А. О ПРОБЛЕМАХ И МЕТОДАХ НАХОЖДЕНИЯ МАЛОРАЗМЕРНЫХ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ // Фундаментальные исследования. – 2013. – № 8-2. – С. 318-322;
URL: http://fundamental-research.ru/ru/article/view?id=31916 (дата обращения: 12.08.2020).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074