Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

ON SMALL-SIZED OBJECTS IN IMAGES FINDING ISSUES AND METHODS

Filatov G.P. 1 Polyakov S.A. 1
1 St. Petersburg State University of Aerospace Instrumentation
In the paper methods of small-sized objects finding in images and videoframes for its selection and control are considered and analyzed. There are different cases of image backgrounds, where small-sized natural and non-natural should be found, are examined. Non-natural objects are distinguied by its straight line borders, and natural ones on the other hand have curved borders. Objects borders on images are recognized by regions with brightness change and well-known differentiating and difference filters are implemented for its selection. In general, for solving the task of object selection there are methods of filtration and fragmentation. Basing on reviews, recommendations for image processing method choice are given, regarding small-sized objects with characteristics similar to background. Besides, practical recommendations for the methods choice are also presented. It can be implemented for solving tasks of bio-resources evaluation and calculation, of objects selection and localization on images in technical vision systems, etc.
small-sized object
filtration methods
fragmentation
selection
orthogonal transform
object control
non-natural object
natural object
1. Alpatov B.A., Babayan P.V., Balashov O.E., Stepashkin A.I. Metody avtomaticheskogo obnaruzheniya i soprovozhdeniya ob»ektov. Obrabotka izobrazheniy i upravlenie M.: Radio-tekhnika, 2008. 176 p.
2. Alpatov B.A., Blokhin A.N. Modeli i algoritmy obnaruzheniya i vydeleniya dvizhushchikhsya fragmentov izobrazheniy // Avtometriya. 1995. no. 4. pp. 100–104.
3. Astratov O.S., Filatov V.N., Chernyshova N.V. Videomonitoring transportnykh potokov // Informatsionno-upravlyayushie sistemy. 2004. no. 1. pp. 14–21.
4. Vatolin D., Ratushnyak A., Smirnov M., Yukin V. Metody szhatiya dannykh. Ustroystvo arkhivatorov, szhatie izobrazheniy i video. M.: DIALOG-MIFI, 2003. 384 p.
5. Vilesov L.D. Obnaruzhenie-izmerenie parametrov ob”ektov na izobrazhenii. // Informatsionno-upravlyayushie sistemy. 2004. no. 1. pp. 22–29.
6. Vittikh V.A., Sergeev V.V., Soyfer V.A. Obrabotka izobrazheniy v avtomatizirovannykh sistemakh nauchnykh issledovaniy M.: Nauka, 1982. 214 p.
7. Volkov V.Yu., Turnetskiy L.S., Oneshko A.V. Vydelenie pryamolineynykh kromok na za-shumlennykh izobrazheniyakh // Informatsionno-upravlyayushie sistemy. 2011. no. 4. pp. 13–17.
8. Volkov V.Yu., Turnetskiy L.S., Oneshko A.V. Opisanie i vydelenie ob”ektov na izobra-zheniyakh s ispol’zovaniem pryamolineynykh segmentov // Informatsionno-upravlyayushie sistemy. 2012. no. 5. pp. 7–14.
9. Volkov V.Yu., Turnetskiy L.S. Porogovaya obrabotka dlya segmentatsii i vydeleniya protyazhennykh ob”ektov na tsifrovykh izobrazheniyakh // Informatsionno-upravlyayushie sistemy. 2009. no. 5. pp. 10–13.
10. Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazheniy M.: Tekhnosfera, 2005. 1072s.
11. Dzhayn A. K. Uspekhi v oblasti matematicheskikh modeley dlya obrabotki izobrazheniy // TIIER. 1981. T. 69. no. 5. pp. 9–39.
12. Erosh I.L., Sergeev M.B. Solov’ev N.V. Metody bystrogo raspoznavaniya simvolov, pri-godnye dlya apparatnoy realizatsii // Informatsionno-upravlyayushie sistemy. 2004. no. 4. pp. 2–6.
13. Erosh I. L., Sergeev M. B., Solov’ev N. V. Obrabotka i raspoznavanie izobrazheniy v sistemakh preventivnoy bezopasnosti: ucheb. posobie / SPb: SPbGUAP. 2005. 154 p.
14. Kozlov A.A., Litvinov M.Yu., Solov’ev N.V. Sovmeshchenie rastrovykh izobrazheniy v sistemakh tekhnicheskogo zreniya // Informatsionno-upravlyayushie sistemy. 2007. no. 6. pp. 7–10.
15. Mikhaylov V.V., Kharin Ya.V. K voprosu o postroenii sistemy raspoznavaniya i podscheta zhivotnykh na aerofotosnimkakh. Chast’ 1. Analiz metodov raspoznavaniya // Informatsionno-upravlyayushie sistemy. 2011. no. 2. pp. 22–28.
16. Murav’ev V.S., Murav’ev S.I. Adaptivnyy algoritm vydeleniya i obnaruzheniya vozdushnykh ob”ektov na izobrazheniyakh // Informatsionno-upravlyayushie sistemy. 2011. no. 5. pp. 8–14.
17. Obukhova N.A. Obnaruzhenie i soprovozhdenie dvizhushchikhsya ob”ektov metodom sopostavleniya blokov // Informatsionno-upravlyayushie sistemy. 2004. no. 1. pp. 30–37.
18. Sergeev M.B., Solov’ev N.V., Stadnik A.I. Metody povysheniya kontrastnosti rastrovykh izobrazheniy dlya sistem tsifrovoy obrabotki videoinformatsii // Informatsionno-upravlyayushie sistemy. 2007. no. 1. pp. 2–7.
19. Solov’ev N.V. Metody korrektsii prostranstvennykh iskazheniy izobrazheniy ploskikh ob”ektov v usloviyakh deystviya polnoy affinnoy gruppy preobrazovaniy // Informatsionno-upravlyayushie sistemy. 2003. no. 7. pp. 7–11.
20. Solov’ev N.V. Primenenie spektral’nykh kharakteristik dlya raspoznavaniya izobrazheniy pri distantsionnom zondirovanii zemnoy poverkhnosti // Informatsionno-upravlyayushie sistemy. 2003. no. 2–3. pp. 2–7.
21. Sosulin Yu.G. Teoriya obnaruzheniya i otsenivaniya stokhasticheskikh signalov M.: Sov.radio, 1978. 320 p.
22. Forsayt D.A., Pons Zh. Komp’yuternoe zrenie: Sovremennyy podkhod.: Per. s angl. M: Izdatel’skiy dom «Vil’yams», 2004. 928 p.
23. Furman Ya.A., Yur’ev A.N., Yanshin V.V. Tsifrovye metody obrabotki i raspoznavaniya binarnykh izobrazheniy / KrasGU. Krasnoyarsk, 1992. 248 p.
24. Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986. Vol. 8. no. 6. pp. 679–698.
25. Harris C., Stephens M. A combined corner and edge detection. In Proceedings of the Fourth Alvey Vision Conference, 1988. pp. 147–151.
26. Image Processing / H. Maitre Ed. London, UK: ISTE Wiley, 2008. 568 p.
27. Liu L.K., Feig E. A block-based gradient descent search algorithm for block motion estimation in video coding. // IEEE Trans, Circuit Syst. Videotech. 1996. Vol. 6. pp. 950–953.
28. Meier T., Ngan K.N. Automatic segmentation of moving objects for video object plane eneration // IEEE Trans, Circuit Syst. Videotech. 1998. Vol. 8. no. 5. pp. 132–147.
29. Po L.M., Ma W.C. A Novel tour-step search algorithm for fast block estimation. // IEEE Trans, Circuit Syst. Videotech. 1996. Vol. 6(3). pp. 313–317.
30. Volkov V., Germer R. Straight Edge Segments Localization on Noisy Images // Proc. of the 2010 Intern. Conf. on Image Processing, Computer Vision and Pattern Recognition IPCV’10. Las Vegas, Nevada, USA: CSREA Press, 2010. Vol. II. pp. 512–518.
31. Weszka J., Rosenfeld A. Threshold evaluation Techniques // IEEE Trans. SMC-8. 1978. pp. 622–629.
32. Xu J.B., Po L.M., Cheung C.K. Adaptive motion tracking block matching algorithms for video coding // IEEE Trans, Circuit Syst. Videotech. 2000. Vol. 10 (3). pp. 417–422.

Разработкой алгоритмов нахождения в автоматическом режиме малоразмерных объектов на растровых изображениях специалисты по цифровой обработке изображений занимаются уже не одно десятилетие [2, 3, 21, 28, 31]. Под малоразмерным объектом в данном случае понимается изображение объекта, занимающее несколько десятков пикселей на изображении сцены. Результатом работы алгоритма нахождения малоразмерного объекта считается выделение на изображении группы пикселей, относящихся к искомому объекту. Несмотря на достигнутые успехи в решении отдельных задач, проблема все еще остается актуальной. Конкретные алгоритмы существенно зависят как от цели обнаружения малоразмерных объектов, так и от ограничений на содержание сцены.

Целью обнаружения объекта на изображении может быть:

– только его распознавание, т.е. отнесение к одному из известных классов, например, распознавание печатных символов [12];

– подсчет количества объектов, относящихся к разным классам, например, сбор статистических данных по аэрофотоснимкам [15];

– сопровождение выделенных как движущихся, так и неподвижных объектов по кадрам видеопотока, например, для мониторинга транспортных потоков [3];

– определение положения обнаруженного и распознанного объекта, например, для совмещения изображений, полученных с разных ракурсов [14].

Ограничения на содержание сцены касаются как собственно выделяемых объектов, например, возможных символов при обработке растрового изображения текста [12], так и фона, на котором необходимо обнаружить объекты. Фон на изображении с малоразмерными объектами может быть как равномерным, например, при выявлении воздушных объектов [5], так и иметь сложную структуру, например, в системах видеонаблюдения в городской среде [3].

В настоящей работе подробнее рассмотрим наиболее характерные из существующих в настоящее время алгоритмов поиска малоразмерных объектов.

Обнаружение объектовдля сопровождения

Для нахождения малоразмерных объектов на изображениях с равномерным фоном (море, небо, поле) применяются корреляционные методы [5] как в пространственной области, так и в частотной области с использованием различных ортогональных преобразований (Фурье, Уолша, Адамара) [6].

Алгоритмы, разработанные для обнаружения и сопровождения объектов [1], наиболее эффективны при наличии неподвижного фона с перемещающимся по нему объектом. Положение объекта на изображении определяется координатами пикселя, соответствующего центру описанного вокруг изображения объекта прямоугольника. В случае воздушных объектов фон представляет собой практически постоянную или плавно меняющуюся функцию яркости с включениями облаков, скорость перемещения которых значительно меньше скорости выделяемого объекта. Для оценки параметров авторегрессионной модели фона с целью его последующей компенсации используются как алгоритмы линейного предсказания [11], так и адаптивной пространственной фильтрации [16]. Результаты сравнительного анализа показывают [16], что адаптивный алгоритм вполне удовлетворительно работает при отношении сигнал/шум 2,5 и более.

Для изображений искусственных объектов характерно наличие прямолинейных границ (здания, дороги). Изображения естественных объектов в основном имеют криволинейные границы, хотя иногда могут встречаться и прямые линии, например, линия горизонта. Границы объектов на изображении представляют собой области перепада яркости и для их выделения применяются хорошо известные дифференцирующие или разностные фильтры [10, 26]. Например, LoG-фильтр, позволяющий выделить линию контура толщиной в один пиксель с одновременным удалением шума и мелких малоконтрастных деталей [10].

Для выделения только прямолинейных границ применяются более сложные методы, например, выделение линий перепада яркости толщиной в один пиксель детектором Канни [24] с последующим применением преобразования Хафа [22]. Недостаток такого подхода заключается в том, что детектор Канни, как известно [30], из-за нелинейности оператора немаксимального подавления дает на выходе «дрожащую» линию, а также сглаживает углы, т.е. точки резкого изменения направления границы. Преобразование Хафа в этом случае дает фрагментированную линию, что требует дополнительной обработки для связывания фрагментов, а для выделения угловых точек приходится применять дополнительные алгоритмы, например, детектор углов Харриса [25].

Недавно предложенный метод [7], позволяющий улучшить результаты выделения прямых линий на изображении, основан на выполнении ориентированной фильтрации с последующим поиском прямолинейных сегментов граничных линий по каждому направлению с различными коэффициентами масштаба. Найденные прямолинейные сегменты упорядочиваются по направлению и используются для построения иерархической системы дескрипторов распознаваемых объектов, изображения которых ограничены прямыми линиями. Выделение начальных и конечных точек прямых линий производится после формирования профиля градиента в выбранном направлении.

Бинаризация изображения выполняется с учетом результатов эрозии изолированных фрагментов [9], что улучшает выделение протяженных объектов на фоне помех различного вида. Порог бинаризации выбирается с учетом результатов сегментации на основе иерархии по форме и размерам изолированных фрагментов, образующихся на бинарном изображении в результате фильтрации набором соответствующих масок. Эксперименты, проведенные разработчиками данного метода [8], показали высокую эффективность метода для выделения и описания объектов искусственного происхождения на аэрофотоснимках.

Выделение на изображении объектов естественного происхождения представляет значительные трудности в силу наличия, как правило, криволинейной границы, отделяющей объекты как друг от друга, так и от фона [10]. В значительной мере задача облегчается введением дополнительных ограничений, определяющих условия получения изображения или специфику выделяемых объектов. Например, разработаны достаточно эффективные методы поиска на аэрофотоснимках стадных животных с целью подсчета их поголовья [15].

В данном случае автоматическая система должна подсчитать на снимке общее число животных, которые могут представлять собой как отдельные особи, так и неразделенные в процессе сегментации группы, причем на снимке возможно наличие нескольких видов визуально различимых животных.

Специфические особенности предмета обработки заключаются в следующем. Во-первых, система предназначена для подсчета поголовья северных оленей по аэрофотоснимкам тундры, что обеспечивает практически равномерный фон на изображении. Во-вторых, вполне допустимым является некоторый процент ошибок при распознавании, т.к. результатом работы системы являются статистические данные. Указанные особенности позволили, используя хорошо известные методы предварительной обработки, бинаризации, сегментации и распознавания изображений по геометрическим характеристикам сегментов [10, 13, 22, 23], получить вполне удовлетворительные результаты.

Недостатки системы заключаются в том, что при изменении цветового баланса снимка результаты сегментации меняются, а главное – при подсчете учитываются посторонние объекты, имеющие геометрические характеристики, схожие с характеристиками распознаваемых объектов.

При дистанционном зондировании земной поверхности с помощью многополосных спектрометров часто требуется не только распознать и выделить на изображении некоторую область, но и определить ее истинные размеры [20]. Для этого необходимо выполнить коррекцию пространственных искажений, обусловленную разными ракурсами съемки объекта. При коррекции пространственных искажений плоских объектов для нахождения параметров аффинного преобразования используются координаты характерных точек [19].

В системах технического зрения при совмещении растровых изображений, полученных с разных ракурсов, для исключения пространственных искажений выполняется привязка реперных точек [14], по координатам которых вычисляются параметры преобразования совмещаемых изображений.

И в том и другом случае в качестве характерных (реперных) точек используются изображения или хорошо различимых объектов, занимающих на изображении минимальное количество пикселей, или угловые точки контуров изображений более крупных объектов. Методы автоматического обнаружения подобных объектов рассмотрены выше. Возможно и выделение оператором характерных точек на изображении с дальнейшим автоматическим или ручным поиском их соответствия на совмещаемых изображениях [14].

На изображениях, полученных в сложных условиях (недостаточная или излишняя освещенность, погодные явления – дождь, снег, туман), малоразмерные объекты могут практически сливаться с фоном, что затрудняет их идентификацию как в ручном, так и автоматическом режимах. В таких случаях необходимо предварительно повысить контрастность изображения одним из известных методов [18]. Выбор конкретного алгоритма повышения контрастности и параметров обработки изображения зависит от статистических характеристик изображения и исходной различимости объектов.

Выделение подвижных объектов в видеопотоке

Отдельно следует выделить группу методов, ориентированную на выявление подвижных объектов в видеопотоке [17]. Именно признак движения объекта позволяет выделить его на кадре из видеопотока и при необходимости выполнить его сопровождение. Для оценки признака используется поле векторов движения, получаемых методом совмещения блоков, на которые разбиваются отдельные кадры в стандартах видеокодирования MPEG1-2 и Н261/262/263 [4].

В качестве критерия совпадения блоков или целевой функции наиболее часто используется средняя абсолютная разность яркостей пикселей сравниваемых блоков [17]. Известно большое количество алгоритмов, позволяющих находить соответствующие блоки в соседних кадрах видеопотока без полного перебора путем определения максимума целевой функции. Это алгоритмы, основанные на предположении об унимодальности целевой функции, например, поиск по квадрантам [27], алгоритмы, учитывающие возможность медленного движения, например, трехшаговый алгоритм [29], иерархические алгоритмы [32], предсказывающие начальное приближение.

Появление аномальных векторов при отсутствии движения в блоке связано с наличием шума, что вызывает изменение целевой функции. Для их компенсации производится разделение блоков кадра на фоновые, т.е. неподвижные, и движущиеся, между которыми далее и находится соответствие [17]. К фоновым блокам относятся те, у которых уровень корреляции с соответствующим блоком соседнего кадра больше некоторого порога. После компенсации фоновых блоков выполняется сегментация движущихся блоков по совпадению направления их движения.

Выводы

Приведенный краткий обзор методов поиска малоразмерных объектов на изображении позволяет сделать следующие выводы. Существующие в настоящее время алгоритмы являются узконаправленными, т.е. предназначены для эффективного решения задачи в конкретной постановке с рядом ограничительных условий.

Практически все рассмотренные алгоритмы требуют наличия в целом равномерного фона, на котором расположены достаточно контрастные объекты, хотя алгоритмы поиска подвижных объектов могут работать с достаточно произвольным фоном, который компенсируется за счет анализа соседних кадров видеопотока.

Движение в сторону разработки универсальных алгоритмов поиска малоразмерных объектов на изображениях сложных сцен, что вполне эффективно выполняет система «глаз-мозг», остается на сегодня весьма актуальной.

Рецензенты:

Симаков В.В., д.т.н., профессор, генеральный директор ОАО «Конструкторское бюро опытных работ», г. Москва;

Шалыто А.А., д.т.н., профессор, ученый секретарь ОАО «Концерн НПО «Аврора», г. Санкт-Петербург.

Работа поступила в редакцию 01.07.2013.