Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

IMAGE RECOVERING USING TEXTURE-GEOMETRIC-BASED MODEL

Voronin V.V. 1 Semenischev E.A. 1 Frants V.A. 1 Svirin I.S. 2
1 Don State Technical University
2 CJSC «Nordavind»
In this paper an image inpainting approach based on the construction of a composite curve for the restoration of the edges of objects in an image using the concepts of parametric and geometric continuity is presented. It is shown that this approach allows to restore the curved edges and provide more flexibility for curve design in damaged image by interpolating the boundaries of objects by cubic splines. After edge restoration stage, a texture restoration using 2D autoregressive texture model is carried out. The image intensity is locally modeled by a first spatial autoregressive model with support in a strongly causal prediction region on the plane. Model parameters are estimated by Yule-Walker method. Several examples considered in this paper show the effectiveness of the proposed approach for large objects removal as well as recovery of small regions on several test images.
image processing
reconstruction
texture synthesis
metric
AR model
1. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting // Hawaii: Proc. IEEE Computer Vision and Pattern Recognition (CVPR). – 2001. – P. 213–226.
2. Kuo-Ming Hung, Ching-Tang Hsieh. A novel image inpainting technique based on bandelet transform // Computer Modeling and Simulation (ICCMS 10). Second International Conference on. – Vol. 2. – 2010. – P. 133–137.
3. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting // IEEE Trans. Image Process. – 2004. – № 13(9). – P. 28–34.
4. Qiang Chen, Yingxiang Zhang, and Yuncai Liu. Image Inpainting with Improved Exemplar-Based Approach // Multimedia Content Analysis and Mining, Lecture Notes in Computer Science. – 2007. – Vol. 4577. – P. 242–251.
5. Chan T.F., Vese L.A. Active contours without edges // IEEE Transactions on Image Processing. – 2001. – Vol. 10(2). – P. 266–277.
6. Voronin V.V., Marchuk V.I., Petrosov S.P., Svirin I., Agaian S., Egiazarian K. Image restoration using 2D autoregressive texture model and structure curve construction / Proc. SPIE 9497, Mobile Multimedia // Image Processing, Security, and Applications. – 949706. – 2015.
7. Telea A. An image inpainting technique based on the fast marching method // Journal of Graphics Tools. – 2004. – Vol. 9 (1). – P. 25–36.

В процессе передачи и преобразования двумерные сигналы подвергаются воздействию различных помех, что в ряде случаев приводит к ухудшению визуального качества и потере участков изображений. Оценивание истинных значений пикселей в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Методы реконструкции двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения (например: царапины, пятна, пыль, ненужные надписи, линии сгиба).

Большинство методов реконструкции изображений можно условно разделить на следующие группы: методы на основе решения дифференциальных уравнений в частных производных (PDE) [1]; методы на основе ортогональных преобразований [2]; методы на основе синтеза текстуры [3–4].

Использование известных методов реконструкции статических двумерных сигналов требует значительной априорной информации, уменьшение которой существенно усложняет процесс обработки изображений и в ряде случаев делает обязательным визуальный контроль и использование экспертных оценок. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования известных методов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений.

Целью данной работы является повышение точности реконструкции изображений на основе текстурно-геометрической модели.

Математическая модель

При реконструкции важным этапом является выбор модели изображения, от которого зависят все последующие этапы восстановления. В общем случае любое изображение по локальным геометрическим особенностям можно разделить на несколько областей – текстура и контуры. На изображении присутствуют текстурные, в том числе однородные области, разделенные границами, которые могут иметь толщину несколько пикселей и иметь различную пространственную конфигурацию. На рис. 1 представлена модель изображения, схематично представленная в виде трех подобластей.

pic_7.wmf

Рис. 1. Модель изображения

На основе предложенной текстурно-геометрической математической модели двумерных сигналов разработан метод синтеза неоднородного двумерного сигнала. Подход заключается в разбиении изображения на кластеры, при этом в пределах каждого предполагается однородность модели. Для восстановления границ раздела текстур предлагается использовать сплайн-интерполяцию. После восстановления границ кластеров используется операция заполнения (аппликация) этих кластеров выборочными фрагментами СП.

Метод восстановления изображений

Предлагаемый подход к реконструкции двумерных сигналов на основе текстурно-геометрической модели включает в себя четыре главных этапа:

1) нахождение фрагментов границ, пересекающих область R (на примере рис. 2, кривые ?1, ?2, ?3 и ?4);

2) определение соответствия между участками кривых;

3) интерполяция кривых, описывающих границы объектов и текстурных участков;

4) синтез текстурных областей в пределах восстановленных контуров.

Извлечение контуров объектов на изображении является нетривиальной задачей. В простейшем случае для этого может быть использован детектор Канни, который позволяет объединять в границы пиксели, для которых в направлении вектора градиента достигается локальный максимум. Недостатком такого подхода является некачественная сегментация текстур.

Для эффективной обработки предлагается использовать метод сегментации изображений на основе геометрической модели активного контура, который разработан Chan и Vese в [5]. Этот подход позволяет успешно сегментировать изображения различных типов, в том числе те, которые трудно или невозможно сегментировать классической пороговой обработкой или методами, основанными на градиенте.

Модель Chan – Vese (CV) является альтернативным решением проблемы Mumford – Shah, которая решает задачу минимизации путем минимизации следующего функционала энергии:

voronin01.wmf

где ?, ?1 и ?2 являются положительными константами, как правило, фиксированные ?1 = ?2 = 1, c1 и c2 – средние значения интенсивности u0 внутри C и за ее пределами C соответственно.

В сегментированном изображении (рис. 2, а) анализируются все участки контуров, которые находятся в локальной области ? (рис. 2, б) вокруг области R. Следующим этапом алгоритма является анализ полученных границ ?1, ?2, ..., ?k, ..., ?L и ?4, voronin02.wmf, L – количество участков границ, пересекающих область с искаженными пикселями R и их соотнесение к одной границе. Так, например, на рис. 2, б ?1, ?2 – участки первой границы ?1–2; ?3, ?4 – участки второй границы ?3–4. Cопоставление участков границ осуществляется с помощью векторного представления локальных окрестностей [6]. Локальные поверхности могут быть представлены тензором, который позволяет учитывать ориентацию изменений яркости, а также особенности изменения градиента. Для каждой локальной окрестности ?l, полученной в результате разделения области ? границами ?l и ?l+1, вычисляется тензор.

Для каждой пары точек и касательных векторов на границе ?S определяется интерполирующая кривая Эрмита. Матричная запись параметрических уравнений, описывающих элементарную кубическую кривую Эрмита, имеет вид B(t) = G?M?T,

voronin03.wmf

voronin04.wmf voronin05.wmf voronin06.wmf,

где M – базисная матрица кубической кривой Эрмита; G – геометрическая матрица.

pic_8.tif

а б

Рис. 2. Выделение и анализ границ

Далее для каждого полученного кластера используется операция заполнения (аппликация) выборочными фрагментами СП, синтезируемых на основе различных однородных моделей, при этом полученное изображение будет обладать существенно неоднородной структурой. Одним из простейших вариантов построения модели текстур является «трёхточечная» АР модель (модель Хабиби), которая является частным случаем 2-мерной авторегрессионной модели кратности (1,1), причем значение параметра ? задает коэффициент корреляции соседних элементов:

voronin07.wmf

при этом первый элемент поля формируется как Y1,1 = ???1,1; первый столбец voronin08.wmf первая строка voronin09.wmf

Решение системы уравнений Юла – Уокера позволяет найти коэффициенты ? уравнения авторегрессии по заданным или оцененным на основе эксперимента коэффициентам корреляции [6].

Существенным недостатком предлагаемого подхода является нерекуррентность предлагаемых процедур и, как следствие – высокие требования к вычислительным ресурсам ЭВМ.

Для увеличения быстродействия восстановление пикселей в каждой области возможно с помощью метода Телеа [7]. Использование данного подхода позволяет эффективно восстанавливать однородные области изображений с уменьшением вычислительных затрат. На рис. 3 представлен фрагмент изображения, содержащий текущую восстанавливаемую точку p.

pic_9.wmf

Рис. 3. Восстановление методом Телеа

Для восстановления значения пикселя p используется малая окрестность ?p в области доступных пикселей, значение которой вычисляется с учетом значений пикселей из данной окрестности и градиента изображения с использованием выражения

voronin10.wmf

где q ? ?p – каждый пиксель из области ?p, ?(p, q) – весовая функция.

Вместо данного выражения для восстановления значений пикселей может использоваться любое другое на основе решения дифференциальных уравнений в частных производных, вычисленное в локальной области ?p. Кроме того, возможно изменение весовой функции ?(p, q). Как правило, второй и третий критерий оказывают значительное влияние только при использовании достаточно большого размера области ?p.

Оценка эффективности метода восстановления изображений

Эффективность разработанного метода проверяется на тестовых изображениях с отсутствующими пикселями, которые находятся на границах объектов. На рис. 4 представлены примеры восстановления изображений различными методами (а – исходное изображение, б – изображение с отсутствующими пикселями, в – изображение, восстановленное методом [1], г – изображение, восстановленное методом [7]; д – изображение, восстановленное методом [3]; е – изображение, восстановленное предложенным методом.

pic_10.tif pic_11.tif pic_12.tif

а б в

pic_13.tif pic_14.tif pic_15.tif

г д е

Рис. 4. Примеры восстановления изображений

Анализ результатов восстановления показывает, что предложенный метод, основанный на геометрической модели с контурным и текстурным анализом, позволяет эффективно реконструировать как текстурные, так и структурные участки изображений. Метод на основе вычисления частных производных приводит к размытию изображения, а метод на основе поиска похожих областей не корректно восстанавливает изогнутые границы.

Для численной оценки эффективности методов восстановления изображений вычисляется значение среднеквадратической ошибки

voronin11.wmf

В таблице представлены усредненные значения voronin12.wmf для исследуемых методов. Разработанный метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений позволяет уменьшить погрешность реконструкции изображений в среднем на 90 % в сравнении с известными методами.

Значение среднеквадратической ошибки

voronin13.wmf

Метод [1]

Метод [7]

Метод [3]

Предложенный метод

0,1239

0,1232

0,1014

0,0654

Заключение

В статье представлен метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений, который заключается в реконструкции изображений с помощью восстановления контуров и синтеза текстуры путем моделирования авторегрессионной модели случайных полей. Продемонстрировано, что предлагаемый подход позволяет уменьшить ошибку восстановления при реконструкции структуры и текстуры изображений.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 15-01-09092\15.