Системы технического зрения решают задачи по дополнению или замене человека в областях деятельности, связанных со сбором и анализом зрительной информации. Уровень их использования в прикладных областях является одним из наглядных показателей уровня развития высоких технологий в различных отраслях промышленности. Применение систем технического зрения - автоматическая классификация с высокой производительностью по параметрам формы, цвета, размеров плодов, семян и других объектов. В условиях ужесточающейся конкуренции производители вынуждены беспокоиться о качестве используемого сырья и выпускаемой продукции, чтобы производимый продукт пользовался спросом. А на производствах малой и средней мощности, где качество сырья и тестовых заготовок на этапах технологического процесса оценивается «на глаз» и зависит от личного опыта технолога без объективных методов контроля, сложно добиться стабильного качества продукции.
На базе КНИИХП и КубГТУ разработано математическое и программное обеспечение продукционного представления знаний ЭС, обеспечивающей возможность принятия решений в системе непрерывного мониторинга показателей безопасности и качества в процессе производства консервов групп А, Б, В и Г [1-3].
Решение ряда задач ЭС наиболее эффективно с помощью применения методов нейронных сетей. Как этап технологического процесса инспекция проводится с целью удаления непригодных для переработки семян и плодов, а также посторонних примесей и предметов. В данной работе рассмотрены нейросетевая и статистическая реализации блока распознавания вычислительного ядра указанной ЭС. В нейросетевом блоке видеоизображение семян и плодов, подвергнутое спектральному вейвлет-преобразованию, является входом многослойной нейронной сети, выходной нейрон которой принимает решение об отбраковке и др. В блоке на основе статистических методов распознавания образов, вейвлет-спектр проверяется на принадлежность к эталонным эллипсоидам рассеивания.
Для разработки ЭС непрерывного мониторинга показателей качества и безопасности на консервных предприятиях в данной работе использована оболочка COMP-P[ascal], поддерживающая продукционное представление знаний и различные методы аргументации логического вывода - прямой, обратный и смешанный [4]. COMP-системы предоставляют разработчикам возможность встраивания компоненты работы со знаниями в виде библиотеки функций языков Object Pascal Delphi и С++ Microsoft Visual и Borland C++ Builder. Проанализировав и тщательно изучив технологию производства четырёх групп консервной продукции в соответствии с системой НАССР, были выбраны параметры, которые необходимо контролировать для получения качественной и безопасной продукции [2-3]. Параметры ввели в экспертную систему в качестве переменных с заранее заданными диапазонами (рис. 1).
Рис. 1. Влияние количества сохранённых гармоник вейвлет-спектра на качество
восстановленного по спектру изображения
Блок распознавания в ЭС включает следующие этапы создания «обучающей» базы данных (БД) для спектрального анализа плоского изображения плодов и последующего распознавания изображений:
1) фотосъёмка плодов на однотонном фоне; для «обучающей» БД - известного сорта, для рабочего режима - сортосмеси, подлежащей распознаванию;
2) применение алгоритмов отделения фона и выделения пиксельных изображений отдельных единичных плодов;
3) установить центр масс объекта, угол поворота относительно начальной системы координат и размеры каждого изображения, перенести начало координат в центр масс объекта и произвести поворот осей координат таким образом, чтобы ось абсцисс проходила вдоль максимального удлинения объекта;
4) нормализовать размеры объекта таким образом, чтобы вне зависимости от разрешения анализируемого изображения геометрические размеры всех объектов совпадали;
5) провести дискретное вейвлет-преобразование цветовых составляющих всех точек (пикселей), принадлежащих выделенной в предыдущих пунктах области; упорядочить полученные коэффициенты; отбросить незначащие элементы полученного упорядоченного массива;
6) для «обучающей» БД - сохранить полученные данные в БД единичных вейвлет-спектров;
7) для нейросетевых (НС) методов распознавания БД единичных вейвлет- спектров является обучающей выборкой. Разработать топологию и провести обучение НС;
8) для рабочего режима вейвлет-спектр элементов сортосмеси, подлежащей распознаванию, подаётся на вход разработанной НС. Выход НС идентифицирует элементы сортосмеси;
9) для статистических методов распознавания построение БД эталонных для каждого сорта эллипсоидов рассеивания;
10) для рабочего режима блока на основе статистических методов распознавания образов, вейвлет- спектр элементов сортосмеси, подлежащей распознаванию, проверяется на принадлежность к эталонным эллипсоидам рассеивания и определяется вероятность идентификации элементов сортосмеси.
Этапы 1-6, 9 описаны в работах [5-7] и далее не рассматриваются.
На этапе 5 в БД сохраняется изображение объекта размером 64×64 пикселя (см. рис. 1). Для получения спектра применяется алгоритм Малла 5-го уровня. В качестве материнского вейвлета выбран вейвлет Хаара. При расчёте вейвлет-спектра создаются аппроксимация и вертикальные, горизонтальные и диагональные коэффициенты. На пятом уровне разложения ширина и высота аппроксимации становятся равными двум пикселям. Как видно из рис. 2 (100 % нулевых коэффициентов детализации в спектре), в этих коэффициентах содержится информация о среднем цвете соответствующих участков исходного изображения. Добавление 1 % (99 % нулевых коэффициентов) детализирующих коэффициентов позволяет восстановить приблизительную форму исходного изображения. Также проявляются основные цвета участков окраски исходного изображения. Последующее добавление коэффициентов вейвлет-спектра ведёт к уточнению границ объекта и детализации окраски. Детализирующие коэффициенты содержат информацию о разнице цветов соседних участков изображения. Чем выше уровень разложения, тем большие участки изображения описываются соответствующими коэффициентами. Наибольшие различия в цвете наблюдаются на границе объекта, где цвет резко изменяется. Как следствие, коэффициенты, отвечающие за участки изображения, захватывающие границу объекта, имеют более высокие значения, чем вейвлет-коэффициенты, описывающие окраску объекта. По этой причине при последовательном добавлении детализирующих коэффициентов в отфильтрованный спектр в первую очередь восстанавливается форма объекта.
а б
Рис. 2. а - вариабельность контуров сорта Мастер; б - вариабельность контуров сорта Сур
Рассмотрим результаты нейросетевой реализации блока распознавания вычислительного ядра ЭС.
Первыми объектами исследований являлись сорта подсолнечника. Одним их этапов технологического процесса является разделение масличных культур на сорта и выделение неочищенных зёрен из общей массы. Решение такой задачи классификации осуществлено методами НС. Выбор топологии и обучение НС проведено с помощью известного нейроимитатора STATISTICA Neural Networks (SNN) v.6.0. Данный нейроимитатор позволяет конвертировать построенную сеть в язык С++ и легко интегрировать с экспертной системой. Следует отметить, что противоречивость требований высокой точности распознавания и возможностью настройки на практически любую культуру, существенна только при использовании нейропроцессоров вместо универсальных ЭВМ, т.к. накладываются ограничения на выбор топологии НС. Применение нейроимитаторов, ценой потери скорости распознавания, позволяет оперативно и гибко менять топологию НС.
Для разделения использовались сорта Сур и Мастер, которые относятся к гибридным сортам подсолнечника. Подсолнечник сорта Сур - это ультраранний сорт подсолнечника с масличностью до 49 %, сорт Мастер - высокопродуктивный среднеспелый сорт подсолнечника с масличностью до 54 %.
Архитектура сети: многослойный персептрон с 48 входами, одним промежуточным слоем и двумя выходами. Алгоритмом обучения был BFGS 25 (квази-ньютоновский метод), функция активации нейро-
нов - логистическая , функция ошибок SOS (равна сумме (взятой по всем наблюдениям) квадратов разностей целевых и фактических значений).
Таблица 1
Матрица классификации для двух сортов
Мастер |
Сур |
|
Всего |
46 |
34 |
Правильно |
46 |
32 |
Не правильно |
0 |
2 |
Правильно % |
100 |
95 |
Не правильно % |
0 |
5 |
Наличие ошибки распознавания обосновано высокой вариабельностью сортов, особенно у сорта Сур, (рис. 3).
а б
Рис. 3. а - вариабельность контуров пригодных зёрен; б - отбракованных зёрен
Отделение очищенного зерна подсолнечника дает 100 % распознавание. Архитектура сети - персептрон MLP-100-28-2, алгоритм обучения BFGS 7 (квази-ньютоновский метод), функция активации нейронов - радиальная базисная (гауссова) (0,1). Квази-ньютоновский метод - это современный метод обучения многослойных персептронов (Bishop, 1995; Shepherd, 1997). Он подходит для сетей небольшого размера и основывается на предположении о том, что по квадратичной (т.е. имеющей параболическую форму) поверхности ошибок можно двигаться непосредственно в направлении минимума, вычисляя шаг с помощью матрицы Гессе (матрицы вторых частных производных поверхности ошибок).
Таблица 2
|
Сур |
Сур очищенный |
Всего |
48 |
34 |
Правильно |
48 |
34 |
Не правильно |
0 |
0 |
Правильно % |
100 |
100 |
Не правильно % |
0 |
0 |
Следующим объектом исследования были зерна кукурузы (см. рис. 3), которые очень часто используются для консервирования и замораживания. Архитектура сети - многослойный персептрон с 54 входными нейронами, промежуточный слой из 34 нейронов и один нейрон на выходе. Функция активации нейронов - логистическая , функция ошибок SOS (равна сумме, взятой по всем наблюдениям, квадратов разностей целевых и фактических значений). Контрольная производительность равна 1, тестовая - 0,928, ошибка обучения - 0,000110.
Таблица 3
|
Годные |
Не годные |
Всего |
14 |
42 |
Правильно |
14 |
41 |
Ошибочно |
0 |
1 |
% правильных |
100 |
97,62 |
% ошибочных |
0 |
2,38 |
Обучение - алгоритм обратного распространения на 100 эпох и метод сопряженных градиентов с восстановлением сети с наименьшей контрольной ошибкой.
Третьим объектом исследования был консервированный зелёный горошек (рис. 4).
Архитектура сети - многослойный персептрон с 250 нейронами на входе, два промежуточных слоя по 127 нейронов и один на выходе. Функция активации нейронов - логистическая , функция ошибок SOS (равна сумме, взятой по всем наблюдениям, квадратов разностей целевых и фактических значений). Контрольная производительность равна 0,937, тестовая - 0,9937, ошибка обучения - 0,00199.
а б
Рис. 4. а - вариабельность контуров пригодных зёрен; б - отбракованных зёрен
Таблица 4
Годные |
Не годные |
|
Всего |
43 |
22 |
Правильно |
42 |
21 |
Ошибочно |
1 |
1 |
% правильных |
97,67 |
95,45 |
% ошибочных |
2,33 |
4,54 |
Алгоритмы обучения: первый этап - алгоритм обратного распространения в 100 эпох, второй этап - метод сопряженных градиентов. Для обоих этапов применялась затухающая регуляризация весов с параметром 0,01.
Для сравнения рассмотрим результаты статистической реализации блока распознавания вычислительного ядра ЭС. В блоке на основе статистических методов распознавания образов вейвлет-спектр проверяется на принадлежность к эталонным эллипсоидам рассеивания [7]. Проведено распознавание культур гороха, кукурузы и подсолнечника и отделения примесей в тестовых смесях зёрен.
Таблица 5
Мастер |
Сур |
|
Всего |
46 |
34 |
Правильно |
42 |
31 |
Не правильно |
4 |
3 |
Правильно % |
91,3 |
91,1 |
Не правильно % |
8,7 |
8,9 |
Очищенные зёрна подсолнечника показали лучшие результаты:
Таблица 6
Матрица классификации
Сур |
Сур очищенный |
|
Всего |
48 |
34 |
Правильно |
45 |
32 |
Не правильно |
3 |
2 |
Правильно % |
93,8 |
94,1 |
Не правильно % |
6,2 |
5,9 |
Результаты распознавания зерён кукурузы и горошка:
Таблица 7
Матрица классификации
Кукуруза |
Горох |
|
Всего |
77 |
83 |
Хороших |
45 |
59 |
Плохих |
28 |
24 |
Признано хорошими |
39 (86,7 % |
52(88,1 % |
Пропущено примесей |
1 (3,6 % |
0 (0 % |
Процент ошибок |
9,1 |
8,4 |
Таким образом, применение стандартной топологии нейронной сети - многослойного персептрона, без изменения функции активации и функции ошибки, с использованием градиентных методов обучения первого и второго порядка позволило провести достаточно точную оценку качества входной продукции для разных видов овощных и масличных культур. Блок на основе статистических методов распознавания образов показал худшие результаты.
Данная работа выполнена при финансовой поддержке Российского Фонда фундаментальных исследований и администрации Краснодарского края, грант №08-07-99033-р_офи.
Рецензенты:
Камалян Р.З., д.т.н., зав. кафедрой общей и прикладной математики Академии маркетинга и социально-информационных технологий, г. Краснодар;
Семенчин Е.А., д.ф.-м.н., зав. кафедрой Высшей алгебры и геометрии Кубанского государственного университета, МО РФ, г. Краснодар.
Работа поступила в редакцию 12.04.2011.