Анализ динамики уровня воды открытых водных источников выявил, что существующие противопаводковые системы не достаточно эффективны в целях раннего предупреждения наводнений, несмотря на их регулярность и сезонную повторяемость. Для решения данных проблем необходимо использовать комплексные аналитические системы мониторинга открытых водоемов, способных предоставлять специалистам по чрезвычайным ситуациям полную картину данных для анализа ситуации в бассейнах рек и осуществлять прогнозирование ее развития.
Для реализации данных целей проводились научные исследования совместно учеными вузов России (Брянский государственный технический университет), Украины (Одесский национальный университет им. И.И. Мечникова) и Республики Беларусь (Гомельский государственный технический университет им. П.О. Сухого), в рамках которых были исследованы различные аспекты методов создания автоматизированных противопаводковых систем для мониторинга открытых водоемов на основе применения новых видов телеуправляемых уровнемеров и современных информационно-коммуникационных технологий [1–3]. Разработанная автоматизированная система прошла испытания при мониторинге параметров уровня воды в опасных районах, которые охватывают пограничные территории соседних славянских государств.
Архитектура системы
Архитектура разработанной аналитической системы мониторинга состояния бассейнов открытых водоемов и противопаводкового предупреждения (рис. 1) состоит из трех основных компонентов: сети контрольно-измерительных комплексов (КИК), центра хранения измерений и аналитического центра. Все компоненты системы взаимодействуют друг с другом через сеть Интернет и могут быть физически разнесены.
Основой аналитической системы мониторинга должна стать масштабная сеть датчиков, расположенных в анализируемых открытых водоемах, что в свою очередь требует значительных материальных вложений на закупку необходимых датчиков гидростатического давления, температурных датчиков и организации изготовления на их базе контрольно-измерительных комплексов, способных самостоятельно взаимодействовать с центром хранения измерений через сеть Интернет. Датчики могут иметь самостоятельное мобильное базирование в пределах зоны покрытия операторов сотовой связи, а также могут быть установлены на уже имеющиеся контрольные гидропосты метеослужб, для автоматизации их деятельности, используя при этом наземные средства передачи данных и силовые линии. Каждый контрольно-измерительный комплекс предусматривает постоянные измерения показателей уровня воды и температуры и передачу их через заданный интервал с использованием средств мобильной связи в центр хранения измерений.
Основой центра хранения измерений является транзакционная база данных, построенная в соответствии с архитектурой OLTP (Online Transaction Processing) [4]. Применение данного вида архитектуры обусловлено огромным количеством, но незначительными по объему транзакций, совершаемых в реальном времени, что позволяет обеспечить минимальное время отклика системы при сохранении новых данных и выборки последних измерений. Основными функциями центра хранения измерений является аутентификация запросов, приходящих от КИК и сохранения новых данных, а также возможности управления сетью КИК и получения информации о состоянии ее отдельных компонентов.
Рис. 1. Архитектура аналитической системы мониторинга бассейнов открытых водоемов
Аналитический центр предназначен для интеллектуального анализа данных, поступающих из различных источников, в том числе и из центра хранения измерений. В отличие от него основная база данных аналитического центра имеет многомерную структуру со множеством представлений и построенную на базе архитектуры OLAP (online analytical processing) [5]. Такая структура позволяет обеспечить наибольшую скорость доступа к различным аналитическим представлениям информации, созданным на основе анализа больших массивов данных, полученных от центра хранения измерений. В результате обработки данных в аналитическом центре производится прогнозирование ситуации в наблюдаемых районах, а также представление разносторонних отчетов и оповещение специалистов по чрезвычайным ситуациям.
Сеть контрольно-измерительных комплексов
Классические средства контроля состояния водоемов на гидропостах, накопление данных, и передача их через стационарные средства связи являются малоэффективными и не позволяют вести мониторинг ситуации в реальном времени для удаленного специалиста, а также в связи с малым объемом измерительных данных в краткосрочный период они не позволяют составлять точные и ранние прогнозы развития опасной ситуации. Для этого необходима автоматизация средств измерения и передачи данных с последующей их централизованной обработкой.
Для этих условий были разработаны собственные контрольно-измерительные комплексы (КИК), представляющие собой процессорный блок, имеющий внутри схемы согласования сигнала, поступающего от датчиков, программируемый микроконтроллер, модуль GPRS и аккумулятор для питания схем процессорного блока и подключаемых датчиков (рис. 2) [6].
Рис. 2. Структурная схема контрольно-измерительного комплекса
Программируемый микроконтроллер использует на входе сигнал от датчиков уровня воды и температуры, а также о текущем заряде аккумулятора. На основе данной информации он формирует HTTP запрос и отсылает его через GPRS модуль на сервер хранения измерений. Каждый запрос может быть представлен в следующем виде:
, (1)
где d – дата и точное время фиксации показаний каждого датчика в отдельных параметрах; P – множество параметров, измеряемых КИК; la – уровень напряжения на аккумуляторе (характеризует его оставшийся заряд); id – идентификационный номер контрольно-измерительного комплекса; n – порядковый номер передаваемого сообщения; F(q’) – хеш-функция, вычисляемая от конкатенации значений всех передаваемых параметров q’, вычисленная с секретным ключом k.
Множество передаваемых параметров измерения представляет собой набор пар, включающих имя и значение, и имеет следующий вид:
, (2)
где nP – имя параметра; vP – значение параметра; NP – полное множество типов параметров, анализируемое системой; R – множество вещественных чисел. Полный перечень включаемых параметров в запрос, а также периодичность пересылки данных регулируются с помощью команд управления КИК.
Перед установкой датчика на место проведения измерений производится настройка контрольно-измерительного комплекса, в рамках которой задается идентификатор устройства и секретный ключ для вычисления хеш-функции. При получении запроса от КИК сервер выбирает в своей базе закрытый ключ по открытому идентификатору устройства и вычисляет хеш-функцию от всех переданных параметров. В случае если полученные значения при вычислении функций совпадают с переданной, то полученные данные заносятся в БД, иначе игнорируются.
Для реализации обратного управления контрольно-измерительным комплексом ему могут передаваться команды: перезагрузка, остановка передачи данных, возобновление передачи, повтор сообщений с определенного номера и др. Для этого от сервера хранения измерений посылается сообщение, содержащее произвольный набор данных, в которое в произвольное место помещается идентификатор команды и ее параметры, а в конце помещается хеш-функция переданных данных. Измерительный комплекс, получив данные, проверяет их аутентичность, вычисляя функцию с закрытым ключом, и если она совпадает, то производит поиск идентификатора любой команды и исполняет ее.
Использование в контрольно-измерительном комплексе модуля беспроводной связи, а также аккумуляторов позволяет значительно повысить мобильность данного комплекса, при этом позволяя размещать прибор вне наземных средств передачи данных, а также без использования стационарных силовых линий, которые также могут быть использованы в случае установки прибора в специально оборудованных гидропостах, имеющих средства коммуникации и подведенные силовые линии.
Центр хранения измерений
Все измеряемые данные приходят на http сервер в центре хранения измерений, после чего запросы обрабатываются модулем регистрации данных (рис. 3).
Рис. 3. Алгоритм регистрации сообщений от КИК
Задачи данного модуля – произвести аутентификацию принимаемых данных, а также, в случае если для приславшего запрос КИК имеется команда управления, выслать ему эту команду. При получении потока сообщений от КИК все они накапливаются в очереди. При этом сообщения разбиваются по отдельным типам датчиков и сортируются в хронологическом порядке их измерений. Таким образом, измерения, полученные от одного КИК в одном сообщении, представляются в виде нескольких отдельных измерений одного устройства имеющих конкретные штампы времени. Из измерений датчиков различного типа формируются отдельные непрерывные потоки данных, которые последовательно сохраняются в OLTP базе данных [7].
Перед сохранением все полученные сообщения q транслируются в множество измерений Mq(Т:q → Mq), где каждый элемент mq представляет собой множество:
, (3)
где ids – уникальный идентификатор датчика измерений, полученный из базы данных по идентификатору КИК (id∈q), имени передаваемого параметра nP∈P∈q, которое характеризует тип измеряемого параметра. Кортеж mp также содержит множество измерений, выбранных из очереди сообщений, где каждый элемент является парой даты и значения измерений d, vp. База данных хранит измерения каждого датчика в отдельных файлах. При этом данная структура хранения позволяет гибко расширять систему за счет добавления модифицированных КИК с дополнительными или иными датчиками без изменения структуры хранения информации и внесения изменений в уже сохраненные данные. Все файлы пишутся линейно за счет добавления новых записей фиксированной длины в конец файлов в четко хронологическом порядке, что позволяет привести к линейному возрастанию сложности записи при увеличении объема потока данных (количества измерений в секунду) и не приводить к деградации скорости записи при увеличении объема хранимых данных.
Данная структура БД не имеет ключей и не предназначена для выборки данных по значениям отдельных полей записей. Основные цели данной базы – обеспечить максимальную скорость осуществления транзакций записи данных, их резервирование и хранение. Выборка данных производится только линейно в заданном интервале записей. При достижении заданных объемов файлов создается его копия, которая помещается в архив, а размер рабочего актуального файла урезается до заданного значения, определяющего количество последних записей доступного для оперативного доступа.
Центр хранения измерений имеет собственный веб-интерфейс, пользователем которого является инженер по обслуживанию сети контрольно-измерительных комплексов (рис. 4). Интерфейс предназначен для слежения за работоспособностью центра хранения измерений, настроек параметров OLTP базы данных и ее резервирования, регистрации новых и осуществления управления имеющимися КИК, а также получения актуального состояния сети измерительных приборов.
Рис. 4. Пример веб-интерфейса инженера по обслуживанию сети КИК
С использованием интерфейса инженер производит регистрацию новых КИК, для этого он вносит всю необходимую информацию о нем, после чего система выдает сгенерированный ключ и идентификатор устройства, который должен быть записан в самом КИК. После установки на место измерений для КИК отправляется команда его включения в систему и заносится дата первого полученного сообщения как основная дата установки.
Также инженер обслуживания сети должен заносить в БД информацию о производимых работах с сетью, таких как установка новых КИК, замена аккумуляторов, ремонт, модернизация отдельных ее узлов.
Центр хранения информации может быть распределен по региональному принципу размещения датчиков, а также в случае необходимости уменьшения нагрузки на сервер в КИК могут быть установлены несколько различных адресов центров хранения для их чередования, в результате чего будет построена разнесенная база измерений.
Аналитический центр
Основной задачей аналитического центра является оперативный анализ данных и прогнозирование ситуации в наблюдаемом регионе. Результатом работы аналитического центра являются визуальное представление аналитических данных, специализированные отчеты об актуальной ситуации и разработанных прогнозах. Вся данная информация предоставляется специалисту по чрезвычайным ситуациям по средствам специально разработанного веб-интерфейса, в котором он также имеет возможность настройки подсистемы экстренного оповещения об ухудшении ситуации и неблагоприятных прогнозах.
Основой для анализа являются данные о состоянии наблюдаемых объектов, формируемых в центре хранения измерений. Для получения этих данных производится постоянная синхронизация через сеть Интернет с заданными параметрами точности получения измерений.
Преобразованные данные хранятся в базе статистических и аналитических данных. При этом неактуальные измерения, имеющие давность более года, используются для создания прогноза в виде статистических данных. Такие устаревшие данные необходимы для построения объективных моделей возможных развитий ситуации, а также в связи с циклическим повторением состояний объектов наблюдения.
Заключение
В статье рассмотрены основные принципы построения комплексной аналитической системы мониторинга бассейнов открытых водоемов и противопаводкового предупреждения. При построении системы предлагается производить автоматическую регистрацию состояния водных бассейнов посредством сети контрольно-измерительных приборов, устанавливаемых в наиболее значимых точках водоемов, каждое из которых имеет несколько различных датчиков для проведения измерений в реальном времени.
Предложенная архитектура системы является гибко расширяемой и масштабируемой, что реализуется посредством разделения системы на процессинговый центр хранения измерений, построенный на базе структуры OLTP систем, и аналитического центра, использующий базы статистических и аналитических данных на базе OLAP, а также имеющий базу знаний о бассейнах водоемов представленную в виде онтологий. Взаимодействия всех узлов осуществляются посредством сети Интернет, что позволяет распределять узлы как логически по региональному признаку, так и географически.
Статья подготовлена в рамках гранта РФФИ «Исследование и разработка метода и автоматической системы противопаводкового мониторинга уровня воды открытых водоемов» (проект № 13-01-90351).
Рецензенты:Шведенко В.Н., д.т.н., профессор, заведующий кафедрой «Информационные технологии» Костромского государственного технологического университета, г. Кострома;
Коськин А.В., д.т.н. профессор, проректор по информатизации ФГБОУ «Государственный университет учебно-научно-производственный комплекс», г. Орел.
Работа поступила в редакцию 05.12.2014.
Библиографическая ссылка
Аверченков В.И., Леонов Е.А., Шкаберин В.А., Крышнев Ю.В., Захаренко Л.А., Лепих Я.И. РАЗРАБОТКА АНАЛИТИЧЕСКОЙ СИСТЕМЫ МОНИТОРИНГА БАССЕЙНОВ ОТКРЫТЫХ ВОДОЕМОВ И ПРОТИВОПАВОДКОВОГО ПРЕДУПРЕЖДЕНИЯ // Фундаментальные исследования. – 2014. – № 12-1. – С. 13-19;URL: https://fundamental-research.ru/ru/article/view?id=36063 (дата обращения: 17.08.2024).