Внедрение автоматизированных систем управления технологическими процессами выдвигает на первый план необходимость сбора и обработки большого объема телеметрических (сенсорных) данных с множества датчиков, располагаемых на объектах мониторинга для анализа и прогнозирования состояния и функционирования объектов, процессов и явлений техногенного и природного характера. Разработка беспроводных сенсорных сетей и их использование в системах дистанционного мониторинга объектов и процессов достаточно широко освещается в литературе [3, 6], так как существует тенденция к замене проводных телекоммуникаций беспроводными каналами связи для мониторинга пространственно-распределенных объектов на больших территориях, к которым относятся сети инженерных коммуникаций предприятий энергетики [4, 7]. Для сетей инженерных коммуникаций с большим числом объектов не всегда возможно реализовать полномасштабный сбор и передачу данных в единый диспетчерский центр для обработки в режиме реального времени. Поэтому актуальность приобретает задача синтеза и исследования модели и метода распределенных вычислений, которые можно реализовывать на оконечных пунктах сбора данных. Поэтому для решения задач сбора и обработки больших сенсорных данных (BigSensorData) концепция конвергентных распределенных вычислений с использованием защищенной беспроводной транспортной среды в плане обеспечения информационной безопасности.
Цель исследований ? синтез технологии конвергентной обработки данных на основе интеграции модели «туманных» и «облачных» вычислений.
Можно выделить три основных модели распределенных вычислений: параллельные GRID вычисления, облачные вычисления (cloud computing) и туманные вычисления (fog computing). GRID вычисления базируются на архитектуре компьютерных сетей и представляют собой способ организации вычислительного процесса, когда части задания распределяются по свободным в данный момент сетевым ресурсам для решения задач, сложных для отдельно взятого узла. Облачные вычисления (cloud computing) – это модель предоставления повсеместного сетевого доступа к общему пулу конфигурируемых ресурсов. Пользователь использует технологию «тонкого» клиента в качестве средства доступа к приложениям, платформам и данным, а вся инфраструктура системы находится у провайдера. Модель облачных вычислений возникла как развитие модели параллельных распределенных вычислений (Grid computing) [10]. Термин Grid вычисления относится преимущественно к архитектуре компьютерных сетей и представляет собой ориентированный на виртуализацию способ организации вычислительного процесса, когда части задачи распределяются по свободным в данный момент ресурсам сети для решения задач, сложных для отдельно взятого узла, что требует использования специального ПО. В документе IEEE «ORGs for Scalable, Robust, Privacy-Friendly Client Cloud Computing» [8] облачная обработка данных определена как технология распределенных вычислений, в рамках которой информация хранится в «облачном» хранилище на серверах в сети Интернет и временно кэшируется на клиентской стороне для аналитической обработки.
Туманные вычисления – это платформа распределенных вычислений и служб хранения информации на терминальных устройствах, а также сетевые службы передачи данных в центры сбора, хранения и обработки данных. Концепция туманных вычислений предусматривает распределённые вычисления, но выполняются они терминальные устройствами с ограниченными вычислительными и энергетическими ресурсами.
Конвергентная концепция распределенных вычислений означает:
1. Процесс сближения существующих моделей распределенных вычислений (GRID, Cloud-computing, Fog-computing).
2. Процесс сведения кластерных вычислительных систем (grid-кластеров, «облачных» кластеров и «туманных» кластеров) в единую инфокоммуникационно-вычислительную систему.
3. Процесс сведения в интегрированный комплекс серверных приложений бизнес-логики, операционных платформ, систем хранения данных, сетевых технологий, технологий виртуализации и т.п.
4. Разработка единого механизма управления и администрирования с поддержкой комплексной системы обеспечения информационной безопасности на всех уровнях распределенной обработки и хранения данных.
Архитектура системы, реализующей конвергентную концепцию распределенных вычислений, включает 4 программно-аппаратных уровня:
1. Множество терминальных сенсорных узлов, связанных с датчиками и промышленными контролерами, непосредственно реализующих туманные вычисления.
2. Координаторы сенсорных сегментов, модемы сотовой связи, ретранслирующие маршрутизаторы, осуществляющие сбор и доставку сенсорных данных.
3. Вычислительный кластер GRID вычислений.
4. Пользовательские устройства для доступа к информационным ресурсам.
Для взаимодействия программных агентов «туманных» вычислений с вычислительным GRID кластером реализуется механизм интеллектуальных брокеров. Брокером называется программный агент, реализующий функции накопления, шифрования, управления ключами, маршрутизации и передачи данных, разворачиваемый на координаторах сенсорных сегментов и промежуточных ретрансляторах сенсорной сети. Здесь целесообразно использовать протокол MQTT (Message Query Telemetry Transport) [9]. MQTT представляет протокол обмена сообщениями, предназначенный для использования в сетях с минимумом энергетических и вычислительных ресурсов. Сбор результатов туманных вычислений, поступающих из сенсорных сегментов ZigBee сети, осуществляется с помощью протокола MQTT посредством брокера. В качестве шлюза, в который загружается брокер, выступает координатор сенсорного сегмента сети ZigBee или модем сотовой связи.
Модель и метод «туманных» вычислений на базе беспроводной сенсорной сети с механизмами информационной защиты
Базовый уровень конвергентной модели реализуется на платформе распределенных «туманных» вычислений посредством программных агентов, интегрированных в узлы беспроводной сенсорной сети и/или в промышленные контроллеры. Для реализации модели «туманных» вычислений предлагается использовать беспроводную сенсорную сеть технологии ZigBee, поскольку каждый узел имеет микроконтроллер с предустановленной ОС, флеш-память и интерфейс для получения данных с датчиков и приборов автоматики. Терминальные вычислительные узлы распределены по периферии сети, и обработка информации в них может проводиться в режиме реального времени непосредственно в процессе сбора данных. Согласно модели туманных вычислений сенсорные узлы будут использоваться не только для сбора и передачи данных, но и для реализации операций по их структурированию и агрегированию [5]. Перенос на сенсорные узлы ряда операций, связанных с обработкой первичных сенсорных данных в плане их очистки, агрегирования, кластеризации и фильтрации обеспечит:
1. Снижение загруженности каналов связи сенсорных сетей.
2. Повышение автономности сети за счет сокращения числа передач.
3. Снижение нагрузки на серверные приложения.
4. Уменьшение объема данных в информационном хранилище.
5. Обработку сенсорных данных в режиме реального времени.
Предварительная обработка данных, собираемых узлами сенсорной сети с датчиков, приборов учета и промышленной автоматики, заключается в вычислении агрегированных энергетических показателей непосредственно в сетевых узлах. Затем показатели передаются для интеграции в «облачном» хранилище с целью последующего извлечения и интеллектуального анализа в кластерах масштабируемой GRID системы [1]. Таким образом, первой задачей в плане создания единой среды конвергентных вычислений является организация беспроводной сенсорной сети, создаваемой на базе множества автономных модулей, которые могут не только собирать данные с датчиков и приборов промышленной автоматики, но и выполнять обработку, анализ, агрегацию и хранение данных, реализуя модель «туманных» вычислений.
К идее использования вычислительных узлов ограниченной мощности, распределенных на большой территории и связанных в единую транспортную среду сенсорной сети, для решения аналитических задач привело создание и распространение промышленных вирусов и троянских программ, которые могут дистанционно загружаться на контроллеры и сенсорные узлы, мигрировать по промышленным сетям и вызывать определенные деструктивные действия. Аналогичный подход предлагается реализовать для дистанционной загрузки программных агентов на терминальные устройства. Способность агента дублировать самого себя и распространить свои копии на другие узлы сети назовем «миграцией». Безопасность функционирования агентов в беспроводной сенсорной сети можно обеспечивать следующими способами:
– установкой на этапе прошивки сенсорного узла (запрет процесса миграции);
– установкой и конфигурированием в процессе функционирования системы мониторинга с помощью оборудования (миграция разрешена в ручном режиме);
– установкой через защищенные каналы связи (VPN сети);
– установкой в виде встраиваемых служб операционной платформы и проприетарных протоколов для сенсорных узлов и контроллеров от конкретного производителя непосредственно на этапе их разработки;
– использованием стандартных средств информационной защиты, таких как присвоение электронной цифровой подписи, цифровой сертификации и шифрования сообщений, которыми они обмениваются.
Модель «туманных» вычислений на базе сенсорной сети можно представить в виде гиперграфа с двумя подмножествами вершин и ребер и расширенными свойствами (рисунок).
,
Гиперграфовое представление модели туманных вычислений
описывает сетевые узлы с весовыми (id) атрибутами, характеризующими вычислительные особенности контроллеров и координатами {x, y} пространственно-распределенных узлов, подмножество вершин 
определяет загружаемые программные агенты с атрибутами (pa), характеризующими параметры модулей, и атрибутами к, определяющими вычислительные функции, подмножество гиперребер 
постоянной инцидентности описывает каналы передачи данных с весовыми (id) атрибутами, подмножество гиперребер Uvar переменной инцидентности описывает маршруты миграции загружаемых программных агентов на узлы и контроллеры, P – предикат, определяющий инцидентность вершин и гиперребер. 
определяет различные виды устройств, в том числе процессоры сенсорных узлов и контроллеры приборов автоматики, учета и контроля энергоносителей, а также разные операционные платформы и программные прошивки. Поэтому в нем выделяются кластеры однотипных вершин, сгруппированных по вычислительной мощности и платформам, которые позволяют загружать агенты определенного класса, подмножество вершин которых Vpa также разделено на кластеры. Гиперребра постоянной инцидентности Uconst (a1, …, an), где n = const, делятся на кластеры, объединяющие сегменты конкретной сетевой технологии. Гиперребра Uvar объединяют подмножества вершин, моделирующих программные агенты, с подмножеством вершин, моделирующих конкретные типы контроллеров и сенсорных узлов, в которые они загружаются для выполнения вычислительных задач. Особенность гиперграфовой модели заключается в том, что множество гиперребер Uvar (b1, …, bm) является структурой, динамически изменяющейся в реальном времени, а также геопространственная привязка вершин, моделирующих узлы туманных вычислений, что позволяет решать задачи пространственно-временного анализа миграционных процессов агентов. Для семантического описания конвергентной инфраструктуры распределенных вычислений может быть использована реляционная модель. Вершине гиперграфа в таблице соответствует статическая запись с атрибутами конкретного объекта мониторинга и устройства обработки информации. Гиперребру Uconst также соответствует статическая запись, а гиперребру Uvar – динамически изменяющаяся запись.