Задачи мониторинга и контроля работоспособности IT систем неразрывно сопровождают любую эксплуатацию информационных систем (ИС). Мониторинг также необходим на стадии разработки и тестирования программного обеспечения и аппаратных систем. Важнейшим преимуществом, который дает мониторинг, является возможность принять упреждающие меры до наступления возможного сбоя в системе, например, на основании анализа роста нагрузки и выявления слабого звена ИС.
Мониторинг инженерной и IT инфраструктуры программно-аппаратного комплекса
Инструменты мониторинга IT инфраструктуры
На рынке присутствует большое число решений для построения систем мониторинга, например, Prometheus, Nagios, Zabbix, Ntop, DataDog, Icinga и др. В данной статье речь пойдет про связку Zabbix-Grafana.
Zabbix — это инструмент с открытым исходным кодом, предлагающий решения корпоративного класса для мониторинга серверов и других устройств. Grafana – гибкий и удобный пакет с открытым исходным кодом для визуализации данных и формирования дашбордов.
Мониторинг сервера — это процесс мониторинга любых необходимых системных ресурсов сервера, включая использование ЦП, использование памяти, ввод/вывод, сеть, использование диска, процессы и т.д. Мониторинг инженерной инфраструктуры – это сбор и обработка данных, поступающих с различных датчиков, например давление в гидравлических системах, расход хладагента, температура рабочей среды драйкулеров, атмосферные показатели, освещенность и т.п.
Zabbix позволяет собирать данные способами, это могут быть протоколы IPMI, SNMP, SSH и др. Для разных операционных систем у Zabbix есть специальный модуль: Zabbix-agent, который позволяет не только транслировать метрики, но и выполнять определенные действия по сигналу от Zabbix сервера.
Несмотря на то, что у Zabbix есть своя система визуализации, с помощью Grafana можно сделать более гибкие и красочные экраны мониторинга, которые будут профессионально смотреться на обзорных мониторах технических служб, руководящего звена или на экранах общего доступа, создавая необходимый имидж компании.
Из значимых функций последних версий Zabbix можно выделить:
- HA кластер Zabbix Server.
- Функционал искусственного интеллекта – машинное обучение (Machine learning). Это триггеры, которые могут предсказывать события на основе поступающих метрик.
- Мониторинг бизнес метрик и соответствие SLA на базе измерения веса и значимости событий, зависимость служб и т.д.
- Собственный журнал аудита, который производит мониторинг как frontend, так и самого Zabbix сервера.
- Шаблон для Kubernetes.
Проект мониторинга ПАК
Рассмотрим практический пример реализации системы мониторинга программно-аппаратных комплексов (ПАК), состоящих из серверов, систем хранения данных (СХД), коммутаторов, маршрутизаторов, инженерной инфраструктуры водяного охлаждения оборудования. Особенностью проекта является его гибкость и масштабируемость на произвольно число ПАК. В основе решения – каскадная система Zabbix серверов с центральным Zabbix сервером и локальными Zabbix серверами в рамках каждого ПАК.
Общая концепция проекта представлена на диаграмме:
Высокоуровневая схема сетевой инфраструктуры приведена на диаграмме:
Особенностью проекта является комбинирование различных вариантов инсталляции систем мониторинга и проксирования, как на едином сервере (пример – ПАК1), так и на различных серверах (пример – ПАК2). Независимо от особенностей инсталляции модуля Zabbix Proxy, решение распределенного мониторинга системы ХОПД КВИ унифицировано и приведено на диаграмме:
Диаграмма отображает информационные потоки и логические взаимосвязи компонент системы. Центральный Zabbix сервер взаимодействует с модулями Zabbix Proxy, установленными на ПАКах и аккумулирует информацию об оборудовании в своей базе данных PostrgeSQL. Модули Zabbix Proxy работают со своими базами данных, которые нужны для хранения конфигурации и буфера данных об оборудовании перед отправкой их на сервер Центрального Zabbix.
Оболочка визуализации Grafana взаимодействует с Центральным Zabbix сервером и обеспечивает интерфейс (dashboard) состояния оборудования в ПАКах. Grafana также взаимодействует с базой данных Центрального Zabbix сервера.
Взаимодействие с пользователями Центрального Zabbix сервера обеспечено web сервером NGINX. Модули Zabbix Proxy не имеют графического интерфейса.
Внешний вид табло визуализации работы инженерной инфраструктуры на базе Grafana выглядит следующим образом:
При разработке интерфейса использовался плагин agenty-flowcharting-panel. Следует отметить, что плагин FlowCharting очень функциональный инструмент. Он позволяет сделать динамическую мнемосхему, где элементы будут реагировать на значения метрик (менять цвет, положение, название итд).
Безусловно, это не заменит профессиональные SCADA системы, но будет достаточно как инструмент централизованного мониторинга IT и инженерной инфраструктуры.