ИНФОРМАЦИОННО-АНАЛИТИЧЕСКАЯ ПОДДЕРЖКА ДЛЯ СИСТЕМЫ МОНИТОРИНГА ЛОГОВ ПРОГРАММНОГО ПРОДУКТА

INFORMATION AND ANALYTICAL SUPPORT FOR SOFTWARE PRODUCT LOG MONITORING SYSTEM

Alsu Mannanova

master's student, Department of Automated Control Systems, Ufa University of Science and Technology,

Russia, Ufa

Evgeny Kildibaev

master's student, Department of Automated Control Systems, Ufa University of Science and Technology,

Russia, Ufa

Roman Kuznetsov

master's student, Department of Automated Control Systems, Ufa University of Science and Technology,

Russia, Ufa

Enikeev Rustem Radomirovich

scientific supervisor, candidate of sciences, associate professor, Department of automated control systems, Ufa University of Science and Technology,

Russia, Ufa

АННОТАЦИЯ

 В данной статье рассматривается проблема анализа логов. Для решения данной проблемы были рассмотрены системы мониторинга логов и выявлены их преимущества и недостатки. А также что для эффективной работы системы мониторинга логов необходима информационно-аналитическая поддержка, благодаря которой можно настроить визуализацию удобно для разработчиков, администраторов системы и других экспертов.

ABSTRACT

This article deals with the problem of log analysis. To solve this problem, log monitoring systems were considered and their advantages and disadvantages were identified. And also that for the effective operation of the log monitoring system, information and analytical support is needed, thanks to which you can configure the visualization conveniently for developers, system administrators and other experts.

Ключевые слова: лог-файл; логирование; система мониторинга логов; тестирование.

Keywords: log file; logging; log monitoring system; testing.

Введение

В современном мире все больше компаний используют программные продукты для своей работы. Однако, при работе с программными продуктами могут возникать различные проблемы, которые могут привести к сбоям в работе системы и потере данных. Для предотвращения различных проблем, необходимо проводить тестирование, а для того, чтобы отследить сбои поможет логирование. Как известно, тестирование программного обеспечения занимает много времени, требует тщательной проверки и иногда при проведении тестирования происходит пропуск дефектов и ошибок. [2] Логирование – это процесс записи событий, происходящих в системе, в специальный журнал (лог-файл). Это может помочь предотвратить сбои в работе системы и потери данных, так как лог-файлы позволяют отслеживать ошибки и проблемы в системе, а также узнавать, кто и когда имел доступ к данным.

На многих предприятиях имеется большое количество процессов, которые распределяются по серверам локальной сети и контролируются с большой сложностью. [1] Все эти процессы записываются в текстовые файлы в виде логов, которые имеют разный объем и скорость записи. Если использовать информацию логов в таком формате, то они занимают много места на серверах, требуют большое количество времени на поиск необходимой информации о логах конкретного процесса и выявить проблему или ошибку становится очень трудно, либо невозможным. Всё это приводит к убыткам компании.

При анализе логов вручную могут возникнуть следующие трудности:

• необходимость ручного создания и анализа логов, что затруднит их обработку и потребует больших затрат времени и ресурсов;
• отсутствие автоматического уведомления о возникновении ошибок и проблем, что может привести к задержкам в решении проблем и повышенным рискам для проекта;
• ограниченность возможностей для мониторинга и анализа производительности и нагрузки на систему, что затруднит оптимизацию и улучшение работы проекта;
• неспособность быстро выявлять и исправлять ошибки и проблемы, что может привести к снижению качества работы проекта и ухудшению пользовательского опыта;
• риск потери или повреждения данных из-за неполной или некорректной записи логов, что может привести к серьезным последствиям для проекта и его пользователей.

Актуальность

Актуальным решением такой проблемы является использование системы мониторинга, которая автоматически собирает и анализирует логи, позволяет быстро выявлять и исправлять ошибки и проблемы, а также предоставляет возможности для мониторинга производительности и нагрузки на систему. Это позволяет улучшить эффективность работы проекта и снизить риски для его успешной реализации. Тестирование программных продуктов является неотъемлемой частью обеспечения корректной и стабильной работы таких больших и сложных систем. [3] Почти все инструменты мониторинга журналов позволяют задавать определённым уровням свои пороговые значения. Когда система достигает таких значений, инструмент заранее обнаруживает их, помогает журналировать данные и уведомляет сисадминов с помощью оповещений. [4]

Существует множество систем мониторинга логов, каждая из которых имеет свои особенности и возможности. Рассмотрим некоторые из них:

1. ELK Stack - это свободная и открытая платформа для сбора, хранения, поиска и анализа данных логов. Она состоит из Elasticsearch, Logstash и Kibana. Elasticsearch используется для хранения и поиска данных, Logstash для сбора и обработки лог-файлов, а Kibana для визуализации данных и создания отчетов.

2. Splunk - это коммерческая система мониторинга логов, которая позволяет собирать, анализировать и визуализировать данные логов. Она поддерживает множество источников данных, включая лог-файлы, базы данных, приложения и т.д. Splunk также имеет мощный язык запросов для анализа данных.

3. Graylog - это бесплатная и открытая система мониторинга логов, которая позволяет собирать, хранить, анализировать и визуализировать данные логов. Она имеет гибкую систему уведомлений и интеграцию с другими системами мониторинга.

4. Fluentd - это бесплатная и открытая система сбора и передачи данных логов. Она поддерживает множество источников данных и форматов лог-файлов. Fluentd также имеет гибкую систему фильтрации и маршрутизации данных.

5. Loggly - это коммерческая система мониторинга логов, которая позволяет собирать, анализировать и визуализировать данные логов в режиме реального времени. Она имеет интеграцию с множеством приложений и сервисов.

Каждая из этих систем имеет свои преимущества и недостатки. ELK Stack и Graylog являются бесплатными и открытыми системами с отличной функциональностью, но требуют некоторых знаний для настройки и использования. Splunk и Loggly являются коммерческими системами с более широкими возможностями, но требуют определенных затрат. Fluentd является более простой системой сбора логов, но может быть менее мощной по сравнению с другими системами.

Рассмотрим подробнее ELK Stack. ELK Stack - это сокращение от Elasticsearch, Logstash и Kibana. Эти три компонента работают вместе для сбора, хранения, анализа и визуализации данных логов.

Elasticsearch - это поисковый и аналитический движок, который используется для хранения и поиска данных логов. Он обеспечивает быстрый доступ к данным и масштабируется горизонтально для обработки больших объемов данных.

Logstash - это инструмент для сбора, обработки и отправки данных логов в Elasticsearch. Он может принимать данные из различных источников, таких как файлы журналов, базы данных, сетевые устройства и т.д. Затем он обрабатывает эти данные, чтобы они соответствовали нуждам пользователя, например, фильтрует данные, преобразует форматы и т.д.

Kibana - это веб-интерфейс для визуализации и анализа данных логов, хранящихся в Elasticsearch. Он позволяет создавать дашборды, графики, таблицы и другие визуальные элементы для представления данных логов.

ELK Stack имеет много преимуществ, таких как бесплатность и открытость, широкие возможности по сбору, хранению, анализу и визуализации данных логов, гибкую настройку и интеграцию с другими системами мониторинга, высокую производительность и масштабируемость.

Однако, есть и недостатки, такие как требование определенных знаний и опыта для настройки и использования, отсутствие встроенной системы уведомлений и безопасности, а также возможная необходимость дополнительной настройки для обработки больших объемов данных. В целом, ELK Stack является мощной и гибкой системой мониторинга логов, но требует определенных знаний и опыта для настройки и использования. Однако, благодаря своей бесплатности и открытости, она может быть привлекательным выбором для организаций с ограниченным бюджетом.

С помощью системы мониторинга логов можно:

• отслеживать несанкционированный доступ к системе и попытки взлома;
• анализировать ошибки и сбои в работе программ и оборудования;
• идентифицировать и решать проблемы с производительностью системы;
• обнаруживать аномальные события, которые могут указывать на наличие вирусов или других угроз;
• собирать статистику о работе системы для оптимизации ее работы и улучшения качества обслуживания пользователей.

Таким образом, система мониторинга логов является важным инструментом для обеспечения безопасности и надежности работы компьютерных систем.

Но для того, чтобы использовать систему мониторинга логов более эффективно, необходимо определить цели и требования к системе мониторинга логов. Также определить какие типы событий необходимо отслеживать, какие уведомления и оповещения должны быть настроены и какая информация должна быть доступна для анализа. Поэтому нам требуется использовать информационно-аналитическую поддержку.

Использование информационно-аналитической поддержки для системы мониторинга логов программного продукта является необходимым условием для эффективной работы такой системы. Она позволяет быстро выявлять проблемы и предотвращать их возникновение, а также предоставляет детальную статистику о работе программного продукта. Рекомендуется использовать специализированные инструменты для обработки большого объема данных и обучать персонал работе с данными.

Для эффективной настройки мощных дашбордов в Kibana необходимо:

1. Хорошее понимание данных: для создания дашбордов необходимо иметь хорошее понимание данных, которые вы хотите отобразить. Это поможет определить ключевые метрики и показатели, которые нужно отслеживать.

2. Хорошая структура данных: для того чтобы создавать мощные дашборды, данные должны быть хорошо структурированы и организованы. Это может потребовать предварительной обработки данных перед их загрузкой в Elasticsearch.

3. Правильный выбор визуализаций: для каждой метрики и показателя нужно выбирать правильную визуализацию. Например, для отображения изменения показателей со временем лучше использовать график временного ряда, а для отображения соотношения значений – круговую диаграмму.

4. Настройка фильтров: фильтры позволяют быстро находить нужные данные на дашборде. Необходимо настроить фильтры таким образом, чтобы пользователи могли быстро находить нужные данные и фокусироваться на ключевых метриках.

5. Доступность и безопасность: дашборды должны быть доступны для нужных пользователей и групп, при этом должны быть защищены от несанкционированного доступа. Необходимо настроить систему управления правами доступа в Kibana.

6. Масштабируемость: при создании дашбордов необходимо учитывать возможность масштабирования в будущем. Необходимо выбирать правильные инструменты и методы для хранения и обработки данных, которые позволят масштабировать систему при необходимости.

Заключение

В заключение, эффективная настройка мощных дашбордов в Kibana является важным компонентом информационно-аналитической поддержки для системы мониторинга логов программного продукта. Это позволяет быстро и эффективно отслеживать ключевые метрики и показатели, а также быстро находить нужные данные на дашборде. Необходимо учитывать хорошее понимание данных, хорошую структуру данных, правильный выбор визуализаций, настройку фильтров, доступность и безопасность, а также масштабируемость при создании дашбордов в Kibana.

Список литературы:

1. Злобина Н.В., Волжанкин Н.В., Пособилов Н.Е. Обеспечение централизованного мониторинга для систем сложной архитектуры с большим объемом данных // Труды НГТУ им. Р.Е. Алексеева. — 2017. — №4.
2. Шакирова А.И., Хасьянов А.Ф., Даутов Э.Ф. Сокращение времени тестирования программного обеспечения // Современные наукоемкие технологии. 2019. №7. С. 104-109.
3. Мельников А. В., Мищенко А. В. Тестирование промышленных программных систем с использованием пирамиды тестирования // Актуальные направления научных исследований XXI века: теория и практика. 2019. №1 (44). С. 257-261.
4. Лучшие методики журналирования enterprise-приложений. [Электронный ресурс] URL: https://habr.com/ru/company/vk/blog/532996/ (дата обращения: 05.03.2023).