АНАЛИЗ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ СИСТЕМ ПОТОКОВОЙ ОБРАБОТКИ СОБЫТИЙ И ИСПОЛНЕНИЯ АКТИВНЫХ ПРАВИЛ

​ANALYSIS OF THE PERFORMANCE INDICATORS OF EVENT STREAMING AND ACTIVE RULES EXECUTION SYSTEMS

Andrey Krasnomyasov

master's student, Penza State University,

Russia, Penza

АННОТАЦИЯ

В современном мире, где объемы данных увеличиваются экспоненциально, потоковая обработка событий становится все более важной. Системы потоковой обработки событий (CEP) позволяют обрабатывать и анализировать потоки событий в реальном времени. Однако, для того чтобы обеспечить высокую эффективность и производительность, необходимо правильно выбирать критерии качества обслуживания (QoS) и производить анализ показателей эффективности системы. В данной статье будет рассмотрен анализ показателей эффективности систем потоковой обработки событий и выполнения активных правил.

ABSTRACT

In today's world, where data volumes are increasing exponentially, streaming event processing is becoming increasingly important. Event streaming processing (CEP) systems enable real-time processing and analysis of event streams. However, in order to ensure high efficiency and performance, quality of service (QoS) criteria must be properly selected and system performance metrics must be analyzed. In this paper, we will analyze the performance of event stream processing systems and active rules execution.

Ключевые слова: потоковая обработка, QoS, критерии эффективности, аппаратные ресурсы.

Keywords: streaming processing, QoS, performance criteria, hardware resources.

Рассматриваемые системы работают с потоком данных, который собирается в режиме реального времени с различных датчиков. Эти данные могут поступать из разных источников и использовать сложные бизнес-правила для определения сложных событий. Системы CEP обнаруживают такие события и реагируют на них незамедлительно [1, c. 2].

Потоковая обработка основана на следующих ключевых аспектах:

• непрерывная обработка входящего потока данных по мере поступления событии;
• низкая задержка до доли секунды;
• учет временной последовательности и порядка происхождения событий при обработке, даже если они достигли потокового процессора со смещением из-за сетевых задержек.

Показателем эффективности вычислительных систем обычно выступает их производительность – количество эталонных задач (алгоритмов), выполняемых в единицу времени. Оценка вычислительных систем потоковой обработки по их производительности должна учитывать случайный характер процесса поступления задач и длительность их обработки.

На основании произведенных исследований были выделены и распределены по категориям следующие метрики эффективности систем. Данные метрики позволяют оценить сильные и слабые стороны функционирования рассматриваемых систем в режиме реального времени.

Метрики памяти

Данный класс метрик отражает количество памяти, потребляемое системой при функционировании. Для оценки можно использовать процент доступной кучи, вычисляемой путем деления общего объема свободной памяти кучи на общий объем доступной памяти кучи в мегабайтах (1).

                                               (1)

Также, важным параметром является время сборки мусора GCTime (2).

                                                                               (2)

Время сборки мусора отражает общее накопленное время в миллисекундах, затрачиваемое управляемым компонентом сборщика мусора на поиск и восстановление недоступных объектов для освобождения места в памяти. GCTime определяется как общее накопленное время, затраченное на определение количества достижимых объектов (), количество недостижимых объектов (), и время освобождения памяти в миллисекундном кадре окна () [2, c. 6].

n-Вертикальные метрики

Вертикальные метрики в системах потоковой обработки данных связаны с отслеживанием характеристик отдельных компонентов системы. Они позволяют получать информацию о производительности конкретных узлов, приложений или запросов в системе. К таким метрикам относятся: загрузка ЦПУ, количество ошибок, количество запросов и т.д.

Коммуникационные показатели

Обратное давление (Back pressure) – это механизм, используемый в системах потоковой обработки данных для управления производительностью и предотвращения переполнения буфера, когда производительность обработки данных не соответствует их объему.

Когда производительность системы недостаточна, чтобы обработать весь поток данных, буфер заполняется, и система начинает отправлять обратные сигналы (Back pressure) потребителям данных, чтобы они замедляли свою скорость запросов. Таким образом, производительность потребления данных уменьшается до тех пор, пока система не сможет перейти в нормальный режим работы.

Для расчёта обратного давления в системах потоковой обработки данных используются различные методы. Один из таких методов – это вычисление уровня загрузки буфера, который позволяет определить, когда необходимо начинать отправку сигналов Back pressure потребителям данных.

Другой метод заключается в расчете пропускной способности потока данных и сравнении ее с производительностью системы. Если пропускная способность ниже производительности, то необходимо начинать отправку сигналов Back pressure потребителям данных.

Показатели вычислений

Основными показателями вычислений являются пропускная способность и задержка.

Пропускная способность – это мера вычислительной мощности системы. То есть пропускная способность отражает сколько событий система может обработать за единицу времени.

Задержка – указывает кол-во времени, требуемое для обработки события. Другими словами, это временной интервал между получением события и появлением эффекта обработки этого события в выходных данных [3, c. 37].

Внешние показатели

Важным аспектом характера входных потоков является их объем и частота. Чем больше данных поступает в систему, тем больше ресурсов требуется для их обработки, и тем выше требования к производительности системы. Кроме того, если данные поступают в систему слишком быстро, то система может столкнуться с проблемами сбоев и неравномерной обработки данных [4, c. 19].

Специализированные метрики

Данный класс описывает метрики, характерные для отдельных, более узконаправленных классов систем. К данным метрикам можно отнести качество интеллектуального анализа данных.

Качество интеллектуального анализа данных измеряет эффективность алгоритмов и методов анализа данных в обнаружении скрытых закономерностей, моделей и трендов в больших объемах данных.

Она может быть определена различными способами в зависимости от контекста задачи и используемых методов, но в общем случае включает в себя такие показатели, как точность, полнота, F1-мера, ROC-кривая и площадь под ней (AUC), а также другие метрики, связанные с конкретной задачей.

Выбор критериев эффективности для конкретной системы должен основываться на требованиях к приложению и бизнес-целях. Например, система, используемая для обработки финансовых транзакций, должна иметь высокую точность обработки событий, надежность и масштабируемость. Система, используемая для анализа социальных сетей, может сосредоточиться на высокой пропускной способности и быстрой обработке событий. Также важно учитывать возможности аппаратного обеспечения и требования к вычислительным ресурсам.

Список литературы:

1. Данилина, Е. А. Cистемы обработки сложных событий или CEP-системы / Е. А. Данилина, Д. А. Королева, С. В. Шибанов // Информационные технологии в науке и образовании. Проблемы и перспективы: Сборник научных статей Всероссийской межвузовской научно‐практической конференции, Пенза, 14 марта 2018 года / Под редакцией Л.Р. Фионовой. – Пенза: Пензенский государственный университет, 2018. – С. 149-152.
2. Gautam, B., Basava, A. Performance prediction of data streams on high-performance architecture. Hum. Cent. Comput. Inf. Sci. 9, 2 (2019). https://doi.org/10.1186/s13673-018-0163-4
3. Уэске Ф., Калаври В. Потоковая обработка данных с Apache Flink / пер. с англ. В. С. Яценкова. – М.: ДМК Пресс, 2021. – 298 с.
4. Chakravarthy S. Stream Data Processing: A Quality of Service Perspective /  Sharma Chakravarthy, Qingchun Jiang – Springer Science+Business Media, LLC, 2009 – 340 c.