АЛГОРИТМЫ И МЕХАНИЗМЫ РАСПРЕДЕЛЕНИЯ ЗАДАЧ В СЕТЯХ ОБРАБОТКИ ДАННЫХ

Костюков Антон Александрович

Аспирант кафедры МОиПЭВМ

Пензенский Государственный Университет,

РФ, г. Пенза

Email: 

ALGORITHMS AND MECHANISMS FOR THE DISTRIBUTION OF TASKS IN THE NETWORKS OF DATA

Anton Kostiukov

graduate student at department of computer application and software

Penza State University

Russia, Penza

АННОТАЦИЯ

Статья посвящена описанию и сравнению алгоритмов назначения задач в распределённых вычислительных сетях. Подробно рассматриваются и классифицируются основные алгоритмы управления назначениями в кластерных системах. Автор исследует достоинства и недостатки приведённых механизмов, попутно приводя примеры успешного использования указанных алгоритмов в тех или иных ситуациях. Для подробного обзора выбран циклический алгоритм дефицита, поскольку он является наиболее интересным с точки зрения механики из представленных аналогов.

ABSTRACT

The article is devoted to description and comparison algorithms assign tasks in distributed computing networks. Details are considered classified and basic algorithms of management appointments in cluster systems. The author examines the advantages and disadvantages of the given arrangements, incidentally citing examples of the successful use of these algorithms in different situations. For a detailed overview of the selected Round Robin Deficit because it is the most interesting in terms of the mechanics of the presented analogues.

Ключевые слова: Алгоритмы назначения; задача о назначениях; системы массового обслуживания; распределённые вычислительные системы.

Keywords: Algorithms destination; assignment problems; queuing systems; distributed computing systems.

В XXI веке, веке всеобщей информатизации, постоянного увеличения количества информации, и как следствие необходимого повышения скорости поиска, а так же интенсивности запросов к серверам, как никогда важным стал поиск решения задач балансировки нагрузки (то есть – решения задач о назначениях). Это связано с тем, что с количеством доступной информации растёт и количество пользователей. Каждый день миллионы запросов направляются к серверам крупных компаний, сотни терабайт информации обрабатываются научно-исследовательскими станциями посредством их суперкомпьютерных кластерных сетей. Существует несколько способов ускорить быстродействие кластерных систем: горизонтальное масштабирование и вертикальное. Для повышения отказоустойчивости и скорости обработки запросов применяются не только алгоритмические решения, но и программные оптимизации [1]. Компьютерная сеть давно стала привычной абстракцией для выполнения вычислений на множестве машин. Все компьютеры такой сети исполняют не прямые запросы пользователей, а переадресованные от центрального распределителя, иными словами – балансировщика нагрузки. Такой распределитель всегда имеет внутри набор определённых стратегий (и/или алгоритмов), согласно которым, он отправляет пришедший запрос на обработку назначенному узлу. Такие алгоритмы подразделяются на две основные группы: с очередями и без них.

На рисунке 1 изображена примерная схема кластера обработки информации с выделенным распределителем задач (балансировщиком). Существует пул запросов (), которые поступают в случайной последовательности, и распределитель должен назначить каждый запрос в пул узлов (). Так же на рисунке отмечена база состояний, которая производит постоянный опрос узлов на предмет готовности к обработке. Жирным на изображении выделен узел, отвечающий за балансировку нагрузки, обычно, такой узел располагает механизмом назначения, который либо может меняться в зависимости от неких условий (стратегия замещения), либо же оставаться неизменным всегда (одиночная стратегия). Если используется стратегия замещения, такой балансировщик далее, мы будем называть активным, если же нет – статичным.

Рисунок 1. Концептуальная схема сервера (жирным выделен центр принятия решений)

Одной из самых базовых стратегий распределения нагрузки является циклический алгоритм (англ. Round Robin, RR). Данный алгоритм действует методом перебора и упорядочивания всех узлов компьютерной сети по круговому циклу. Циклический алгоритм является одним из самых старых представителей распределяющих стратегий. Его основные преимущества лежат на поверхности: простота для понимания, лёгкость воспроизведения в программном коде, быстрота принятия решения вне зависимости от размера задачи. Сложностью данного алгоритма, в большинстве случаев, можно считать . Данная стратегия является самой быстрой в плоскости принятия решений, но недостатки данного подхода кроются здесь же: принятые решения зачастую являются случайными для каждого отдельного случая, и надеяться на качественное распределение задач не стоит. Циклический алгоритм подходит для простейшего распределения равновесных задач по узлам со схожими характеристиками производительности и доступности.

Для более распространённой ситуации, когда множество узлов вычислений является неоднородным, существует модификация циклического алгоритма называющаяся весовой циклический алгоритм (англ. Weighted Round Robin, WRR). Механически, каждый поток пакетов или соединений имеет одну очередь в сетевом интерфейсе. Весовой циклический алгоритм обслуживает наибольшее количество запросов для каждой непустой очереди. , где  – это размер очереди,  – вес пакета,  – средний вес пакета. Преимуществами данного подхода являются использование очереди для распределения и довольно простой способ ранжирования задач. Отрицательной стороной является тот фактор, что перед распределением необходимо знать вес запроса, что приводит к задержке принятия решения.

Циклический алгоритм дефицита (англ. Deficit Round Robin, DRR), имеет ту же сложность, что и обычный циклический алгоритм – . При этом, алгоритм дефицита имеет ряд преимуществ: в отличие от весового циклического алгоритма, алгоритм дефицита не связан массой пакета, в отличие от взвешенной справедливой очереди, основанной на приоритетах пакетов, его сложность является  (против возможного ). Но при всех его плюсах, данный алгоритм имеет уже знакомый существенный недостаток – задержка принятия решения. В идеале она должна соответствовать GPS (Generalized processor sharing, Обобщённая система разделения процессора), идеальной эгалетарной системе, в которой каждый клиент одновременно с остальными назначается разным обработчикам. В данном подходе балансировщик обрабатывает  потоков заявок. По этой причине, он сконфигурирован с определённой долей для каждого потока – , в каждый цикл обхода, поток  может отправить  байт (килобайт) информации, в итоге:

, где  является массой ресурса.

Альтернативой стандартным алгоритмам (и эвристическим и математическим) решения задач о назначениях в условиях распределения задач по узлам обработки, являются алгоритмы из теории игр и экономической теории. Ярким примером подобного подхода является семейство алгоритмов аукциона [4]. Алгоритмы аукциона широко известны в экономической теории, но могут быть успешно применены и в балансировке нагрузки. В классическом варианте, проблема назначения состоит в распределении n-ного количества объектов среди n-ного количества владельцев. Имеет место распределение «один-к-одному». Математически, необходимо найти назначение «один-к-одному». Создать пары владелец-объект (1,) …, (1,), где  и  очередной запрос и узел, соответственно, для которых максимальная выгода будет равна . Так «выгода»  будет результатом распределения объекта  на владельца . Тогда задача будет состоять в получении наилучшей «выгоды». Представим, что возможно назначить  объектов для  владельцев, где каждый объект будет являться запросом на обработку информации, а каждый владелец будет являться обработчиком. Каждый запрос так же уникален, как и любая вещь на аукционе. Получается, если два сервера дают одинаково маленькое время обработки – даём случайному серверу. Также каждый запрос будет иметь собственный вес в системе , и каждый обработчик, который примет на исполнение данный запрос должен будет затратить  времени. В таком случае «цена» запроса  для обработчика  будет равной  и каждый обработчик  будет «желать» обработать запрос  с максимальным значением. Таким образом: ,, таким образом мы приходим к использованию механизма обобщённого многотоварного аукциона. В случае преобладания количества задач над количеством обработчиков (очень частый случай), необходимо решать задачу повторно до наполнения пулов задач у всех узлов.

Помимо простейших стратегий распределения задач по обработчикам, выделяются и более сложные алгоритмы, такие как []венгерский алгоритм (или алгоритм Куна) и семейство алгоритмов аукциона. Несмотря на довольно большую сложность (, в лучшем случае), алгоритм Куна является неплохой альтернативой простейшим стратегиям распределения в условиях сложной системы, в которой неограниченное число заявок, подаются на вход балансировщику сети с неоднородным распределением характеристик производительности. На рисунке 2 приведена примерная схема перехода от обычной матрицы состояний к взвешенному двудольному графу (x, y), который представляет некоторое инъективное соответствие элементов одной доли, к элементам другой. Пусть  – это определённое множество запросов к системе, а  – множество узлов-обработчиков, тогда, для получения наибольшей выгоды, необходимо найти наилучшее решение на двудольном графе.

Рисунок 2. Упрощённая схема перехода в алгоритме Куна

Данный алгоритм имеет определённые преимущества: при относительно небольшой сложности, эффективно распределяет ресурсы по обработчикам; прост в программном исполнении. Из минусов нужно отметить необходимость применения определённой стратегии замещения алгоритма при малых нагрузках. То есть, чтобы обеспечить наилучший результат распределения, необходимо применять алгоритм Куна для существенного массива запросов, иначе использование ресурсов сервера станет неэффективным.

Существуют так же политики назначения работающие на основе выбора следующей задачи путём определения кратчайшего задания (то есть наивысший приоритет имеет кратчайшая задача), путём определения времени оставшегося до освобождения узла от обработки (соответственно задача назначается узлу, который быстрее всех в перспективе освободится).

Насколько важна разработка новых теоретических и эвристических алгоритмов для решения задач назначения в условиях серверной балансировки, настолько же важно умение оценить сложность, и распознать конкретный тип задачи, чтобы выбрать наиболее эффективную методологию управления поступающими запросами. Представленные в статье алгоритмы и стратегии, позволяют качественно решать поставленные задачи, и довольно просты в переносе в компьютерный код.

Список литературы:

1. Безяев В.С., Макарычев П.П. Алгоритм решения задачи о назначениях целей : Аналитические и численные методы моделирования естественно-научных и социальных проблем. Сборник статей X Международной научно-технической конференции. под ред. И.В. Бойкова. Пенза, 2015. – 51–54 c.

2. Стивен С. Скиена. Алгоритмы. Руководство по разработке : БХВ-Петербург ISBN 978-5-9775-0560-4, 978-1-84800-069-8; 2011. – 420 с.

3. Haralambos Marmanis, Dmitry Babenko, Algorithms of the Intelligent Web : Manning Pubs Co Series ISBN 1933988665, 9781933988665; 2009. – 345 c.

4. Vickrey, William. Counterspeculation, Auctions, and Competitive Sealed Tenders : The Journal of Finance 16 (01), 1995. – 8–37 c.