ОБОСНОВАНИЕ ЦЕЛЕСООБРАЗНОСТИ ИСПОЛЬЗОВАНИЯ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ФОРМИРОВАНИИ ОЦЕНОЧНЫХ ПОКАЗАТЕЛЕЙ ОБРАЗЦОВ БОТОВ «DUCKIEBOTS»

АННОТАЦИЯ

В работе рассматривается вопрос введения интегрального показателя оценки качества системы внешнего управления (СВУ) и технического уровня транспортных средств (ботов) «DuckieBots» в проекте «DuckieTown» и получения значений весовых показателей методами задания предпочтений.

Ключевые слова: нейронная сеть, автономная система внешнего управления, бот, экспертные методы.

Введение

В настоящее время актуальным остается вопрос внедрения систем искусственного интеллекта для автоматической обработки больших объемов информации при создании сложных технических систем (СТС) с автономной системой управления.

Общая процедура проведения экспертных оценок

Исследователи и разработчики при создании СТС применяют современный инструментарий - методы математического моделирования. В условиях неполной информации, новизны и сложности вопроса методы экспертных оценок предоставляют возможность эффективного использования накопленного опыта и знаний специалистов в исследуемой области.

Экспертная оценка – совокупность научно-обоснованных методов, которые позволяют по заданным исходным данным формировать общую совокупность возможных вариантов технических решений, производить их сравнительный анализ, отбор, включая выделение оптимального по выбранным критериям варианта. [1]

Для применения экспертных методов заданий предпочтений (определения весовых коэффициентов) требуется четкое формулирование цели исследования, привлечение компетентных экспертов. Совокупность разрозненных мнений экспертов в диапазоне истинности может быть эффективно синтезировано, следовательно, позволит получить обобщенное мнение, близкое к реальности.

Формирование целей, показателей и критериев эффективности

Для качественного анализа СВУ важен корректный выбор цели, показателей и критериев эффективности, которые являются взаимосвязанными понятиями.

Глобальная цель, определяющая назначение системы - ускорение обучения искусственного интеллекта для более скорого внедрения автономных систем управления в автомобили и исключение контроля со стороны человека за испытаниями искусственного интеллекта для увеличения продолжительности испытаний. [2] Локальная цель - определение перечня показателей качества и технического уровня оцениваемого образца СТС, веса коэффициентов выбранных программно-аппаратных показателей, формирование комплексного показателя для выбора наиболее предпочтительного варианта СТС.

Для количественной оценки степени достижения цели предлагается в качестве показателей качества СВУ и технического уровня ботов выбрать программно-аппаратные характеристики:  - среднюю скорость движения бота (м/с),  – максимальная дальность хода на одном заряде аккумуляторной батареи (км),  - величину отклонения от «идеальной» траектории движения бота (%),  - скорость обработки данных получаемой информации с камеры видеофиксации (кадр/с).

Общая интегральная оценка определяется с учетом весовых коэффициентов, полученных экспертным путем, по формуле:

,                                                (1)

где  – весовой коэффициент показателя «Средняя скорость движения бота»,  - весовой коэффициент показателя «Максимальная дальность хода на одном заряде аккумуляторной батареи»,  - весовой коэффициент показателя «Величина отклонения от «идеальной» траектории движения бота», - весовой коэффициент показателя «Скорость обработки данных получаемой информации с камеры видеофиксации бота».

Оценка качества СВУ и технического уровня ботов методами ранжирования и балльных оценок

Для оценки весовых коэффициентов сформирована группа экспертов в следующем составе:

1. разработчики-программисты;
2. разработчики-инженеры;
3. инженеры-испытатели;
4. заказчики.

Для повышения объективности коллективного мнения о значениях весовых коэффициентов показателей экспертам предложено оценить значимость единичных показателей с помощью двух методов задания предпочтений: ранжирования и балльных оценок.

В методе ранжирования экспертам требуется расставить показатели качества СВУ и технического уровня ботов в порядке убывания важности, обозначая цифрой 1 наиболее важный показатель, цифрой 2 – следующий по степени важности и т.д. Наиболее важный показатель получает максимальную оценку, соответствующую количеству показателей, в данном случае 4, второй по степени важности показатель – оценку на единицу меньше и т.д.

Предпочтения экспертов распределились по степени убывания важности показателей:

Разработчики-программисты: 1 - скорость обработки данных получаемой информации с камеры видеофиксации бота, 2 - величина отклонения от «идеальной» траектории движения бота, 3 - средняя скорость движения бота, 4 - максимальная дальность хода на одном заряде аккумуляторной батареи.

Разработчики-инженеры: 1 - величина отклонения от «идеальной» траектории движения бота, 2 - максимальная дальность хода на одном заряде аккумуляторной батареи, 3 - скорость обработки данных получаемой информации с камеры видеофиксации бота, 4 - средняя скорость движения бота.

Инженеры-испытатели: 1 - максимальная дальность хода на одном заряде аккумуляторной батареи, 2 - величина отклонения от «идеальной» траектории движения бота, 3 - средняя скорость движения бота, 4 - скорость обработки данных получаемой информации с камеры видеофиксации бота.

Заказчики: 1 - величина отклонения от «идеальной» траектории движения бота, 2 - средняя скорость движения бота, 3 - максимальная дальность хода на одном заряде аккумуляторной батареи, 4 - скорость обработки данных получаемой информации с камеры видеофиксации бота.

Весовые коэффициенты находят по следующей формуле [3]:

                                                                         (1)

где  - оценка j показателя у r-го эксперта, .

По результатам экспертизы показатели получили оценки, приведенные в таблице 1

Таблица 1.

Ранги показателей качества СВУ и технического уровня ботов

Проведена проверка правильности вычислений:

Таким образом, показатели качества СВУ и технического уровня ботов можно расположить по степени убывания важности с соответствующими весовыми коэффициентами:

- величина отклонения от «идеальной» траектории движения бота ,

- скорость обработки данных получаемой информации с камеры видеофиксации бота ,

- средняя скорость движения бота ,

- максимальная дальность хода на одном заряде аккумуляторной батареи .

На рисунке 1 представлена диаграмма ранжированных весовых коэффициентов показателей качества СВУ и технического уровня ботов.

Рисунок 1. Значения весовых коэффициентов показателей качества СВУ и технического уровня ботов, полученных методом ранжирования

Далее эксперты оценили показатели качества СВУ и технического уровня ботов по шкале от 0 до 100 баллов. При этом им предоставлялась возможность выставлять оценки дробными величинами в указанном диапазоне или нескольким показателям приписывать одинаковое количество баллов.

Зная балл  j-го показателя у r-го эксперта, находят нормированные оценки  для каждого r-го эксперта по формуле [3]:

 ,                                                                            (2)

Далее по формуле (1), заменив в ней  на , находят значения весовых коэффициентов , т.е.

.

По результатам экспертизы показатели получили оценки, приведенные в таблице 2.

Таблица 2.

Балльные оценки показателей качества СВУ и технического уровня ботов

На основании полученных экспертных оценок по формуле (2) рассчитываются значения весов:

Так как суммы выставленных экспертами баллов различны, то требуется нормирование (табл.3).

Таблица 3.

Нормированные балльные оценки показателей

Затем по формуле (1) рассчитываем значение весовых коэффициентов:

Проверка правильности произведенных расчетов:

На рисунке 2 графически представлено распределение весов показателей.

Рисунок 2. Значения весовых коэффициентов показателей качества СВУ и технического уровня ботов, полученных методом балльных оценок

Методом балльных оценок показатели качества СВУ и технического уровня ботов были распределены по степени убывания важности:

- скорость обработки данных получаемой информации с камеры видеофиксации бота ,

- величина отклонения от «идеальной» траектории движения бота ,

- средняя скорость движения бота ,

- максимальная дальность хода на одном заряде аккумуляторной батареи

Для получения обобщенных данных, полученных методами задания предпочтений таких, как методы ранжирования и балльных оценок необходимо вычислить среднее арифметическое по каждому из показателей:

Заключение

В рамках данной статьи была обоснована целесообразность использования методов экспертных оценок при формировании оценочных показателей образцов ботов «DuckieBots». Группой экспертов в составе разработчики-программисты, разработчики-инженеры, инженеры-испытатели, заказчики экспертными методами определили количественные оценки показателей качества СВУ и технического уровня ботов. Наиболее значимый для группы экспертов показатель - «Скорость обработки данных получаемой информации с камеры видеофиксации бота» с весовым коэффициентом . Далее по значимости показатели «Величина отклонения от «идеальной» траектории движения бота» (, «Средняя скорость движения бота» («Максимальная дальность хода на одном заряде аккумуляторной батареи» . Ранжированные значения коэффициентов весомости программно-аппаратных характеристик ботов позволят при множестве вариантов структуры и характеристик транспортных средств выбрать наиболее предпочтительный вариант с учетом заданных требований и целей функционирования системы.

Список литературы:

1. Семенов С.С. Оценка качества и технического уровня сложных систем: Практика применения метода экспертных оценок. – М.: Ленанд, 2015. – 352 с.
2. Шестопалов Р.П. Анализ современных программно-аппаратных комплексов автономного пилотирования сложных технических систем // Научное сообщество студентов: Междисциплинарные исследования: сб. ст. по мат. CVII междунар. студ. науч.-практ. конф. № 24(107). URL: https://sibac.info/archive/meghdis/24(107).pdf
3. Волкова Т.Б., Корнев Ю.П. Методы и алгоритмы решения задач исследования операций с использованием ЭВМ : учеб. пособие / Т.Б. Волкова, Ю.П. Корнев; МАИ им. С. Орджоникидзе. - М. : МАИ, 1992. - 62 с.