ОЦЕНКА СТЕПЕНИ СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ

Уровень взаимосогласованности мнений экспертов оказывает влияние на корректность результатов выполняемой экспертизы.

Согласованность мнения экспертов обычно считают важной характеристикой качества результатов [1].

В виду слабой степени согласованности мнений экспертов выполняется анализ их отметок, чтобы выявить причину большого отличия в оценках. В случае если это трактуется бесчестностью экспертов, то необходимо выполнить экспертный опрос еще раз.

Оценку степени согласованности мнений экспертов можно выполнить посредством разнообразных методов: коэффициента вариации и коэффициента конкордации (коэффициент Кендалла).

Если необходимо выполнить оценку в баллах, единицах физических величин, попарных сравнениях, то можно использовать коэффициент вариации, характеризующий условную меру различий мнений экспертов в отношении к средней величине групповой оценки.

Коэффициент вариации определяется следующим образом.

1. Дисперсия  оценок, данных j-му элементу определяется по
   
   формуле (1).

,                                       (1)

где  – число экспертов;

 – оценка (в баллах или долях) j-го элемента i-ым экспертом;

 – среднее арифметическое значение величины оценки элемента (в баллах или долях) определяется по формуле (2).

                                                   (2)

2. Среднее квадратическое отклонение оценок, полученных j-ым элементом, определяется по формуле (3).

                                                           (3)

3. Коэффициент вариации оценок, полученных j-ым элементом, определяется по формуле (4).

                                                             (4)

В том случае когда коэффициент вариации ≤ 0,30, степень согласованности экспертов считают удовлетворительной.

Если же коэффициент вариации ≤0,20, то степень согласованности экспертов считают хорошей.

Коэффициент конкордации (согласия) W или коэффициент Кендалла позволяет установить степень согласованности мнений экспертов по всем расцениваемым объектам.

Коэффициент конкордации в случае отсутствия равных рангов в распределении каждого эксперта рассчитывается следующим образом:

1.  По формуле (5) вычисляется сумма рангов, полученных j-м элементом от всех экспертов:

                                    ,                                                           (5)

где  – ранг, полученный j-м элементом от i-го эксперта;

N – количество экспертов, принимающих участие в экспертизе.

2. По формуле (6) рассчитывается величина :

                                (6)

3. По формуле (7) рассчитывается максимально возможное значение  для идеального случая, когда ранжировки всех экспертов совпадают:

                                          (7)

Далее по формуле (8) вычисляется значение коэффициента конкордации W, как отношение полученного значения  к максимально возможному .

                                            (8)

В случае нестрогой ранжировки коэффициента конкордации W будет определяться по формуле (9).

,                                   (9)

где .

Cреди множества рангов, присвоенных объектам i-м экспертом, определяется количество групп , имеющих равные ранги, и количество равных рангов  в каждой  s-й группе.

Коэффициент конкордации W принимает значения от 0 до 1,0. При W=1,0 имеет место полная согласованность мнений экспертов, при W>0,5 – удовлетворительная и при W<0,5 – низкая.

Пусть имеются 5 показателей автомобиля: внешний вид, объём двигателя, вместительность салона, привод, тип коробки передач и мнения 5 экспертов. Требуется определить степень согласованности мнений экспертов.

1. Расчет коэффициента вариации.

Таблица 1.

Ранжирование показателей

1)

=  *12,8 = 3,2

 (степень согласованности мнений экспертов низкая).

2)

=  *5,2 = 1,3

 (степень согласованности мнений экспертов низкая).

3)

=  *15,2 = 3,8

 (степень согласованности мнений экспертов низкая).

4)

=  *2,8 = 0,7

 (степень согласованности мнений экспертов низкая).

5)

=  

 (степень согласованности мнений экспертов низкая).

2. Расчет коэффициента конкордации (Кендалла).

Таблица 2.

Исходные данные

N=5, m=5

 +

+ +=16+9+9+16+0=50

Коэффициент конкордации равен 0,2. Можно сделать вывод о том, что степень согласованности мнений экспертов низкая.

Степень согласованности мнений экспертов, определенная с помощью коэффициента вариации низкая во всех случаях, так как во всех случаях коэффициент вариации превышает значение 0,30.

Степень согласованности мнений экспертов, определенная с помощью коэффициента конкордации низкая, так как коэффициент конкордации имеет значение 0,2.

Список литературы:

1. Большая энциклопедия нефти и газа: сайт – [Электронный ресурс]  – Режим     доступа. – URL: http://www.ngpedia.ru/id448093p1.html (дата обращения: 02.03.2017).