МОДЕЛИРОВАНИЕ  ЭКСПЕРТИЗЫ  ДАННЫХ  НЕЧЕТКОЙ  ПРЕДМЕТНОЙ  ОБЛАСТИ  С  ПОМОЩЬЮ  ДЕДУКТИВНЫХ  МЕТОДОВ  МАШИННОГО  ОБУЧЕНИЯ  (НА  ПРИМЕРЕ  РАЗРАБОТКИ  СПЕЦИАЛЬНОЙ  ЭКСПЕРТНОЙ  СИСТЕМЫ  «R_MSE»)

Ярков  Алексей  Анатольевич

врач  по  медико-социальной  экспертизе  ФКУ  «Главное  бюро  МСЭ  по  Омской  области»  Министерства  труда  и  социальной  защиты  РФ,  РФ,  г.  Омск

E-mail: 

THE  MODELING  OF  FUZZY  DATA  DOMAIN  EXPERTISE  WITH  DEDUCTIVE  METHODS  OF  MASHINE  LEARNING  (ON  THE  EXAMPLE  OF  ENGINEERING  SPECIAL  EXPERT  SYSTEM  «R_MSE»)

Alexey  Yarkov

doctor-expert  of  Medico-Social  Expertise,  FOI  "The  General  Medico-Social  Expertise  Bureau  of  the  Omsk  region"  Ministry  of  Labour  and  Social  Affairs  of  Russian  Federation,  Russia,  Omsk

АННОТАЦИЯ

С  точки  зрения  информатики,  экспертная  оценка  нарушений  психических  функций  основана  на  нелинейном  анализе  данных  нечеткой  предметной  области.  В  статье  описан  опыт  создания  компьютерной  экспертной  системы  для  оценки  психических  нарушений  непсихотического  уровня  с  помощью  методик  машинного  обучения.

ABSTRACT

From  the  standpoint  of  informatics  science,  expert  evaluation  of  mental  dysfunctions  it  is  based  on  the  non-linear  analysis  of  fuzzy  data  domain.  The  article  describes  the  experience  of  engineering  a  computer  expert  system  to  assess  the  level  of  non-psychotic  mental  disorders  by  using  machine  learning  techniques.

Ключевые  слова:  медико-социальная  экспертиза;  непсихотические  психические  расстройства;  машинное  обучение;  алгоритм  “Random  Forest”.

Keywords:  medico-social  expertise;  non-psychotic  mental  disorders;  machine  learning;  algorithm  “Random  Forest”.

В  последние  годы  в  психиатрии  и  клинической  психологии  с  целью  стандартизации  и  объективизации  диагностики  нарушений  психических  функций  проводятся  исследования,  посвященные  разработке  табличного  и  компьютерного  алгоритма  этого  процесса  [1;  3;  4].  Современная  медико-социальная  экспертиза  (МСЭ)  основана  на  принципах  унифицированной  оценки  стойких  нарушений  функций  организма  [2].  Однако,  при  отдельных  нозологиях  (например,  при  органическом  расстройстве  личности  в  случае  ведущей  в  клинике  симптоматики  непсихотического  регистра)  экспертная  оценка  традиционно  базируется  на  понятиях  «незначительных»,  «умеренных»  и  т.  д.  изменений,  что  подразумевает  необходимость  применения  экспертом  методов  анализа  данных  нечеткой  предметной  области  (Беребин,  2010)  с  итоговым  вынесением  экспертного  решения  в  рамках  указанных  категорий.  Для  подобной  работы  требуется  создание  эффективной  и  объективной  диагностической  модели  и  соответствующего  набора  практических  инструментов. 

Одним  из  наиболее  актуальных  подходов  к  анализу  и  моделированию  экспертной  оценки  данных  нечеткой  предметной  области  представляется  принцип  машинного  обучения  [7].  Машинное  обучение  является  подразделом  кибернетики  на  стыке  математической  статистики,  методов  оптимизации  и  дискретной  математики  и  тесно  связанно  с  теорией  интеллектуального  анализа  данных  [8].  Перспективным  способом  создания  искусственных  экспертных  систем  является  дедуктивный  метод  машинного  обучения  («обучение  по  прецедентам»)  [8].  Дедуктивное  обучение  подразумевает  формализацию  знаний  экспертов  и  перенос  их  в  интерактивную  программную  среду  с  получением  в  итоге  действующей  классификационно-диагностической  и  оценочной  модели.  В  качестве  инструментов  машинного  обучения  для  этих  целей  чаще  всего  используются  различные  алгоритмы  классификации,  регрессии  и  кластеризации,  основанные  на  статистико-математических  методах  опорных  векторов,  бустинга  или  «случайных  лесов»  [5].

В  2012—2015  гг.  на  базе  ФКУ  «ГБ  МСЭ  по  Омской  области»  Минтруда  РФ  проведено  исследование,  целью  которого  было  выявление  стереотипных  подходов  врачей-экспертов  к  оценке  типа  и  степени  выраженности  нарушений  психических  функций  у  пациентов  соматического  профиля  (цереброваскулярная  патология,  последствия  черепно-мозновых  травм  и  т.  д.)  с  симптоматическими  (вторичными)  органическими  психическими  расстройствами  непсихотического  регистра,  и  разработка  оптимальной  классификационно-диагностической  и  оценочной  модели,  основанной  на  современных  методах  анализа  данных  и  принципах  доказательной  медицины.  Для  компьютерного  моделирования  экспертного  процесса  был  применен  классификационный  алгоритм  “Random  Forest”  [6],  основанный  на  построении  комитета  (ансамбля)  решающих  деревьев.  В  каждом  случае  (для  каждого  дерева)  из  обучающей  выборки  генерировалась  случайная  подвыборка  с  повторением,  и  строилось  дерево,  в  узлах  которого  с  помощью  критерия  расщепления  Джини  и  показателя  точности  (“accuracy”)  программой  принималось  решение  о  наиболее  важном  признаке,  послужившем  основанием  для  отнесения  объекта  к  тому  или  иному  классу.  Дерево  строилось  до  исчерпания  подвыборки,  без  процесса  прунинга  («отсечения  ветвей»).  Алгоритм  генерировал  оптимальное  для  классификационной  модели  число  решающих  деревьев  таким  образом,  чтобы  добиться  динамической  минимализации  средней  ошибки  предсказания  для  объектов  за  пределами  обучающей  подвыборки  каждого  дерева  (“out-of-bag”,  или  ООВ).  Итоговая  классификация  (отнесение  объектов  наблюдения  к  тому  или  иному  классу)  проводилась  путем  «голосования»  деревьев. 

На  первом  этапе  на  основании  данных  24173  экспертиз  была  построена  скрининговая  модель,  классифицирующая  случаи  как  «0»  (вероятно,  психические  нарушения  отсутствуют)  или  «1»  (имеются).  В  качестве  предикторов  были  использованы  некоторые  базовые  переменные,  характеризующие  пациента  и  его  основное  заболевание.  На  втором  этапе  была  разработана  точная  классификационно-диагностическая  модель,  позволявшая  установить  степень  выраженности  нарушений  психических  функций  у  пациента  в  категориях  «незначительные»,  «умеренные»,  «выраженные»  или  «значительно  выраженные»  (принятая  в  практике  МСЭ  градация)  на  основании  оценки  по  специально  разработанным  для  исследования  диагностическим  таблицам  выраженности  проявлений  7  групп  клинико-экспертных  симптомов-предикторов  (нарушения  мнестических  функций,  аттентивные  нарушения,  истощаемость  деятельности,  снижение  критических  способностей,  интеллектуальное  снижение,  идеаторные  и  эмоционально-волевые  нарушения)  в  диапазоне  0—100  баллов  (приказ  664).  В  качестве  предсказываемых  переменных  были  определены  указанные  выше  категории  («незначительные»  и  т.  д.  нарушения).  Моделирование  на  втором  этапе  осуществлялось  на  основе  данных  выборки  из  242  пациентов  с  диагностированными  нарушениями  психических  функций.  Выборка  была  сформирована  методом  квот  и  пропорционирована  относительно  генеральной  совокупности  по  распределению  основных  переменных.  Работа  по  созданию  классификационно-диагностической  модели  проводилась  четырьмя  независимыми  друг  от  друга  врачами-экспертами:  первый  оценивал  у  пациентов  выраженность  клинических  проявлений  каждой  из  7  групп  симптомов-предикторов,  второй  и  третий  выносили  2  параллельных  итоговых  заключения,  четвертый  проводил  все  расчеты.

Для  оценки  качества  классификации  использовались  следующие  показатели:  “OOB  estimate  of  error  rate”  —  ошибка  классификации  объектов,  не  включенных  в  обучение  (автоматически  вычислялась  алгоритмом  на  этапе  создания  модели)  —  для  первого  и  второго  этапов;  чувствительность  (доля  верно  классифицированных  как  «1»),  специфичность  (доля  верно  классифицированных  как  «0»)  и  среднее  значение  точности  (доля  верно  квалифицированных  в  своем  классе)  для  обучающей  выборки  —  для  первого  этапа.  Для  тестирования  модели  на  обоих  этапах  использовалась  десятиблочная  перекрестная  проверка:  данные  случайным  образом  разбивались  на  10  блоков  с  сохранением  баланса  классифицируемых  переменных  в  каждом  из  них.  Каждый  блок  по  очереди  применялся  для  тестирования,  остальные  —  для  обучения.  Вычислялись  нормализованные  показатели  чувствительности,  специфичности  и  среднего  значения  точности  для  10  блоков. 

По  итогам  работы,  среднее  значение  точности,  вычисленное  по  10-блочной  перекрестной  проверке  для  скрининговой  модели  (86,0  %),  совпало  с  таковым  для  OOB-выборки,  что  означало  валидность  модели,  а  также  тот  факт,  что  эффект  «переобучения»  отсутствовал.  При  контрольной  проверке  модель  в  12,8  %  случаев  не  устанавливала  наличие  фактически  наблюдавшихся  нарушений  психических  функций  (специфичность  87,2  %),  и  в  15,1  %  —  устанавливала  наличие  фактически  не  наблюдавшихся  (чувствительность  84,9  %).  В  целом,  на  данном  этапе  точность  модели  оценивалась  как  удовлетворительная  для  заявленной  скрининговой  цели.  Для  классификационно-диагностической  модели  был  достигнут  значительно  более  высокий  уровень  точности  (98  %  для  ООВ-подвыборки  и  94,6  %  для  кросс-проверки),  при  этом  в  серии  клинико-экспертных  испытаний  на  4  тестовых  группах  (213,  185,  152  и  132  пациента),  значение  средней  ошибки  прогноза  для  тестовых  групп  составило  5,2±2,8  %. 

Все  расчеты  были  проведены  в  свободной  программной  среде  «R»  с  использованием  широкого  спектра  инструментов  свободной  библиотеки  “Shiny”.  На  основе  полученных  в  исследовании  результатов  была  разработана  двухэтапная  диагностическая  модель,  реализованная  в  программной  среде  «R»  в  виде  экспертного  комплекса  «R_MSE»  с  интерфейсом  пользователя,  базой  данных  проведенных  экспертиз  и  возможностью  центрального  администрирования.  Данный  программный  комплекс  предназначен  для  использования  врачами-экспертами  при  проведении  медико-социальной  экспертизы  у  пациентов  с  основной  соматической  патологией  и  вероятностью  наличия  симптоматических  нарушений  в  психической  сфере,  оказывающих  дополнительное  дезадаптирующее  влияние  на  их  жизнедеятельность.  Верная  оценка  нарушений  психических  функций  у  таких  пациентов  снижает  риск  ошибки  при  вынесении  в  бюро  МСЭ  решения  об  установлении  освидетельствуемому  той  или  иной  группы  инвалидности.

Список  литературы:

1. Беребин  М.А.  Методология  и  практика  разработки  методик  клинической  (медицинской)  психодиагностики  на  основе  применения  экспертного  метода,  методик  обработки  экспертных  оценок  и  методов  многомерного  анализа  данных  /  М.А.  Беребин  //  Вестник  Южно-Уральского  государственного  университета.  Серия:  Психология,  —  2010,  —  №  27  (203).  —  с.  9—12.
2. Приказ  Министерства  труда  и  социальной  защиты  Российской  Федерации  «Об  утверждении  классификаций  и  критериев,  используемых  при  осуществлении  медико-социальной  экспертизы  граждан  федеральными  государственными  учреждениями  медико-социальной  экспертизы»  от  29.09.2014  г.  №  664н.
3. Рязанова  А.Ю.  Дифференциальная  психодиагностика  основных  вариантов  органического  расстройства  личности  при  военно-врачебной  экспертизе  подростков  /  А.Ю.  Рязанова  //  Дисс...  канд.  псих.  наук.  СПб.,  2009.  —  245  с.
4. Червинская  К.Р.  Психологическая  концепция  извлечения  экспертных  знаний  на  моделях  медицинской  психодиагностики  /  К.Р.  Червинская  //  Вестник  ЮУрГУ.  Серия:  Психология,  —  2008,  —  вып.  2,  —  №  32  (132).  —  с.  68—80.
5. Чистяков  С.П.  Случайные  леса:  обзор  /  С.П.  Чистяков  //  Труды  Карельского  научного  центра  РАН,  —  2013,  —  выпуск  1.  —  с.  117—136.
6. Breiman  L.  «Random  Forests»  /  L.  Breiman  //  Machine  Learning,  —  2001,  —  №  45.  —  р.  5—32.
7. Wang  L.  Machine  Learning  for  human  motion  analysis  /  L.  Wang,  L.  Cheng,  G.  Zhaо  //  IGI  Global,  2009.  —  318  p.
8. Witten  I.H.  Data  Mining:  Practical  machine  learning  tools  and  techniques  (Second  Edition)  /  I.H.  Witten,  E.  Frank,  M.  Hall  //  Morgan  Kaufmann,  2005.  —  560  р.