МЕДИЦИНСКАЯ СТАТИСТИЧЕСКАЯ АНАЛИТИЧЕСКАЯ СИСТЕМА НА ОСНОВЕ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ

Введение

Аналитические системы на основе Data Mining и машинного обучения применяются в медицине более 10 лет [9]. Они позволяют извлекать из медицинских показателей скрытые закономерности на основе которых можно прогнозировать развитие болезней. Выполнение такой работы человеком трудоемко, требует привлечения специалистов высокой квалификации и не всегда возможно.

Следует обратить внимание что существующие системы, могут быть довольно универсальны [4; 5; 6], что может усложнять их использование для узких задач. Такие системы решают поставленные задачи, но требуют больше времени специалиста для настройки под конкретные нужды.

В контексте российской медицины, применение таких систем часто осложнено организационными и финансовыми проблемами. В свою очередь открытые для бесплатного использования библиотеки машинного обучения (например, Scickit Learn, TensorFlow, Pandas, и т. д.) для на сегодняшний день при грамотном использовании позволяют достичь высоких результатов [9] без глубоких научных изысканий и программирования сложных систем.

Таким образом, целесообразно создание медицинской статистической аналитической системы на основе алгоритмов машинного обучения, которая поможет медицинским аналитикам получить доступ к современным мощным и бесплатным библиотекам машинного обучения и использовать их в своей работе. При этом им не будут требоваться дополнительные знания языков программирования таких как Python или R.

Такая система должна иметь достаточно простой и расширяемый функционал. Расширяемость функционала может достигаться не инструментами в пользовательском интерфейсе, а понятным и доступным кодом, чтобы после передачи системы заказчику он мог ее расширить своими силами.

Описание системы

Для простоты реализации и расширения система реализуется на языке программирования Python 3, который является одним из самых популярных [7; 8] и имеет значительное количество доступных библиотек машинного обучения. Система разделена на 2 основные части: подсистема ввода, хранения и управления данными и подсистема анализа данных. Система анализа данных представляет собой web-сервис, который будет доступен по внутренней сети больницы и будет принимать и отдавать данные в заданном формате.

Подсистема ввода хранения и управления данными реализована на основе фреймворка Django работающего на основе Python 3. Подсистема анализа данных реализуется с нуля, с использованием различных библиотек для решения конкретных задач в контексте системы. Так, например, для машинного обучения используются библиотеки Scikit Learn, TensorFlow, Pandas, Numpy, для доступа к системе через сеть библиотека Flask, и т.д.

В качестве СУБД для хранения данных выбрана PostgreSQL, поскольку фреймворк Django на основе которого реализована подсистема ввода, хранения и управления данными имеет встроенную поддержку PostgreSQL, она бесплатна и в сети интернет доступно много информации об этой СУБД.

На сегодняшний день реализовано около 80 % подсистемы ввода хранения и управления данными и часть, отвечающая за очистку данных и оценку выбранного алгоритма подсистемы анализа данных. Для отладки и тестирования решено провести эксперимент и обучить алгоритм предсказывать факт смерти пациента.

Цель эксперимента

На текущем этапе разработки подсистемы анализа данных тестируются аналитические компоненты системы, с целью проверки их стабильности и выявления ошибок, слабых мест, и неочевидного поведения в коде системы, поскольку неочевидное поведение противоречит принципу простоты системы указанному выше.

В ходе эксперимента будут опробованы несколько алгоритмов машинного обучения и помимо отладки будет выявлена целесообразность и перспективность их использования на имеющихся данных.

Описание данных

Для эксперимента используется набор данных о несовершеннолетних пациентах состоящий из 72 признаков включающий в себя 1929 записей. Перед началом анализа выбираются все признаки кроме помеченных как не участвующих в анализе. В анализе не участвуют признаки, которые с точки зрения текущего эксперимента не будут полезны. В качестве целевой переменной выбирается факт смерти пациента. Однако такой переменной в данных нет, но есть признак Дата смерти. Это признак заполнен датой или оставлен пустым. Следует преобразовать этот признак чтобы получить бинарный признак со значением да (1) и нет (0). Если в исходном признаке Дата смерти указана дата, следовательно, в преобразованном признаке следует установить значение 1, иначе 0.

Для описания данных использованы сокращения, представленные в таблицах 1 и 2. Описания всех признаков представлены в таблице 3.

Таблица 1

Сокращения для обозначения типа данных признаков, представленных в наборе данных используемом при работе системы

Таблица 2

Сокращение для обозначения типовых причин отказа от использования признака в течении отладочного эксперимента

Таблица 3

Описание признаков в исходном наборе данных

* - все признаки начиная с 2 относятся к пациенту.

Описание эксперимента

Начальный этап работы с данными предполагает их очистку и преобразование их в формат приемлемый для работы в системе. Эта часть работы с данными инкапсулирована в классе Preparer системы. Объект класса Preparer содержит метод prepare принимающий на вход набор данных в формате pandas.DataFrame [1] библиотеки Pandas, описание целевой переменной, существующих признаков и вычисляемых признаков. В контексте системы вычисляемый признак отличается от не вычисляемого тем что его нет в исходном наборе данных и его требуется создать пользователю явно указав описание такого признака в систему. Ниже, в описании алгоритма работы метода prepare приведен пример создания такого признака.

Формат передачи признаков описан в классе Feature (для признаков) и наследующем его классе CalculatedFeature (для вычисляемых признаков). При этом метод prepare возвращает преобразованные данные в формате pandas.DataFrame. На этом этапе уже нет разницы между вычисляемым признаком и не вычисляемым, поскольку все признаки являются одинаковыми по своим свойствам колонками объекта pandas.DataFrame.

Обработка данных методом prepare выполняется в несколько этапов:

1. Из набора данных удаляются строки содержащие пустые значения для признаков если признак не предполагает пустых значений. В следующей итерации системы планируется предоставлять пользователю возможность заменять пустые значения, например, средними значениями, по его усмотрению. Однако на сегодняшний день такая возможность не реализована. В текущей версии системы есть возможность используя простейшие выражения на языке программирования Python преобразовать текущие признаки, например, пустые значения в значения по умолчанию. При этом исходный признак следует удалить и создать новый вычисляемый признак. Таким образом, например, дополняются признаки chirurg, radiolog, chimio (поз. 46, 47, 48 таблицы 3).
2. Сырые данные преобразуются в тип понятный системе, в соответствии с описаниями, переданными в параметрах метода. Это по большей части исключительно технический этап. Подавляющее большинство из передаваемых в метод prepare данных возможно уже находится в подходящем формате, однако явное приведение типа позволяет ожидать от системы большей стабильности и предсказуемости в процессе обработки данных.
3. Добавляются вычисляемые признаки. Как указанно выше в контексте системы под вычисляемыми признаками понимаются признаки которых нет в поступающих в метод prepare наборе данных и которые формируются и добавляются в набор данных на основании информации переданной пользователем. Например, на основе признаков tdate и bdate (поз. 8 и 12 таблицы 3) будет сформирован новый признак age – возраст на момент постановки диагноза.
4. Удаляются выбросы в соответствии с описаниями, переданными в параметрах метода. Система позволяет задать порог в соответствии с которыми будут отфильтрованы значения за пределами порога. Например, в исходных данных в вычисляемом поле age есть несколько значений больше 18 (лет), что в контексте данных явно является ошибкой, поскольку больница работает только с несовершеннолетними пациентами. Установив порог в 0.99 можно избавится от таких значений.
5. Все категориальные признаки преобразуются в бинарные. Например, признак cytogen (поз. 34 таблицы 3) содержит значения 0, 1. Однако эти признаки не являются количественными поскольку означают лишь метку и не могут быть сравнены между собой. Такое сравнение может исказить результаты анализа. В подобных случаях следует удалить исходный признак и создать несколько новых бинарных признаков на основе исходного. Например, система удалит признак cytogen и создаст признаки cytogen_0, cytogen_1 каждый из которых будет содержать 0 или 1 в зависимости от того, какое значение исходного признака содержала строка (0 - не содержала, 1 - содержала). Такие признаки также будут вычисляемыми, поскольку они отсутствуют в поступающем наборе данных. Отличие в том, что они создаются автоматически без участи пользователя, лишь на основании типа признака (категориальные).
6. Удаляются не нужные признаки. Например, как указанно выше на основании признаков tdate и bdate сформирован новый признак age. Таким признак age содержит в себе информацию которую содержали признаки tdate и bdate, соответственно необходимость в этих признаках в наборе данных отпадает, и они могут быть удалены. В рамках отладочного эксперимента признаки будут удалены, однако при проведении других экспериментов удаление какого-либо из признаков зависит от параметров, передаваемых пользователем.

Набор данных полученный после обработки методом классом Prepare представлен в таблице 5. При этом следует отметить что все признаки, обозначенные как бинарные представлены в таблице в виде одного поля. Это сделано для упрощения восприятия таблицы. На 5 этапе работы метода prepare они преобразованы в несколько признаков. Например, признак cytogen состоящий из значений 0 и 1 в возвращаемом наборе данных представлен в виде признаков cytogen_0 и cytogen_1. В нулевой позиции таблицы представлена целевая переменная dead для отладочного эксперимента, означающая факт смерти пациента.

Для описания типа преобразованных признаков использованы сокращения, представленные в таблице 4. Для описания типа данных использованы сокращения, представленные в таблице 1.

Таблица 4

Сокращения для обозначения типа данных признаков, представленных в наборе данных используемом при работе системы

Таблица 5

Набор данных после обработки методом prepare

На этом этапе сформирован набор признаков, которые по гипотезе отладочного эксперимента могут оказывать влияние на факт смерти пациента. Однако набор признаков велик и перед началом обработки следует выяснить какие из них действительно оказывают влияние на целевую переменную.

Для реализации этого этапа в системе предусмотрено использование метода главных компонент на основании решения sklearn.decomposition.PCA [2] библиотеки Scikit Learn. Получаем оценку влияния признаков на факт смерти пациента, приведенную в таблице 6. Указаны только признаки, оказывающие хотя бы минимальный видимый эффект. При этом, для упрощения анализа полученных результатов, бинарные признаки вроде sex_0 и sex_1 сведены в единую переменную sex содержащей в себе сумму влияния признаков.

Таблица 6

 Признаки, оказывающие минимальное видимое влияние на целевую переменную dead (Смерть пациента)

Видно, что переменная age (возраст) оказывает максимальное значение на факт смерти пациента, что не удивительно, поскольку речь идет о пациентах детского возраста и чем пациент старше, тем сильнее и имеет выше шанс справится с болезнью. Для исключения очевидной составляющей исключаем переменную age. Кроме того, переменные iccc, icd_10 и icd_o означают классификацию болезни по различным системам. Эти системы классификации не идентичны, но, если рассматривать их очень обобщенно, являются схожими. Таким образом использование всех 3-х переменных вероятно станет причиной мультиколлинеарности. Если, учесть, что наибольшее влияние оказывает переменная iccc то так же представляется разумным удалить переменные icd_10 и icd_o. Кроме того, удаляем все переменные, не попавшие в приведенный список и не оказывающие сколько-нибудь заметного влияния на целевую переменную. После этого снова оцениваем влияние переменных с помощью метода главных компонент.

Таблица 7

Признаки, оказывающие минимальное видимое влияние на целевую переменную dead (Смерть пациента) (Повторная оценка)

Как видно из таблицы 7 вес оставшихся признаков во влиянии на целевую переменную значительно вырос. Хотя для большинства остается незначительным. На следующем этапе эксперимента будут использованы признаки из таблицы 7, и отдельно признаки iccc и sex имеющие наибольший вес, представленный в таблице 8.

Таблица 8

Признаки, оказывающие максимальное влияние на целевую переменную dead (Смерть пациента) (Повторная оценка)

К данным описанными признаками, представленными в таблицах 7 и 8 последовательно были применены несколько алгоритмов машинного обучения: K-ближайших соседей, Логистическая регрессия, Решающее дерево, Random Forest, Gradient Tree, Наивный Байес для нормального распределения, Наивный Байес для распределения Бернулли. Все алгоритмы используются внутри классов-оберток, которые разделяют общий интерфейс, реализованный в виде соглашения с оговоренным набором методов с обозначенной сигнатурой.

С каждым набором проведено 2 эксперимента. Один с параметрами по умолчанию, второй набор параметров подобран при помощи системы основанной на sklearn.model_selection.GridSearchCV [4]. Для алгоритмов Наивного Байеса использованы только параметры по умолчанию.

В течении эксперимента мониторинг выполнялся по следующим параметрам: правильность (accuracy), точность (precision), полнота (recall), ф-мера (f-score), время. Ф-мера является основным параметром для сравнения. Остальные величины взяты для построения полной картины. Время оценивается только для получения общего представления о сравнении времени работы алгоритмов. Для оценки указанных параметров набор данных делится на обучающий и тестовый в сочетании 0,75 на 0,25. Результаты приведены в таблице 9.

Таблица 9

Результаты отладочного эксперимента

Как видно из результатов эксперимента:

1. Часто параметры по умолчанию оказываются для алгоритмов, реализованных в современных мощных библиотеках машинного обучения достаточными для достижения качественного результата, что подтверждает тезис о возможности их использования различными специалистами, не имеющими глубоких знаний в алгоритмах машинного обучения. Но таким специалистам требуется предоставить доступ к инструментам, на что и нацелена описываемая система.
2. Алгоритмы выдают довольно высокие результаты, на текущем этапе, а значит их использование целесообразно.

Список литературы:

1. Документация библиотеки Pandas, раздел DataFrame сайт [электронный ресурс] – Режим доступа. – URL: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.html (дата обращения 09.12.2017);
2. Документация библиотеки Scikit Learn, раздел sklearn.decomposition.PCA, сайт [электронный ресурс] – Режим доступа. – URL: http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html (дата обращения 09.12.2017);
3. Документация библиотеки Scikit Learn, раздел sklearn.model_selection.GridSearchCV, сайт [электронный ресурс] – Режим доступа. – URL: http://scikit-learn.org/stable/modules/generated/sklearn.model_selection. GridSearchCV.html (дата обращения 10.12.2017);
4. IBM SPSS Modeler сайт [электронный ресурс] – Режим доступа. – URL: https://www.ibm.com/bs-en/marketplace/spss-modeler (дата обращения 02.07.2017);
5. Neural Designer сайт [электронный ресурс] – Режим доступа. – URL: https://www.neuraldesigner.com (дата обращения 02.07.2017);
6. RapidMiner сайт [электронный ресурс] – Режим доступа. – URL: https://rapidminer.com (дата обращения 02.07.2017);
7. RedMonk сайт [электронный ресурс] – Режим доступа. – URL: http://redmonk.com/sogrady/2017/06/08/language-rankings-6-17/ (дата обращения 17.12.2017);
8. TIOBE сайт [электронный ресурс] – Режим доступа. – URL: https://www.tiobe.com/tiobe-index/ (дата обращения 17.12.2017);
9. Tomar D., Agarwal S. A survey on Data Mining approaches for Healthcare // International Journal of Bio-Science and Bio-Technology. – 2013. – Vol. 5 № 5. – P. 241-266.