ТЕОРИЯ ВЕРОЯТНОСТЕЙ В МАШИННОМ ОБУЧЕНИИ

​PROBABILITY THEORY IN MACHINE LEARNING

Zhitnik Alexandra Denisovna

student, Department of Management, Belarusian state University of Informatics and Radioelectronics

Republic of Belarus, Minsk

Kouchur Palina Dmitrievna

student, Department of Management, Belarusian state University of Informatics and Radioelectronics

Republic of Belarus, Minsk

Fedosyuk Lyudmila Petrovna

Associate Professor, Belarusian state University of Informatics and Radioelectronics

Republic of Belarus, Minsk

АННОТАЦИЯ

Данная статья исследует фундаментальные вероятностные теоремы и модели, составляющие основу машинного обучения. Разобрано превращение абстрактных концепций в практические алгоритмы, их применение на реальных задачах.

ABSTRACT

This article explores the fundamental probabilistic theorems and models that form the foundation of machine learning. It examines the transformation of abstract concepts into practical algorithms and their application to real-world problems.

Ключевые слова: машинное обучение, теорема Байеса, закон больших чисел, Гауссовские распределения, цепи Маркова, генеративные модели.

Keywords: machine learning, Bayes theorem, law of great numbers, central limit theorem, Gaussian distributions, Markov chains.

Машинное обучение – категория алгоритмов, которая позволяет программным приложениям быть более точными в прогнозировании результатов без явного программирования [2]. По своей сути машинное обучение имеет дело с неопределенностью, которая возникает из-за множества факторов, таких как шум в данных, их ограниченность и стохастическая природа явлений.

Для того чтобы справляться с неопределенностью и также принимать решения на основе неполной информации, зачастую алгоритмами машинного обучения используются вероятностные подходы. Центральным механизмом обработки неопределенности в обучающих алгоритмах выступает формализм Байеса, представляющий собой целостный подход к обновлению знаний, основанный на новых данных.

Количественное выражение подхода – формула Байеса – позволяет вычислять условную вероятность гипотезы с учетом знаний и наблюдаемых фактов. Её математическая формулировка имеет вид [1]:

                                                                               (1)

 – апостериорная вероятность: вероятность гипотезы A после наблюдения данных B;

 – априорная вероятность: начальная вероятность гипотезы A, отражающая предварительные знания или предположения до наблюдения данных;

 – маргинальная вероятность данных (нормализующая константа), обеспечивающая корректность апостериорного распределения;

 – правдоподобие: вероятность наблюдать данные B, если гипотеза A верна.

Теорема формализует процесс обновления знаний при поступлении новой информации и является краеугольным камнем байесовского вывода – подхода, при котором параметры моделей рассматриваются как случайные величины с определёнными распределениями вероятностей.

В машинном обучении байесовские методы нашли широкое применение. Одним из наиболее известных является наивный байесовский классификатор, который используется, например, в задачах классификации текстов (в частности, для фильтрации спама или определения тональности отзывов). Несмотря на «наивное» предположение о независимости признаков при условии метки класса, этот метод показывает высокую эффективность на практике: при анализе тональности текста гипотезой (A) выступает класс отзыва (позитивный или негативный), а данными (B) – набор слов, присутствующих в тексте. Классификатор вычисляет апостериорные вероятности (P(Класс|Слова)) и выбирает класс с наибольшим значением.

В последние годы активно развиваются байесовские нейронные сети. В отличие от традиционных нейронных сетей, где веса фиксированы, в байесовских моделях веса рассматриваются как распределения вероятностей. Такой подход позволяет не только делать предсказания, но и оценивать степень неопределённости в них. Это особенно важно для критически ответственных областей: медицинская диагностика, автономное вождение и финансовое прогнозирование – где важно понимать, насколько модель уверена в своём решении.

Закон больших чисел (ЗБЧ) утверждает, что при увеличении числа независимых экспериментов среднее значение выборки сходится к математическому ожиданию [3]:

                                                                          (2)

Закон больших чисел обосновывает саму возможность машинного обучения. Процесс обучения модели — это оценка параметров на основе ограниченной выборки данных. ЗБЧ гарантирует, что при достаточно большом объеме данных эти оценки будут близки к "истинным" параметрам, которые были бы получены на всей генеральной совокупности.

Гауссовские процессы (ГП) представляют собой инструмент байесовского моделирования, широко используемый в машинном обучении для задач регрессии и классификации. В отличие от множества традиционных моделей, предоставляющих только точечные прогнозы, Гауссовские процессы формируют полное вероятностное распределение для предсказываемых значений. Это позволяет не только получать точечные предсказания, но и важную оценку неопределённости этих прогнозов, выраженную через доверительные интервалы. Это является отличительной особенностью байесовского подхода, когда объединяют априорные знания с наблюдаемыми данными, для получения прогнозного распределения [4].(3)

 – скрытая функция, значение которой в наблюдаемых точках необходимо смоделировать;

 – вектор средних значений, зависящий от априорной функции среднего;

 – ковариационная матрица, элементы которой определяются ковариационной функцией , задающей степень корреляции между точками  и .

Во многих моделях машинного обучения предполагается, что шум (ошибка), возникающий при аппроксимации реальных данных, имеет нормальное распределение. Например, в линейной регрессии отклонения наблюдаемых значений от предсказанных считаются нормально распределёнными случайными величинами. Это предположение позволяет применять методы максимального правдоподобия и получать аналитически удобные оценки параметров модели.

Другим направлением применения нормальных распределений являются смеси Гауссовых распределений Gaussian Mixture Models (GMM). Такая модель представляет собой взвешенную сумму нескольких нормальных распределений, где каждый компонент описывает отдельную подгруппу данных. GMM используется как для кластеризации, так и для оценки плотности распределения. При кластеризации каждый гауссов компонент интерпретируется как отдельный кластер, что позволяет выявлять скрытые структуры в данных без необходимости заранее задавать жёсткие границы между кластерами.

Марковская цепь – процесс, где вероятность перехода из одного состояния в другое зависит только от текущего состояния. Это позволяет моделировать системы, где состояние в любой момент времени зависит только от предыдущего состояния, а не от всей предыдущей истории вычислений. Свойство Маркова – ключевое свойство Марковской цепи. Вероятность перехода из одного состояния в другое зависит только от текущего состояния, а не от предыдущих состояний. Это означает, что прошлое не имеет влияния на будущее, и вероятности являются фиксированными для каждого текущего состояния. Благодаря этому свойству Марковские цепи часто используются для моделирования процессов, которые могут быть описаны как последовательность случайных событий [5].

Марковские цепи используются для распознавания речи, машинного перевода, анализа поведения пользователя. Скрытые марковские модели Hidden Markov Models (HMM) предназначены для описания последовательностей наблюдений, за которыми стоят ненаблюдаемые (скрытые) состояния. Каждое скрытое состояние порождает наблюдаемые данные в соответствии с некоторым вероятностным распределением. Примером может служить распознавание речи, где скрытыми состояниями являются фонемы, а наблюдениями – звуковые сигналы.

Активно развиваются генеративные модели – новый вид искусственного интеллекта, который может анализировать данные и создавать новые на основе ранее изученных.

Базовые модели – модели машинного обучения, обученные на широком спектре обобщенных и немаркированных данных, используют изученные закономерности и взаимосвязи для прогнозирования каждого элемента последовательности [6].

Большие языковые модели, являясь одним из классов базовых моделей, ориентированы на языковые задачи: обобщение, генерация и перевод текста, извлечение информации.

Генеративные модели представляют собой универсальные инструменты, способные создавать разнообразный контент: от текста и изображений до биомедицинских структур. Их гибкость и способность к глубокой аналитике позволяют выявлять скрытые закономерности в исследовательских данных, что открывает новые горизонты в науке и медицине. В биотехнологии такие модели применяются для проектирования новых ферментов, антител и терапевтических решений, включая генные терапии. Они также используются для генерации синтетических данных о пациентах – это особенно важно при моделировании клинических испытаний и изучении редких заболеваний, где реальные данные ограничены. В сфере обслуживания генеративные модели лежат в основе интеллектуальных чат-ботов, голосовых ассистентов и виртуальных консультантов, способных адаптироваться к запросам пользователей и обеспечивать персонализированное взаимодействие. В информационных технологиях они произвели настоящую революцию: автоматическая генерация программного кода на основе текстового описания задачи позволяет ускорить разработку, протестировать альтернативные подходы и рассмотреть проблему с разных точек зрения.

Список литературы:

1. Теорема Байеса: разгадка интуитивного понимания вероятностей в мире данных или как повысить доверие к идее [Электронный ресурс]. – Режим доступа: https://vc.ru/id2143861/775670-teorema-baiesa-razgadka-intuitivnogo-ponimaniya-veroyatnostei-v-mire-dannyh-ili-kak-povysit-doverie-k-idee?ysclid=mht96736r4796348044 (дата обращения: 10.11.2025)
2. Акжолов Р. К. Машинное обучение // Вестник науки. – 2019. – Т. 3. – №. 6 (15). – С. 348-351.
3. Курилин К. О. Применение теории вероятностей в машинном обучении // Культура инженера. – С. 20.
4. Гауссовские процессы в машинном обучении: регрессионная модель в MQL5 [Электронный ресурс]. – Режим доступа: https://www.mql5.com/ru/articles/18427 (дата обращения: 08.11.2025)
5. Искусство прогнозирования: погружение в марковские цепи [Электронный ресурс]. – Режим доступа: https://habr.com/ru/companies/otus/articles/732424/ (дата обращения: 08.11.2025)
6. Лепешко Р. О. Сферы использования генеративных моделей. – 2024 – С. 498-499.