РАЗРАБОТКА МУЛЬТИМОДАЛЬНОЙ СИСТЕМЫ РАСПОЗНАВАНИЯ ЭМОЦИЙ И НАПРАВЛЕНИЯ ВЗГЛЯДА СТУДЕНТОВ ДЛЯ ОЦЕНКИ ВОВЛЕЧЕННОСТИ В ПРОЦЕССЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

АННОТАЦИЯ

В статье описана разработка мультимодальной системы, которая оценивает вовлеченность студентов в процессе дистанционного обучения на основе анализа эмоций и направления взгляда.

Ключевые слова: дистанционное обучение, вовлеченность студентов, мультимодальная система, распознавание эмоций, направление взгляда, компьютерное зрение, анализ внимания, интеллектуальные образовательные технологии.

Современная система образования постепенно смещается в сторону онлайн-форматов, что заметно усилилось в последние годы. Дистанционные платформы сделали обучение более гибким, однако одновременно проявили проблему, о которой прежде говорили реже, снижение уровня вовлеченности студентов.

Преподаватель, лишённый возможности наблюдать за аудиторией напрямую, получает меньше сигналов о том, насколько внимательно воспринят материал. Поэтому вопрос объективной оценки активности и эмоционального состояния студентов в онлайн-среде стал по-настоящему актуальным.

Одним из перспективных направлений в этой области является анализ невербальных проявлений - выражения лица, динамики взгляда, микрореакций. Эти данные позволяют косвенно оценивать концентрацию, усталость, интерес или, наоборот, безразличие.

В последние годы появились устойчивые методики компьютерного зрения, которые дают возможность автоматизировать подобный анализ, не нарушая приватность и не вмешиваясь в учебный процесс. Однако большинство существующих решений используют только один тип данных, что ограничивает точность. Именно поэтому комбинирование нескольких каналов - видео, аудио и поведенческих признаков - становится ключом к более надёжной и естественной оценке вовлеченности.

Мультимодальная система опирается на идею, что внимание студента в онлайн-среде проявляется комплексно и не может быть сведено к одному параметру.

В рамках разработки рассматривались два основных направления анализа: распознавание эмоциональных состояний и определение направления взгляда.

Эти показатели дополняют друг друга. Эмоции помогают понять общий настрой и уровень мотивации, в то время как анализ взгляда позволяет определить, остаётся ли студент в фокусе урока и взаимодействует ли он с материалом.

Технологической основой системы стало использование алгоритмов глубокого обучения. Для обработки видеофрагментов применяются сверточные нейронные сети, способные выделять ключевые точки лица и оценивать выражение эмоций по стандартизированным категориям.

Для выявления направления взгляда используется модель, обученная на данных о положении глаз, повороте головы и характерных признаках лицевых ориентиров. Такой подход даёт возможность определять не только прямой взгляд на экран, но и отклонения, указывающие на потерю концентрации или переключение внимания.

Одним из важных этапов разработки стало формирование выборки. В исследовании использовались открытые датасеты, включающие разнообразные выражения эмоций, а также собственные видеозаписи, имитирующие поведение студентов на онлайн-занятиях. Это позволило приблизить систему к реальным условиям, учитывая, что в процессе обучения лицо студента может частично закрываться, изменяться освещение, варьироваться положение камеры. Модели обучались в условиях, максимально приближенных к таким сценариям, что повысило устойчивость их работы.

После обучения модели были объединены в единый модуль оценки вовлеченности. Для этого была разработана система весовых коэффициентов, которая учитывала интенсивность эмоций, продолжительность фиксации взгляда и их динамику во времени. Например, если студент демонстрировал длительную фиксацию взгляда на экране и выражение заинтересованности, итоговый индекс вовлеченности повышался. В случаях, когда появлялись признаки усталости или частого отвлечения, индекс снижался. Такой подход позволил сформировать более гибкую модель, чем простая классификация «вовлечён / не вовлечён».

Особое внимание уделялось скорости работы системы. Для того чтобы она могла применяться в реальном времени, были оптимизированы как сами нейронные модели, так и механизм обработки видеопотока. Использование облегчённых архитектур позволило выполнять анализ даже на стандартных пользовательских устройствах без необходимости в использовании специализированного оборудования. Это делает систему потенциально пригодной для внедрения в существующие образовательные платформы.

На этапе тестирования особый интерес представляла проверка того, насколько данные системы совпадают с субъективными оценками преподавателей.

Для этого проводились онлайн-сессии, в которых преподаватели наблюдали за поведением студентов и выставляли собственные оценки вовлеченности.

Параллельно работала автоматическая система. Сравнение результатов показало, что мульти модальный подход позволил достичь достаточно высокой степени совпадения оценок, особенно при определении сниженной концентрации. Это подтверждает, что сочетание анализа эмоций и направления взгляда действительно отражает реальное поведение обучающихся.

Вместе с тем результаты исследования выявили и ряд ограничений. Например, качество анализа снижается при плохом освещении, нестабильном интернет-соединение или использовании устаревших веб-камер.

Кроме того, эмоциональные реакции могут иметь индивидуальные особенности, что требует адаптации модели к разным группам пользователей.

 Эти ограничения открывают путь для дальнейших доработок, связанных с персонализацией системы и применением дополнительных каналов данных, таких как анализ голоса или поведенческих характеристик взаимодействия с учебной платформой.

Разработка мультимодальной системы оценки вовлеченности имеет значимость не только для онлайн-обучения, но и для гибридных форматов, где взаимодействие частично происходит через цифровые среды.

Подобные технологии могут стать основой адаптивных образовательных курсов, автоматически регулирующих сложность и скорость подачи материала.

Предполагаемая система демонстрирует, что использование компьютерного зрения и методов искусственного интеллекта позволяет значительно расширить инструментарий дистанционного образования.

Комбинация анализа эмоций и направления взгляда создаёт более точную и устойчивую модель оценки активности студентов.

Несмотря на существующие ограничения, мультимодальный подход показывает высокие перспективы и задаёт направление для дальнейших исследований в области интеллектуальных образовательных технологий.

Список литературы:

1. Основы машинного обучения : учебное пособие / О.В. Лимановская, Т.И. Алферьева ; Мин-во науки и высш. образования РФ.-Екатеринбург : Изд-во Урал. ун-та, 2020. - 88 с.
2. Потапов А.С. Системы компьютерного зрения. Учебное пособие. – СПб:
3. Искусственный интеллект в образовании: Изменение темпов обучения. Аналитическая записка ИИТО ЮНЕСКО / Стивен Даггэн; ред. С.Ю. Князева; пер. с англ.: А.В. Паршакова. - Москва : Институт ЮНЕСКО по информационным технологиям в образовании, 2020
4. Теория и практика дистанционного обучения : учебное пособие для вузов / Е. С. Полат [и др.] ; под редакцией Е. С. Полат. - 2-е изд., перераб. и доп. -Москва : Издательство Юрайт, 2020 - 434 с. - (Высшее образование). - Текст : непосредственный.