РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ МУЛЬТИМОДАЛЬНОГО АНАЛИЗА И КОНТРОЛЯ СТУДЕНТОВ В ХОДЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

АННОТАЦИЯ

В статье рассматривается разработка информационной системы мультимодального анализа и контроля студентов в условиях дистанционного обучения.

Исследование ориентировано на применение технологий компьютерного зрения, обработки аудиоданных и методов машинного обучения для автоматизированного мониторинга учебной активности обучающихся.

Предложено программное решение, позволяющее анализировать эмоциональное состояние, направление взгляда, присутствие пользователя перед экраном, поведенческие характеристики и уровень вовлечённости в образовательный процесс.

Описаны архитектура системы, особенности клиент-серверного взаимодействия, алгоритмы обработки видеопотока и структура хранения данных.

Проведён сравнительный анализ существующих LMS-платформ и систем прокторинга. Рассмотрены ограничения традиционного цифрового контроля, а также вопросы конфиденциальности персональных данных.

Ключевые слова: информационная система, мультимодальный анализ, дистанционное обучение, контроль студентов, компьютерное зрение, анализ поведения обучающихся, распознавание эмоций, анализ направления взгляда, мониторинг учебной активности, искусственный интеллект, нейронные сети, обработка видеопотока, цифровая образовательная среда.

Переход образовательных организаций к дистанционным форматам заметно изменил структуру взаимодействия между преподавателем и студентом.

Онлайн-обучение дало возможность сохранять непрерывность учебного процесса независимо от территориальных ограничений, однако одновременно появились сложности, связанные с объективной оценкой активности обучающихся.

При проведении очных занятий преподаватель способен отслеживать реакцию аудитории практически интуитивно: по направлению взгляда, мимике, вовлечённости в обсуждение, скорости выполнения заданий. В цифровой образовательной среде значительная часть подобных признаков оказывается недоступной.

На практике это приводит к снижению качества обратной связи. Студент может присутствовать на занятии формально, не взаимодействуя с учебным материалом. Дополнительную проблему создаёт рост академической недобросовестности при дистанционном контроле знаний.

Традиционные LMS-платформы фиксируют преимущественно факт входа пользователя в систему и результаты выполнения тестов, но практически не позволяют оценивать поведенческие характеристики обучающегося [4].

Анализ существующих решений показывает, что большинство образовательных платформ сосредоточено на управлении учебным контентом. Moodle, Microsoft Teams, Google Classroom и аналогичные системы обеспечивают организацию занятий, хранение материалов и проведение тестирования, однако механизмы мониторинга активности в них ограничены. Даже встроенные средства аналитики чаще отражают статистику посещений, чем реальную вовлечённость студентов в образовательный процесс.

Отдельное направление составляют системы прокторинга. Они ориентированы преимущественно на контроль поведения во время экзаменов и промежуточной аттестации.

Подобные решения используют запись видеопотока, анализ переключения окон, идентификацию личности пользователя и фиксацию подозрительных действий. Несмотря на высокую эффективность при проведении контроля знаний, такие системы плохо адаптированы для регулярного мониторинга вовлечённости во время повседневных занятий. Кроме того, значительная часть прокторинговых платформ требует высоких вычислительных ресурсов и специализированной инфраструктуры.

Проблема становится ещё более заметной при длительном использовании дистанционного обучения. Отсутствие постоянного визуального контакта между преподавателем и студентом приводит к снижению концентрации внимания, росту утомляемости и ухудшению качества восприятия информации [3].

В ряде случаев преподаватель обнаруживает потерю интереса к занятию уже после завершения учебного процесса, когда уровень усвоения материала оказывается существенно ниже ожидаемого.

По этой причине интерес исследователей всё чаще смещается в сторону интеллектуальных систем мониторинга учебной активности. Наиболее перспективными считаются решения, основанные на мультимодальном анализе.

Подобный подход предполагает одновременную обработку нескольких типов данных: видеопотока, аудиосигналов, поведенческих характеристик и действий пользователя в интерфейсе образовательной платформы.

Разрабатываемая информационная система ориентирована именно на такой принцип работы. Основная идея заключается в комплексной оценке вовлечённости обучающегося на основе совокупности признаков, а не по одному параметру. Это позволяет снизить вероятность ошибочных выводов и повысить устойчивость анализа.

В процессе проектирования были выделены несколько ключевых модулей системы. Первый модуль отвечает за обработку видеопотока с веб-камеры пользователя. Его задача связана с определением положения лица, анализом направления взгляда, распознаванием эмоций и фиксацией присутствия студента перед экраном.

Второй модуль занимается обработкой аудиоданных. Он анализирует голосовую активность, длительность пауз и признаки участия пользователя в обсуждении учебного материала. Третий компонент связан с анализом цифрового поведения: взаимодействием с интерфейсом LMS, активностью в учебных заданиях и реакцией на действия преподавателя.

Архитектура программного решения строится по клиент-серверной модели. Клиентская часть функционирует в браузере пользователя и обеспечивает получение видеоданных с веб-камеры, аудиопотока и событий пользовательского интерфейса.

Серверная часть реализована на основе FastAPI и выполняет обработку поступающих данных, запуск алгоритмов машинного обучения и сохранение результатов анализа в базе данных PostgreSQL.

Выбор FastAPI обусловлен высокой производительностью асинхронной обработки запросов и удобством интеграции с Python-библиотеками машинного обучения. Для работы с видеопотоком используется OpenCV, позволяющий выполнять предварительную обработку кадров, выделение областей лица и нормализацию изображений. Алгоритмы мультимодального анализа реализованы с применением TensorFlow и PyTorch [1].

Система распознавания эмоций основана на использовании сверточных нейронных сетей. В ходе обработки видеокадра выполняется определение ключевых лицевых ориентиров, после чего модель классифицирует эмоциональное состояние пользователя.

Анализируются категории заинтересованности, усталости, нейтрального состояния, напряжения и отвлечённости. При обучении модели использовались открытые датасеты FER-2013 и AffectNet, дополненные собственными выборками, сформированными в условиях реальных онлайн-занятий.

Для определения направления взгляда применяется отдельный модуль компьютерного зрения. Алгоритм учитывает положение глаз, поворот головы и динамику движения зрачков. Анализ выполняется непрерывно во времени, что позволяет фиксировать устойчивые отклонения внимания от учебного материала. Если студент длительное время не смотрит в область экрана или систематически отвлекается, уровень вовлечённости снижается.

В отличие от традиционных систем контроля, разработанное решение не ограничивается единичной фиксацией нарушения. Алгоритм анализирует поведение пользователя в динамике. Кратковременное переключение внимания не интерпретируется как потеря интереса к занятию. Подобный подход позволил уменьшить количество ложных срабатываний.

Дополнительно в системе реализован механизм оценки активности обучающегося во время выполнения заданий. Анализируется скорость реакции на действия преподавателя, участие в обсуждении, активность в чате и взаимодействие с учебными материалами. Информация поступает в единый модуль расчёта интегрального индекса вовлечённости.

При разработке структуры базы данных особое внимание уделялось хранению временных рядов и событий пользовательской активности. Для каждого занятия сохраняются показатели эмоционального состояния, данные анализа взгляда, результаты обработки аудиосигналов и статистика взаимодействия с интерфейсом. Это позволяет формировать аналитические отчёты как по отдельным студентам, так и по учебной группе в целом.

Отдельный интерес представляет вопрос производительности системы. Обработка видеопотока в режиме реального времени требует значительных вычислительных ресурсов, особенно при работе с нейронными сетями.

Для снижения нагрузки использовались облегчённые архитектуры моделей и механизм пакетной обработки кадров. Часть вычислений выполняется на стороне клиента, что уменьшает объём передаваемых данных и снижает нагрузку на сервер.

Во время экспериментального тестирования система использовалась в рамках дистанционных учебных занятий продолжительностью от 40 до 90 минут. В исследовании участвовали студенты технических направлений подготовки.

Полученные результаты сравнивались с экспертными оценками преподавателей. Наиболее высокая степень совпадения наблюдалась при определении устойчивой потери концентрации и снижении вовлечённости во второй половине занятия.

Тестирование также позволило выявить ряд ограничений. На точность анализа заметно влияет качество освещения, положение веб-камеры и стабильность интернет-соединения. Кроме того, эмоциональные реакции обучающихся имеют индивидуальные особенности.

Одни студенты сохраняют нейтральное выражение лица даже при высокой концентрации внимания, другие демонстрируют активную мимику независимо от уровня вовлечённости. По этой причине перспективным направлением дальнейшего развития системы становится персонализация моделей машинного обучения.

Серьёзное внимание уделялось вопросам конфиденциальности персональных данных. Система не хранит исходные видеозаписи занятий, а сохраняет только результаты обработки и числовые показатели активности.

Передача данных осуществляется по защищённым каналам связи. Пользователь получает уведомление о начале анализа и может ограничить отдельные функции мониторинга. Подобный подход позволяет снизить риски нарушения цифровой приватности.

Практическая значимость разработки связана не только с дистанционным обучением. Информационная система может использоваться в гибридных образовательных моделях, корпоративном обучении и системах интеллектуальной аналитики учебного процесса.

Автоматизированный контроль обучающихся способен помочь преподавателю быстрее выявлять снижение вовлечённости аудитории и адаптировать подачу материала в процессе занятия.

Использование технологий искусственного интеллекта в образовании постепенно перестаёт ограничиваться автоматической проверкой тестов и рекомендацией учебного контента.

Развитие мультимодального анализа открывает возможность более глубокого понимания поведения обучающихся в цифровой образовательной среде.

Разработанная информационная система демонстрирует, что сочетание методов компьютерного зрения, анализа аудиоданных и поведенческой аналитики позволяет формировать более точную модель оценки учебной активности студентов.

Список литературы:

1. Лимановская О.В., Алферьева Т.И. Основы машинного обучения : учебное пособие. Екатеринбург : Изд-во Урал. ун-та, 2020. 88 с.
2. Потапов А.С. Системы компьютерного зрения : учебное пособие. Санкт-Петербург : Университет ИТМО, 2018. 124 с.
3. Искусственный интеллект в образовании: изменение темпов обучения / С. Даггэн ; пер. с англ. А.В. Паршакова ; под ред. С.Ю. Князевой. Москва : Институт ЮНЕСКО по информационным технологиям в образовании, 2020. 44 с.
4. Полат Е.С., Моисеева М.В., Петров А.Е. Теория и практика дистанционного обучения : учебное пособие для вузов. 2-е изд., перераб. и доп. Москва : Юрайт, 2020. 434 с..