Статья опубликована в рамках: Научного журнала «Студенческий» № 32(328)
Рубрика журнала: Технические науки
Секция: Технологии
Скачать книгу(-и): скачать журнал часть 1, скачать журнал часть 2, скачать журнал часть 3
СРАВНИТЕЛЬНЫЙ АНАЛИЗ ПОДХОДОВ К ОЦЕНКЕ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ В СОВРЕМЕННОМ IT-ОБРАЗОВАНИИ
A COMPARATIVE ANALYSIS OF APPROACHES TO EVALUATING LEARNING OUTCOMES IN MODERN IT EDUCATION
Olenberg Vadim Aleksandrovich
Student, Department of Information Systems and Applied Informatics, Rostov State University of Economics (RINH),
Russia, Rostov-on-Don
Sinyavskaya Tatiana Gennadievna
Scientific Supervisor, Candidate of Economic Sciences, Associate Professor, Rostov State University of Economics (RINH),
Russia, Rostov-on-Don
АННОТАЦИЯ
В статье представлены результаты сравнительного анализа подходов к оценке компетенций в области информационных технологий.
ABSTRACT
The paper presents the results of a comparative analysis of approaches to assessing competencies in the field of information technology.
Ключевые слова: информационные технологии, образование.
Keywords: information technology, education.
Оценка результатов обучения всегда была одной из самых важных частей образовательного процесса в целом. Без правильной оценки невозможно определить, были ли достигнуты цели, которые закладывались в конкретной программе обучения, то есть момент сбора учебной аналитики становится невозможен.
Получается, что оценивание — это инструмент, который позволяет понять, как обучающиеся справляются с учебной программой, с какими трудностями они сталкиваются, как их решают, в команде и без неё и ещё многое другое. На все эти вопросы помогает ответить широкий спектр методов для оценки результатов обучения.
Идеальных инструментов для оценки знаний и навыков не существует, потому что каждый метод, как правило, фокусируется на каких-то отдельных компонентах процесса обучения. Одни позволяют измерять глубину знаний в конкретной теме, другие показывают работу обучающихся в команде, третьи раскрывают инженерное мышление и креативность.
Поэтому, при выборе методов для оценки знаний и навыков мы всегда опираемся на конкретные цели, которые ставим для учебной программы, по конкретному курсу или в целом. Данный материал предлагает порассуждать на обозначенную тему и провести краткий сравнительный анализ методов для оценки результатов обучения, чтобы освежить, или может быть в каких-то местах даже получить новые, знания.
Классифицировать методы оценки результатов обучения можно по различным критериям, опираясь на условное техническое задание, которое мы заранее определили. Например, существует формат разделения по времени применения, когда процесс оценивания разделен на входное тестирование (диагностическое), текущее (формативное) и итоговый экзамен (суммативное) [1]. Он позволяет оценивать весь процесс обучения в целом, то есть можно отслеживать динамику освоения материала, а значит, реагировать на ошибки. Если условный промежуточный текст по конкретной теме показал плохие результаты, возможно это сигнал к пересмотру части учебных материалов или формата подачи.
Другой пример, разделение оценки результатов по компетентностной модели, когда мы разделяем полученные компетенции на когнитивные знания, практические умения и мягкие навыки [2], а также измеряем каждый сегмент своими инструментами. Когнитивные знания хорошо проверяются классическими тестами или экзаменами, практические умения хорошо проявляют себя в проектной работе, а личностные компетенции влияют сразу на все и участвуют во всем, поэтому их можно корректно измерить только методом наблюдения, peer review или самооценкой.
Последний пример для демонстрации многообразия форматов оценки результатов обучения — разделение по степени автоматизации. Когда мы делаем упор на разделение традиционных ручных методов оценки от автоматизированных [3].
Что общего можно выделить у приведенных в примеры выше форматов для оценки результатов обучения? Каждый опирается на измерение конкретных параметров исходя из поставленных задач. Можно ли в обучении всегда обходится только одним конкретным форматом? Безусловно, нет. При изменении целей и задач в обучении будут меняться и подходы к оценке.
Теперь обсудим особенности оценки результатов обучения в сфере информационных технологий. Первая особенность — многообразие предметов в учебной программе. Никто не станет оспаривать, что изучение теории алгоритмов и структур данных по целям изучения конкретного курса несколько отличается от, например, основ написания программ на C++. Безусловно, чтобы писать хороший производительный код на C++, необходимо разбираться в алгоритмах и структурах данных, эти дисциплины часто идут параллельно или вообще совмещаются, однако, цели в обучении у них все-таки разные. Первая ставит целью усвоение сложных теоретических абстракций у обучающегося, а вторая — практическое применение этих знаний в живой рабочей среде.
Вторая особенность — стремительная скорость устаревания знаний. Технологии очень сильно обновляются с циклом примерно в 2-3 года, совершенствуются инструменты, меняется стек и так далее. Каким образом должна быть выстроена учебная программа и какие аспекты она должна тренировать, чтобы оставаться актуальной в такой динамической среде? Ответ — делать упор на глубокие базовые знания об информационных системах, дополняя обучение курсами по актуальным технологиям.
И ещё одна основная деталь — практико-ориентированный характер обучения. Эта особенность частично повторяет первую и вытекает из неё. Чтобы быть актуальным на рынке после завершения обучения, обучающийся должен не только знать, как устроен конкретный алгоритм, но и уметь применять его в рабочих задачах.
Таким образом, мы можем выделить несколько критериев, по которым получится предметно поговорить про проходы к оценке результатов обучения:
- Наличие теоретических знаний: принципы и алгоритмы
- Работоспособность производимых решений
- Качество решений и архитектура
- Проектная деятельность и работа в команде
- Динамика освоения программы и получения знаний
- Софты, умение презентовать себя и рассказать о своей работе.
Приступаем к сравнительному анализу методов оценки результатов обучения по следующей модели: говорим о методе, критериях, которые он преследует и инструментах для измерения.
Письменный экзамен — классический формат проверки знаний. Под этим форматом понимается как непосредственно письменный экзамен, так и разного рода эссе, а также различные виды письменных контрольных работ, подразумевающие присутствие обучающегося в аудитории перед преподавателем. Критерий — выявление теоретических знаний в конкретной теме.
Устный экзамен — классический метод оценки знаний и навыков обучающегося, который позволяет проверить глубину знаний в конкретной теме, только в формате устного диалога. Хорошо работает для быстрой оценки общих знаний.
Бумажное тестирование — обучающимся предлагается список вопросов, с несколькими вариантами ответа. Основным преимуществом метода является скорость разработки тестовых материалов, а также возможность гибкой настройки сложности. Критерий: выявление теоретических знаний
Компьютерное тестирование — бумажное тестирование в цифровой среде. Имеет ряд бонусов, например, относительно простое масштабирование и возможность адаптации теста под конкретного обучающегося. Критерий: выявление теоретических знаний.
Антиплагиат — мониторинг научных публикаций, интернет-ресурсов и студенческих баз для проверки уникальности работы. На сегодняшний день данный формат является стандартом в проверке работ обучающихся. Критерий: проверка на оригинальность
Онлайн-мониторинг — используется на удаленных собеседованиях в компаниях, а также в некоторых вузах. Наибольшую популярность и распространение получил во времена пандемии COVID-19 в 2020-2022 годах.
Автоматическая проверка кода — метод автоматической проверки кода широко распространен в инженерных и технических вузах и на факультетах, а также в онлайн-школах, обучающих инженерным направлениям. С помощью него можно проверять задания без участия преподавателя, по заранее созданным сценариям. Критерии: наличие теоретических знаний, проверка работоспособности решений.
Диалоговая оценка с использованием языковой модели — экспериментальный подход в оценке знаний. Обучающийся взаимодействует с языковой моделью в формате «вопрос/ответ», а система интерпретирует, уточняет и оценивает ответы.
Портфолио — способ оценки знаний, основанный на накоплении результатов обучения и их последующем анализе. Отражает весь путь обучения, а не единичные контрольные точки, такие как экзамены или зачёты. Поэтому с его помощью можно оценить развитие навыков, увидеть трансформацию знаний, глубину погружения, варианты решения разнообразных задач.
Взаимооценка (peer-review) — способ, при котором обучающиеся проверяют работы друг друга и оценивают их по заданным критериям. Распространен на онлайн-курсах или на проектной работе, как один их элементов формирования критического мышления. В командах разработки известен под определением code-review.
Оценка гибких навыков — способ моделирования реальных ситуаций и выполнения заданий, приближённых к профессиональной практике. Позволяет проверять коммуникативные навыки, критическое и системное мышление, лидерство, стрессоустойчивость, умение решать нестандартные задачи в команде.
Проектная работа — оценивает обучающегося через выполнение комплексного проекта, отражающего реальную или приближенную к профессиональной деятельности задачу.
Самооценка и рефлексия — вполне себе метод для оценки знаний, но преимущества раскрывает только в формате дополнения к классической модели и внешней оценки от преподавателя. Формирует осознанность обучающегося в учебе, развивает ответственность, помогает в персонализации, выявляет слабые места.
Оценка цифрового следа — оценивается поведение обучающегося в цифровой образовательной среде, сбор информации может проводится средствами сквозной или веб-аналитики и идти на обучающих платформах, в чатах, на форумах, в интерактивных тренажёрах и других вариациях интерактивных платформ.
Геймификация — повышение мотивации и оценки прогресса за счёт внедрения игровых механик и системы поощрений, таких как баллы, достижения, уровни, рейтинги в учебный процесс.
Смешанное обучение — рассматривает модель подачи материала, как совмещение традиционных очных занятий с онлайн-компонентами. То есть часть учебного материала обучающийся изучает дистанционно через цифровые платформы, а часть — в аудитории с преподавателем.
Имитационный тренажер — рассматривает оценку и развитие профессиональных знаний и навыков через моделирование реальных или приближённых к реальности ситуаций, в которых нужно принимать решения, взаимодействовать, действовать под давлением.
Анализ видео и аудио-записей — обучающийся предоставляет запись своего выступления, объяснения, демонстрации или участия в учебной ситуации, а преподаватель оценивает его по заранее заданным критериям.
Создание обучающего контента — контроль знаний и навыков обучающегося через создание учебных материалов по теме, которую он изучает, с целью объяснить её другим.
Хакатон — объединяет элементы проектной работы, кейсового подхода и соревновательной динамики, превращая процесс оценки в интенсивную и мотивирующую активность.
Итоги сравнительного анализа приведены в таблице 1.
Таблица 1.
Итоги сравнительного анализа
|
Название |
Краткое описание |
Цели |
Критерий |
|
Письменный экзамен |
Классический формат: письменные экзамены, эссе, контрольные работы |
Проверка теоретических знаний, структурирования ответа |
Проверка теоретических знаний |
|
Устный экзамен |
Проверка знаний в формате диалога |
Быстрая оценка глубины и полноты понимания темы |
Проверка теоретических знаний |
|
Бумажное тестирование |
Тест с выбором ответа |
Быстрая проверка знаний, массовая оценка |
Проверка теоретических знаний |
|
Компьютерное тестирование |
Тестирование в цифровой среде, масштабируемое |
Адаптация теста, автоматизация оценки |
Проверка теоретических знаний |
|
Антиплагиат |
Проверка уникальности текста через базы данных и интернет |
Контроль академической честности |
Оригинальность работы |
|
Онлайн-мониторинг |
Контроль удалённых экзаменов и собеседований |
Исключение мошенничества, проверка дисциплины |
Проверка теоретических знаний |
|
Автоматическая проверка кода |
Проверка кода по сценариям без участия преподавателя |
Массовая оценка программных заданий |
Теоретические знания, работоспособность производимых решений |
|
Диалоговая оценка с LLM |
Вопрос–ответ с языковой моделью, экспериментальный подход |
Автоматизация оценки знаний, уточнение ответов |
Проверка теоретических знаний, качества решений, глубины погружения в конкретную тему |
|
Портфолио |
Накопление и анализ результатов обучения |
Оценка прогресса и развития компетенций |
Динамика освоения программы и получения знаний |
|
Взаимооценка (peer-review) |
Проверка и оценка работ студентами друг друга |
Развитие критического мышления, навыков анализа |
Софты, умение презентовать себя и рассказать о своей работе. |
|
Оценка гибких навыков |
Моделирование профессиональных ситуаций |
Проверка soft skills (коммуникации, лидерства) |
Софты, умение презентовать себя и рассказать о своей работе. |
|
Проектная работа |
Выполнение комплексного проекта |
Проверка практических и интегративных компетенций |
Проектная деятельность и работа в команде |
|
Самооценка и рефлексия |
Оценка собственных знаний обучающимся |
Развитие осознанности и ответственности |
Софты, умение презентовать себя и рассказать о своей работе. |
|
Оценка цифрового следа |
Анализ активности в цифровой среде |
Мониторинг вовлеченности, выявление паттернов обучения |
Динамика освоения программы и получения знаний |
|
Геймификация |
Внедрение игровых элементов (баллы, уровни) |
Повышение мотивации и вовлеченности |
Динамика освоения программы и получения знаний |
|
Смешанное обучение |
Комбинация оффлайн и онлайн-обучения |
Оптимизация процесса обучения, контроль усвоения |
Эффективность комбинированного подхода |
|
Имитационный тренажер |
Реалистичное моделирование профессиональных ситуаций |
Проверка знаний и действий под давлением |
Софты, умение презентовать себя и рассказать о своей работе. |
|
Анализ видео и аудио-записей |
Проверка записей объяснений или демонстраций |
Анализ навыков презентации, аргументации |
Софты, умение презентовать себя и рассказать о своей работе. |
|
Создание обучающего контента |
Подготовка учебных материалов студентом |
Проверка понимания темы через объяснение другим |
Глубина понимания, системность |
|
Хакатон |
Интенсивная проектная и соревновательная работа |
Проверка практических знаний, работа в команде, креативность |
Проектная деятельность и работа в команде |
Какие выводы можно сделать по итогам сравнительного анализа? Во-первых, сфера информационных технологий по настоящему многогранна, поэтому уровни компетенций в ней невозможно измерить каким-то одним методом оценки результатов обучения. Знаний и навыков, которые необходимы на рынке сегодня множество, и они очень разные. Для того, чтобы разрабатывать современные устойчивые к нагрузкам сервисы, требуются как глубокие теоретические знания, так и прикладные навыки, позволяющие применять все, что есть. Поэтому, в рамках обучения информационным технологиям никогда не получится сфокусироваться на каком-то конкретном наборе методов для оценки знаний и навыков, это в целом невозможно,
Во-вторых, как форматы оценки знаний и навыков, так и весь процесс обучения в целом должны носить ярко выраженный практико-ориентированный подход. Теоретические знания важны и являются фундаментом для всей деятельности, происходящей сегодня в сфере информационных технологий, однако они никогда не должны быть в отрыве от практического применения, в первую очередь, для лучшего усвоения. Банальный пример про такую замечательную абстракцию как стек, попробуйте почитать про неё и запомнить в деталях, как она работает. Оцените результат, а после напишите её на C++, разницу почувствуете сразу.
В-третьих, теоретические знания и умение применять их на практике будут работать хуже, если конкретный обучающийся не сможет работать в команде и доносить смысл своих размышлений до окружающих, в современном ИТ на сегодняшний день встречаются самые разные задачи, которые требуют знаний в области дизайна, бизнеса, психологии и других смежных тем, не имеющих прямого отношения к информационным технологиям.
Список литературы:
- Баженова С. А. Средства оценивания результатов обучения на современном этапе // Современное образование. — 2021. — № 5. — С. 33–39.
- Грудзинский А. О., Палеева О. А. Компетентностная модель как критерий функциональности высшего образования // Высшее образование сегодня. — 2020. — № 7. — С. 12–18.
- Землянская Е. Н. Формирующее оценивание (оценка для обучения) образовательных достижений обучающихся // Педагогика и психология образования. — 2019. — № 3. — С. 45–52.
- Исматова Ш. Цифровая оценка в образовательных системах [Электронный ресурс] // Лингвоспектр. — 2024. — Т. 2, № 1. — С. 69–72. — Режим доступа: https://lingvospektr.uz/index.php/lngsp/article/view/107 (дата обращения: 06.10.2025).
- Лаптев В. В., Лаптев П. В. Проблемы оценивания результатов ИТ-специалистов // Информационные технологии в образовании. — 2022. — № 4. — С. 25–30.
- Шармин Д. В., Шармин В. Г. Компетентностный подход в высшем образовании России: двадцать лет спустя // Высшее образование в России. — 2023. — № 6. — С. 14–21.


Оставить комментарий