ПРОВЕРКА ПОНИМАНИЯ СТУДЕНЧЕСКОЙ РАБОТЫ НА ПРЕДЗАЩИТЕ ЧЕРЕЗ КОНТЕКСТНЫЕ ВОПРОСЫ

Ключевые слова: предзащита, контекстные вопросы, генеративный искусственный интеллект, понимание, рубрика оценивания, валидность.

Keywords: preliminary defense, contextual questions, generative artificial intelligence, understanding, assessment rubric, validity.

1. Предзащита как ситуация проявления понимания

Предзащита студенческой работы позволяет обсуждать связь между исследовательским решением и основаниями, которыми руководствовался обучающийся. Для педагогики важен не только правильный итог, но и способность восстановить ход рассуждения, объяснить выбор метода и определить границы вывода. Возможность получить связный текст с помощью ИИ усиливает значение этих действий. При этом предзащита сохраняет образовательную функцию: она должна помогать студенту увидеть, что требует уточнения перед окончательной защитой.

В предшествующей работе авторов [1] рассмотрена верификационная тестология и предложены четыре уровня контекстных вопросов. Настоящая постановка уточняет педагогическое назначение уровней и основания интерпретации ответов. Теория валидности [2] требует обосновывать переход от отдельного наблюдения к заключению. Современные концептуальные подходы к оцениванию в условиях генеративного ИИ [3] и разработки персонализированных устных проверок [4] показывают, что сама идея опроса с ИИ уже имеет аналоги.

Самостоятельный вклад заключается в соединении трёх требований: вопрос должен иметь проверяемое основание в работе; программа должна охватывать разные действия понимания; недостаток наблюдения должен отличаться от недостаточного ответа. Предлагаемая модель не предназначена для определения авторства текста. Она описывает, как студент может продемонстрировать понимание представленных решений и получить содержательную рекомендацию для доработки.

2. От утверждения работы к наблюдаемому действию

Под контекстным понимается вопрос, который обращён к конкретному утверждению работы и требует операции с его содержанием. Тематического совпадения недостаточно: ответ должен зависеть от данных, метода, допущения или вывода именно рассматриваемой работы. Если корректный ответ может быть дан без обращения к её исследовательскому решению, контекстная привязка нуждается в дополнительном обосновании. Это требование отделяет проверку общей терминологической осведомлённости от анализа понимания студентом представленных результатов.

Паспорт вопроса сохраняет формулировку q, множество исходных утверждений E, уровень ℓ, ожидаемое рассуждение r, плановую длительность c и версию работы v:

Привязка к версии нужна потому, что после доработки может измениться не только текст, но и основание вопроса. Если студент заменил метод или уточнил ограничение, прежний вопрос подлежит пересмотру. Точная цитата позволяет комиссии проверить происхождение вопроса, но не гарантирует правильности его интерпретации. Ожидаемое рассуждение рассматривается как ориентир эксперта и должно допускать альтернативный корректный способ объяснения.

Уровни не являются лестницей, которую достаточно пройти одним словесным ответом. Студент может помнить данные, но затрудняться в объяснении метода; другой студент способен обсуждать ограничения, но ошибаться в обозначениях. Поэтому полезен профиль наблюдений. Отдельный вопрос также может затрагивать несколько действий, однако его основной оцениваемый уровень следует определить заранее, чтобы не менять критерий после ответа.

Развитие оценочного суждения предполагает способность распознавать качество собственной и чужой работы. В предзащите это направление можно реализовать через обсуждение альтернативного решения, границы обобщения и необходимой проверки. Такое содержание позволяет связать оценочный вопрос с дальнейшей самостоятельной работой студента. Предлагаемая рубрика предназначена для организации обсуждения, а её измерительные свойства остаются предметом апробации [5].

3. Состав программы опроса

Программа опроса определяет, какие основания комиссия намерена получить в ограниченное время. В частной формальной постановке предусмотрено по одному вопросу каждого из четырёх уровней. Такое ограничение выражает принцип различимости требуемых действий; оно не устанавливает универсальную норму длительности или достаточности предзащиты. Количество вопросов, глубина уточнений и допустимая помощь определяются назначением обсуждения. Формальная запись служит для проверки согласованности этой программы с предварительно заявленным составом наблюдений.

Пусть C(S) – число разных утверждений, охваченных набором S. Предпочтение более полного содержательного охвата выражается следующим образом:

Допустимые наборы удовлетворяют условиям состава и общего планового времени B:

Формулы поясняют различие содержания и программы действий. Можно затронуть все разделы работы, задавая только вопросы на воспроизведение фактов. Можно, напротив, обсудить несколько уровней на одном ключевом исследовательском решении. Поэтому охват утверждений применяется вместе с требованиями к уровням, а не вместо них. Содержательная пригодность вопроса устанавливается до включения его в допустимое множество.

Если подходящий набор отсутствует, полезный результат подготовки состоит в обнаружении конкретного пробела: нет вопроса на обоснование метода, не определён критерий оценочного ответа или выбран слишком малый бюджет. Преподаватель может изменить программу и явно зафиксировать её неполноту. Автоматическая замена недостающего уровня несколькими фактологическими вопросами создаёт внешнюю завершённость без требуемого педагогического основания.

4. Условия обоснованной интерпретации опроса

Переход от ответа к заключению о понимании включает несколько оснований. Прежде всего устанавливается, что вопрос корректно связан с актуальной работой и действительно требует заявленного действия. Далее проверяется, предоставлена ли обучающемуся возможность это действие продемонстрировать. Затем наблюдаемый ответ сопоставляется с заранее определённым критерием. Только после этого формулируется вывод в пределах полученного свидетельства. Пропуск любого основания делает интерпретацию неполной, даже если ответ представляется комиссии убедительным.

Содержательная состоятельность вопроса и качество ответа оцениваются раздельно. Некорректная предпосылка вопроса, неопределённая ссылка на работу или несогласованный критерий могут помешать демонстрации понимания. В таком случае сначала уточняется инструмент опроса. Требование самостоятельности также должно быть определено: разъяснение формулировки, указание на источник и подсказка существенного шага имеют разное значение для интерпретации. Объём помощи фиксируется вместе с ответом, чтобы не приписывать обучающемуся действие, выполненное при решающей поддержке эксперта.

Программа должна допускать альтернативное корректное рассуждение. Паспорт вопроса описывает существенные отношения, которые необходимо объяснить, но не предписывает единственную последовательность слов. Если ответ раскрывает требуемую связь другим способом, эксперт сопоставляет его с содержательным критерием. При споре между трактовками сохраняются исходный фрагмент и основания обеих позиций. Такой порядок препятствует подмене понимания совпадением с заранее подготовленным текстом.

Интерпретационные границы определяются объёмом наблюдения. Способность объяснить отдельное решение поддерживает локальный вывод о его понимании, но не удостоверяет полноту подготовки по всей теме. Обобщение требует согласованных свидетельств из разных действий и условий. Теоретическая модель поэтому связывает каждую рекомендацию с конкретным элементом ответа и отдельно отмечает, что ещё не было проверено. Недостаточная полнота программы рассматривается как ограничение процедуры, а не как установленный недостаток обучающегося.

5. Интерпретация ответа и отсутствие свидетельства

Для описания профиля сохраняется четырёхкомпонентная запись:

NA принципиально отличается от нуля. Если оценочный вопрос не был задан, нельзя заключать, что студент не способен оценивать ограничения. Если техническая запись потеряна, отсутствует материал для решения. Это различение особенно важно при адаптивной поддержке: пробел наблюдения требует дополнительного задания, а обнаруженное затруднение – соответствующего объяснения. Выбор этих действий должен оставаться прозрачным для обучающегося.

При полной наблюдаемости можно описательно суммировать компоненты, но до отдельной валидации сумма не задаёт порог допуска к защите. Сходные суммы могут скрывать разные профили: уверенное воспроизведение фактов при слабом обосновании метода и обратную ситуацию. Для методической работы профиль полезнее единственного числа, поскольку он позволяет связать каждую рекомендацию с конкретным действием.

Эксперт фиксирует фрагмент ответа и основание оценки до общего обсуждения. При корректном альтернативном рассуждении эталон дополняется, а не используется как обязательная словесная форма. Скорость речи, уверенность выступления и способность пользоваться терминологией рассматриваются в связи с назначением задания. Если они не входят в оцениваемый результат, следует предусмотреть иной способ демонстрации предметного понимания.

6. Формирующая обратная связь после опроса

Подход D. Nicol и D. Macfarlane-Dick связывает обратную связь с саморегуляцией обучения. Для предзащиты это позволяет сформулировать конкретное продолжение: студент сопоставляет свой ответ с критерием, определяет пробел и выбирает действие для доработки. Сообщение «нужно лучше понимать метод» недостаточно. Полезнее указать, какое условие применения метода осталось необоснованным и какую проверку необходимо выполнить [6].

Рекомендуется завершать обсуждение картой доработки, связывающей утверждение работы, неразрешённый вопрос, требуемое действие и способ предъявления исправления. Рекомендация должна быть выполнимой и сохранять исследовательскую самостоятельность: студенту указывают, какое основание требуется уточнить, но не подменяют его решение готовым выводом. После доработки проверяется именно заявленное изменение и его влияние на связанные положения работы. Так предзащита объединяет диагностику, обратную связь и повторное осмысленное действие.

Роль ИИ состоит в подготовке вариантов вопросов, извлечении фрагментов и проекте обратной связи. Исследования качества генерируемых заданий [7] показывают самостоятельность задачи их оценивания. В предлагаемой модели предметную корректность и педагогическую уместность утверждает преподаватель. Текстовая связность вопроса или его формальная привязка к источнику не заменяют этой проверки.

7. Границы модели и дальнейшее исследование

Предложенные уровни и рубрика являются проектом, а не стандартизированным измерительным инструментом. Следующий этап предполагает независимую экспертизу вопросов, наблюдение реальных ответов и сопоставление с внешним заданием на объяснение или перенос. Согласие оценщиков необходимо анализировать отдельно от согласия нескольких моделей. Длительность подготовки и проведения опроса также требует наблюдений; она не выводится из условного временного бюджета.

Теоретический результат состоит в согласовании происхождения вопроса, требуемого действия, оценочного основания и последующей обратной связи. Сформулированы условия контекстной обоснованности, полноты программы и ограниченности педагогического вывода. Разграничены отсутствие свидетельства и недостаточное выполнение действия. Контекстный опрос в такой постановке направлен на развитие понимания и уточнение исследовательского решения студента. Диагностическая эффективность и измерительные свойства рубрики подлежат самостоятельной проверке.

Список литературы

1. Абзалимов Р.Р., Нигматуллин Д.М. Цифровые технологии и верификационная тестология для проведения предзащиты студенческих научных работ // Искусственный интеллект в образовании: материалы Международной научно-практической конференции. Оренбург: ОГУ им. В.А. Бондаренко, 2026. С. 491⁠–⁠494. Исходная авторская версия предоставлена в архиве материалов.
2. Kane M.T. Validating the Interpretations and Uses of Test Scores // Journal of Educational Measurement. – 2013. – Т. 50, № 1. – P. 1⁠–⁠73. – DOI: 10.1111/jedm.12000. – URL: https://www.ets.org/research/policy_research_reports/publications/article/2013/jpdc.html.
3. Nikolić D., Basta Nikolić M. Designing AI-resilient assessment in higher education: a four-pillar conceptual framework // Frontiers in Artificial Intelligence. – 2026. – Т. 9. – Art. 1841682. – DOI: 10.3389/frai.2026.1841682. – URL: https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2026.1841682/full.
4. Ipeirotis P., Rizakos K. Scalable and Personalized Oral Assessments Using Voice AI. 2026. Авторская версия: arXiv:2603.18221v3, 26.07.2026. DOI журнальной версии: [Электронный ресурс]. – DOI: 10.1145/3831714. – URL: https://arxiv.org/abs/2603.18221v3.
5. Tai J., Ajjawi R., Boud D., Dawson P., Panadero E. Developing evaluative judgement: enabling students to make decisions about the quality of work // Higher Education. – 2018. – Т. 76. – P. 467⁠–⁠481. – DOI: 10.1007/s10734-017-0220-3.
6. Nicol D.J., Macfarlane-Dick D. Formative assessment and self-regulated learning: a model and seven principles of good feedback practice // Studies in Higher Education. – 2006. – Т. 31, № 2. – P. 199⁠–⁠218. – DOI: 10.1080/03075070600572090.
7. Isley C., Gilbert J., Kassos E., Kocher M., Nie A., Brunskill E., Domingue B., Hofman J., Legewie J., Svoronos T., Tuminelli C., Goel S. Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study // Proceedings of the AAAI Conference on Artificial Intelligence. – 2026. – Т. 40, № 45. – P. 38626⁠–⁠38634. – DOI: 10.1609/aaai.v40i45.41205. – URL: https://ojs.aaai.org/index.php/AAAI/article/view/41205.