УСТОЙЧИВОСТЬ СЕМАНТИЧЕСКИХ ФИЛЬТРОВ К ОТРИЦАНИЯМ И ЧИСЛОВЫМ ОГРАНИЧЕНИЯМ В ЗАДАНИЯХ

ROBUSTNESS OF SEMANTIC FILTERS TO NEGATIONS AND NUMERICAL CONSTRAINTS IN TASKS

Ключевые слова: семантический фильтр, эмбеддинги, отрицание, числовые ограничения, фонд оценочных средств, логическая эквивалентность.

Keywords: semantic filtering, embeddings, negation, numerical constraints, assessment tasks, logical equivalence.

1. Сохранение смысла как условие педагогического оценивания

При переформулировании учебного задания необходимо сохранить границу между правильным и неправильным решением. Особенно чувствительны к этому отрицания, количественные ограничения и область допустимых значений. Незначительное изменение записи может повлиять на ключ, тогда как заметная перестройка фразы иногда выражает прежнее условие. Для педагогической экспертизы важно определить, какое свойство должно оставаться неизменным и как это свойство связано с результатом обучения.

Цель статьи – предложить теоретические основания проверки смысловой устойчивости заданий с отрицаниями и числовыми условиями. Использованы логический анализ, формализация критериев и дедуктивное определение границ их применимости. Под устойчивостью понимается сохранение педагогически существенных отношений при допустимом преобразовании. Рассматривается связь между текстовым признаком, логическим условием и основанием оценочного вывода. Теоретический анализ устанавливает требования к процедуре проверки; характеристики конкретных моделей и измерительные свойства заданий требуют самостоятельного исследования.

Чувствительность языковых технологий к отрицанию рассматривается в NevIR [1] и исследовании CANNOT [2]. ALIGN-SIM [3] показывает самостоятельность задачи согласования семантических отношений и векторных расстояний. Эти направления обосновывают необходимость контролируемых проверок, но не дают готового педагогического критерия для любого задания. Предлагаемая конкретизация связывает проверку преобразования с областью решения, наблюдаемым действием и допустимым оценочным заключением.

В рекомендациях по разработке заданий множественного выбора рассматриваются ясность формулировки и устранение посторонних оснований выбора ответа. Для настоящей постановки это означает необходимость различать отрицание как предмет проверяемого рассуждения и отрицание как случайное языковое затруднение. Исключать его во всех случаях столь же необоснованно, как допускать без проверки области действия [4].

2. Логический и педагогический инварианты

Для формализуемого задания q на области D множество решений и метка эквивалентности записываются следующим образом:

Равенство множеств является операциональным критерием сохранения условия, когда область и смысл предиката определены. Но педагогическое назначение шире: преподаватель должен установить, сохраняется ли требуемый способ действия. Если новая формулировка прямо сообщает искомый результат, совпадение решений не обеспечивает прежней диагностической функции. Поэтому логический инвариант включается в педагогический паспорт наряду с указанием операции и допустимой помощи.

Принцип проверки состоит в последовательном рассмотрении области, величин, отношений и вывода. Сначала устанавливается, какие объекты допустимы: целые числа, действительные значения, даты или действия в заданном регламенте. Затем нормализуются единицы и уточняется строгость границы. После этого определяется область отрицания и лишь затем сравниваются решения. Пропуск первого шага может сделать последующее формально правильное преобразование неприменимым.

Нормализация единиц измерения должна сохранять величину, размерность и тип сравнения. Равенство числовых записей при разных единицах не означает равенства величин, а изменение числовой записи при согласованном преобразовании единиц не означает изменения условия. Поэтому предмет сравнения определяется после нормализации. Отдельно проверяется включение границы: строгое и нестрогое отношения различаются по принадлежности граничного значения множеству решений. Этот компонент не восстанавливается из общей тематической близости формулировок.

Для отрицания существенна область действия, включая его связь с квантором. Отрицание свойства отдельного объекта, отрицание существования и отрицание всеобщности задают разные логические отношения. Их нельзя отождествлять по наличию одинакового отрицательного слова. При переходе к нормализованной записи эксперт сохраняет порядок связывания переменных и уточняет, к какому утверждению относится отрицание. В заданиях на анализ источника такая проверка дополняется установлением того, какие сведения источник утверждает и какие оставляет неопределёнными.

3. Что выражает семантическая близость

Векторная модель отображает текст в представление f(q). Для сравнения обычно используется косинусная близость:

Формула характеризует отношение двух векторов. Чтобы использовать её как основание допуска задания, необходимо дополнительное предположение о соответствии векторной близости требуемому смысловому отношению. Такое соответствие нельзя получить из формулы скалярного произведения. Для педагога показатель является средством поиска кандидатов на сопоставление; логический вывод о равносильности требует проверки условий и границ.

Семейство E5 [5] и документация моделей [6; 7] показывают, что само получение вектора зависит от заданного способа использования представления. Выбор токена или усреднения, префикса и входного контекста относится к технической конфигурации. Сохранение этих сведений необходимо для последующего исследования, однако правильная конфигурация не подменяет педагогической экспертизы. Настоящая статья не устанавливает преимущество какого-либо режима.

Общий принцип контроля преобразований требует различать внешнее сходство и сохранение смысла. Здесь предмет исследования ограничен логической нормализацией и положительными инвариантными изменениями. Самостоятельный вопрос состоит в том, почему правило обнаружения внешних различий может неправомерно отклонить допустимую редакцию. Для ответа устанавливаются условия, при которых изменяется форма представления, но сохраняется отношение между данными, требуемым действием и решением.

4. Порог и лексический контроль как поясняющие модели

Для анализа рангового правила рассмотрим частную запись порога через пятую порядковую статистику положительных эталонных оценок. Индекс здесь определяет позицию в упорядоченной последовательности, а не результат выполненного измерения:

Выбор порядковой статистики задаёт границу допуска внутри упорядоченного набора. Он требует наличия достаточного числа положительных эталонных оценок и определённого порядка сравнения; при совпадении значений правило включает равенство. Из самого выбора ранга не следует педагогическая приемлемость порога. Ранговое условие описывает отношение к представленным эталонам, но не определяет поведение правила на новых заданиях. Пятый ранг в формуле является частной записью общего принципа и не предлагается как норматив качества.

Порог, определённый только по положительным эталонам, не содержит самостоятельного ограничения на ошибочный допуск отрицательных случаев. Для вывода о таком ограничении требуется дополнительное основание, связывающее распределение близости со смысловой корректностью. Следовательно, правило отбора и обоснование его пригодности образуют разные задачи. В педагогической экспертизе необходимо отдельно определить последствия пропуска смысловой ошибки и последствия отклонения допустимой редакции; единый порог не задаёт их ценность автоматически.

Для лексического контроля обозначим через N мультимножество записанных чисел, а через H – количество отдельных слов «не». Правило совпадения этих признаков имеет вид:

Это правило устанавливает совпадение выбранных поверхностных признаков. Оно не учитывает размерность величин, синтаксические роли чисел и область действия отрицания. Следовательно, изменение признаков указывает на необходимость проверки, но не удостоверяет смысловой дефект. Их совпадение также недостаточно для вывода о равносильности. В экспертной процедуре лексический контроль используется для локализации внимания; содержательное решение требует восстановления отношений, которые связывают отмеченные фрагменты с условием задачи.

5. Дидактические условия использования отрицаний

Теория когнитивной нагрузки связывает организацию задачи с требованиями к переработке информации. Из неё не следует универсальный запрет на сложные формулировки. Для педагогического проектирования важно определить, относится ли дополнительная языковая операция к проверяемому содержанию. В вопросе на применение профессионального правила случайное двойное отрицание может создавать постороннюю нагрузку; в задании по логике его анализ может составлять основное действие [8].

Поэтому предлагаемая экспертиза начинается с вопроса «зачем обучающемуся нужно обработать это отрицание?». Если операция предусмотрена результатом обучения, необходимо сохранить её и ясно задать условия. Если она возникла вследствие неудачного перефразирования, предпочтительна более ясная запись. Решение сопровождается указанием педагогической цели, что позволяет отличить содержательное упрощение задания от устранения случайного затруднения.

В заданиях на чтение нормативного или исторического источника отрицание может быть частью точной цитаты. Его механическое удаление изменяет предмет анализа. В таких случаях исходный фрагмент сохраняется, а инструкция к действию формулируется отдельно и понятно. Это позволяет исследовать сложный текст без смешения трудности источника и неясности вопроса преподавателя.

Методическая работа с границами условия требует явно разделять внутреннюю область, её границу и дополнение к допустимому множеству. Для каждого компонента эксперт устанавливает, сохраняется ли правило отнесения решения к допустимому классу. Для кванторных выражений аналогичную функцию выполняет проверка логической структуры отрицания. Такой порядок направляет профессиональное обсуждение на основания равносильности и позволяет зафиксировать, какое именно отношение требует уточнения, без сведения проверки к поиску отдельных слов.

6. Последовательность педагогической проверки

Предлагается сначала сохранить исходную формулировку и педагогическое назначение, затем зафиксировать преобразование и предполагаемый инвариант. Далее проверяются область, единицы, граничные случаи и область действия отрицания. После логической проверки преподаватель оценивает сохранение требуемой самостоятельности и способа действия. Лишь после этого устанавливается соответствие нового ключа новой версии задания.

Автоматическая система может подсветить изменившиеся фрагменты и подготовить проект нормализованного условия. Если разные трактовки дают разные решения, она должна показать неоднозначность. Отсутствие уверенной формализации не означает ошибку обучающегося и не является основанием ухудшения его образовательного профиля. До уточнения вопроса сохраняется исходный ответ и откладывается вывод по спорному индикатору.

Для последующего исследования сформулированы проверяемые предположения: нормализация единиц уменьшает число необоснованных редакторских отказов; обсуждение граничных случаев делает решения экспертов более согласованными; разделение языковой сложности и предметного действия помогает точнее выбирать формат задания. Это направления эмпирической проверки, а не заявленные эффекты. Материалы этой статьи предназначены для разработки процедуры и методической подготовки преподавателей.

7. Заключение

Теоретически обосновано разделение семантической близости, логической инвариантности и сохранения педагогического действия. Установлено, что вывод о корректности преобразования требует нормализации области, величин, границ и области действия отрицания. Порог и лексическая проверка раскрыты как правила с ограниченной интерпретацией. Результатом является последовательность экспертизы, в которой автоматические сигналы направляют внимание преподавателя, а допуск опирается на содержательное основание. Предложенные положения определяют программу последующей проверки, не устанавливая эффективность конкретного фильтра.

Список литературы

1. Weller O., Lawrie D., Van Durme B. NevIR: Negation in Neural Information Retrieval // Proceedings of EACL. – 2024. – P. 2274⁠–⁠2287. – DOI: 10.18653/v1/2024.eacl-long.139. – URL: https://aclanthology.org/2024.eacl-long.139/.
2. Anschütz M., Miguel Lozano D., Groh G. This is not correct! Negation-aware Evaluation of Language Generation Systems // Proceedings of INLG. – 2023. – P. 163⁠–⁠175. – DOI: 10.18653/v1/2023.inlg-main.12. – URL: https://aclanthology.org/2023.inlg-main.12/.
3. Mahajan Y., Bansal N., Blanco E., Karmaker S. ALIGN-SIM: A Task-Free Test Bed for Evaluating and Interpreting Sentence Embeddings through Semantic Similarity Alignment // Findings of EMNLP. – 2024. – P. 7393⁠–⁠7428. – DOI: 10.18653/v1/2024.findings-emnlp.436. – URL: https://aclanthology.org/2024.findings-emnlp.436/.
4. Haladyna T.M., Downing S.M., Rodriguez M.C. A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment // Applied Measurement in Education. – 2002. – Т. 15, № 3. – P. 309⁠–⁠334. – DOI: 10.1207/S15324818AME1503_5.
5. Wang L., Yang N., Huang X., Yang L., Majumder R., Wei F. Multilingual E5 Text Embeddings: A Technical Report. 2024. arXiv:2402.05672 [Электронный ресурс]. – DOI: 10.48550/arXiv.2402.05672. – URL: https://arxiv.org/abs/2402.05672.
6. Intfloat. Intfloat. multilingual-e5-small: model card [Электронный ресурс]. – URL: https://huggingface.co/intfloat/multilingual-e5-small (accessed: 13.09.2026).
7. Cointegrated. rubert-tiny: model card [Электронный ресурс]. – URL: https://huggingface.co/cointegrated/rubert-tiny (accessed: 13.09.2026).
8. Sweller J. Cognitive Load During Problem Solving: Effects on Learning // Cognitive Science. – 1988. – Т. 12, № 2. – P. 257⁠–⁠285. – DOI: 10.1207/s15516709cog1202_4.