АНАЛИЗ МОДЕЛИ BERT ДЛЯ ЗАДАЧ КЛАССИФИКАЦИИ ТЕКСТА

ANALYSIS OF THE BERT MODEL FOR TEXT CLASSIFICATION PROBLEMS

Sergey Volosovich

master's student, Department of Informatics, Belarussian State University of Informatics and Radioelectronics,

Belarus, Minsk

АННОТАЦИЯ

Данная работа посвящена анализу модели BERT (Bidirectional Encoder Representations from Transformers) как инструмента решения задач классификации текста. Рассматриваются архитектура BERT и модели, построенные на его основе, такие как DistilBERT, RoBERTa и ALBERT. Показано, что BERT и его модификации являются мощными инструментами для решения задач классификации благодаря способности учитывать контекст, быстроте обучения и высокой производительности.

ABSTRACT

This work is devoted to the analysis of the BERT model (Bidirectional Encoder Representations from Transformers) as a tool for solving text classification problems. The architecture of BERT and models based on it, such as Distillers, RoBERTa and ALBERT, are considered. It is shown that BERT and its modifications are powerful tools for solving classification problems due to their ability to take into account context, learning speed and high productivity.

Ключевые слова: модель BERT; классификация текста; обработка естественного языка; языковая модель; трансформер; RoBERTa; DistilBERT; ALBERT.

Keywords: BERT model; text classification; NLP; language model; transformer; RoBERTa; DistilBERT; ALBERT.

В последние годы наблюдается рост использования интернета и, соответственно, увеличение применения токсичного языка в отношении других людей, что может нанести вред тем, к кому он обращен. Полезность искусственного интеллекта значительно возросла благодаря развитию обработки естественного языка, особенно с применением трансформеров [1].

Одним из первых был BERT, который породил множество вариаций, включая те, которые стремятся быть более легкими по сравнению с оригинальными моделями. Цель данного проекта заключалась в анализе модели BERT для задач классификации и обзору трех различных видов моделей-трансформеров - RoBERTa, ALBERT и DistilBERT.

Модель BERT (Bidirectional Encoder Representations from Transformers) - это инструмент для задач обработки естественного языка (NLP), включая проблемы классификации. Разработанная исследователями из Google AI Language*(По требованию Роскомнадзора информируем, что иностранное лицо, владеющее информационными ресурсами Google является нарушителем законодательства Российской Федерации – прим. ред.), модель BERT представляет собой многослойный двунаправленный кодер-трансформер, который обучается контекстуальным представлениям слов в предложении. Такая архитектура позволяет BERT улавливать нюансы языка и понимать контекст, в котором используются слова [2].

Благодаря своей уникальной архитектуре, основанной на механизме внимания и двунаправленном обучении BERT отлично подходит для решения задач классификации. Процесс начинается с преобразования каждого токена (слова или части слова) в векторное представление через Embedding. Затем эти векторы обрабатываются с помощью слоев Transformer, состоящих из слоя внимания (self-attention) и слоя прямого прохода (feed-forward).

Рисунок 1. Архитектура модели BERT

Процесс обучения BERT включает в себя две основные стратегии: Masked Language Model (MLM) и Next Sentence Prediction (NSP). MLM предполагает предсказание исходных значений замаскированных слов на основе контекста, представленного окружающими словами. NSP обучает модель предсказывать, является ли второе предложение в паре последующим предложением в исходном документе или случайным предложением из корпуса [3].

Для задач классификации, таких как анализ настроения, BERT может быть тонко настроен путем добавления слоя классификации поверх вывода трансформатора для лексемы [CLS]. Это позволяет модели предсказывать метку класса на основе контекстуализированных представлений входной последовательности.

С течением времени развитие модели BERT распространилось на многие другие области благодаря её уникальной архитектуре, основанной на механизме внимания и двунаправленном обучении. После обширного предварительного обучения на триллионах текстов без аннотаций BERT позволяет тонко настраивать модель для специализированных задач и конкретных наборов данных, используя перенос обучения для достижения высокой точности с более быстрым расчетом. С момента своего появления было представлено несколько альтернативных версий, включая RoBERTa, DistilBERT и ALBERT, которые адаптировались для работы с различными языками и оптимизировались на доменно-специфических наборах данных. Эти модели продолжают развиваться, и регулярно выпускаются оптимизированные версии, открывая новые возможности для применения технологии BERT в широком спектре задач обработки естественного языка, таких как анализ тональности, прогнозирование фраз, суммирование абстракций, ответы на вопросы, интерференция естественного языка и многие другие.

Рисунок 2. Общие характеристики предварительно обученных моделей

На базе BERT были разработаны модификации, такие как DistilBERT, RoBERTa и ALBERT, которые сохраняют высокую производительность при значительном уменьшении размера модели и ускорении обучения [4]:

• DistilBERT в 3 раза меньше и обучается в 60 раз быстрее, сохраняя 97% производительности BERT [5].
• RoBERTa использует ту же архитектуру, что и BERT, но обучается на большем объеме данных и показывает лучшие результаты [4].
• ALBERT в 18 раз меньше параметров, обучается в 1,7 раза быстрее и превосходит по производительности BERT, RoBERTa и DistilBERT [4].

Контекстуализированные представления и возможности тонкой настройки BERT делают ее эффективным инструментом для решения задач классификации. Например, при анализе настроений BERT может быть настроен на классификацию текста как позитивного, негативного или нейтрального на основе контекста и настроения, выраженного в тексте. Аналогично, при распознавании именованных сущностей BERT можно использовать для идентификации и классификации таких сущностей, как люди, организации и местоположения [6, 7].

В заключение стоит отметить, что BERT является мощным инструментом для решения задач классификации в области обработки естественного языка благодаря своим контекстуализированным представлениям и возможностям тонкой настройки. Он эффективен для широкого спектра задач, включая анализ настроений, распознавание именованных объектов и многого другого. Также важным аспектом является наличие более компактных и быстрых версий BERT, таких как DistilBERT, которые предлагают многообещающие альтернативы для приложений с ограниченными вычислительными ресурсами.

Список литературы:

1. Йылдырым С., Асгари-Ченаглу М. Осваиваем архитектуру Transformer. Разработка современных моделей с помощью передовых методов обработки естественного языка / пер. с анг. В.С. Яценкова: ДМК Пресс, 2022. — 318 с.
2. Sabharwal N., Agrawal, A. Hands-on Question Answering Systems with BERT: Apress Berkeley, CA, 2021. — С. 65–95.
3. Все, что нужно знать об ALBERT, RoBERTa и DistilBERT // [Электронный ресурс] — Режим доступа. — URL: https://habr.com/ru/articles/680986 (дата обращения 29.05.2024).
4. Салып Б.Ю., Смирнов А.А АНАЛИЗ МОДЕЛИ BERT КАК ИНСТРУМЕНТА ОПРЕДЕЛЕНИЯ МЕРЫ СМЫСЛОВОЙ БЛИЗОСТИ ПРЕДЛОЖЕНИЙ ЕСТЕСТВЕННОГО ЯЗЫКА // Научнообразовательный журнал для студентов и преподавателей «StudNet» — 2022. — №22. – С. 3509–3518.
5. Yu, J., Jiang, J. Adapting BERT for Target-Oriented Multimodal Sentiment Classification: IJCAI-2019 — China, 2019 — С. 5409–5414.
6. Sun, C., Qiu, X., Xu, Y., Huang, X. How to fine-tune bert for text classification? // 18th China National Conference, CCL 2019 (Kunming, October 18–20 2019) — China, 2019. — С. 194–206.
7. Sanh, V., Debut, L., Chaumond, J., Wolf, T. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter // [Электронный ресурс] — Режим доступа. — URL: https://arxiv.org/pdf/1910.01108 (дата обращения 29.05.2024).
8. Николенко С. Transformer: внимание на себя // Лаборатория математической логики. - СПб.: НИУ ВШЭ, 2019. - 77 с.