ОПТИЧЕСКОЕ РАСПОЗНАВАНИЕ СИМВОЛОВ МАРКИРОВКИ МИКРОСХЕМ

OPTICAL CHARACTER RECOGNITION OF CHIP MARKINGS

Aleksandr Rybin

Student, National Research University of Electronic Technology,

Russia, Zelenograd

Darina Kalina

Head of IT Development Department, LLC "Prime",

Russia, Zelenograd

АННОТАЦИЯ

В данной статье описывается применение модификации алгоритма распознавания символов для считывания маркировки электронных компонентов. Данная модификация способна распознавать английские символы верхнего и нижнего регистра и специальные символы. В основе решения использовался подход переноса обучения с использованием модели оптического распознавания символов библиотеки keras-ocr.

ABSTRACT

 In this paper we propose the application of a modification of the character recognition algorithm for reading the marking of electronic components. This modification is able to recognize English uppercase and lowercase characters and special characters. The solution was based on the transfer learning approach using the optical character recognition model of the keras-ocr library.

Ключевые слова: оптическое распознавание; распознавание символов; микросхема; keras-ocr.

Keywords: optical recognition; character recognition; chip; keras-ocr.

Введение

С развитием современных технологий автоматизация процессов в различных отраслях становится все более актуальной и востребованной. Автоматизация позволяет повысить эффективность работы и снизить влияние человеческого фактора.

Одной из областей, где автоматизация процессов играет важную роль, является учет электронных компонентов. Острая потребность в автоматизации процессов особенно ощущается в компаниях, занимающихся производством или поставками электроники и электронной компонентной базы, компьютерной техники и других смежных отраслей.

Автоматизация учета электронных компонентов с использованием оптического распознавания символов позволяет обеспечить максимальную точность и эффективность процесса учета, а также минимизирует возможность ошибок.

Для распознавания символов была модифицирована ранее предобученная сверточно-рекуррентная ИНС (искусственная нейронная сеть) keras-CRNN из библиотеки keras-ocr, которая обеспечила высокую производительность системы распознавания [1]. Модификация позволила расширить алфавит распознаваемых символов, а также повысить точность классификации отдельных часто встречающихся символов.

Предлагаемое решение

В целях обеспечения высокой точности алгоритма распознавания символов и минимизации затрат на ручную разметку в основе решения лежала идея итеративного обучения с корректировкой ошибок на комбинации открытых баз изображений и собственной базы изображений, собранной в процессе приемки электронных компонентов.

На каждой итерации обучения производился контроль качества полученной модели, выявлялись и корректировались вручную выбросы и ошибки распознавания на собственной базе изображений, а, затем, повторялся процесс обучения с добавлением скорректированных примеров из собственной базы.

Обучение на каждой итерации строилось по принципу переноса обучения или transfer learning [2]. Для начальной инициализации использовались веса kurapan, предоставляемые библиотекой keras-ocr. Схема процесса обучения представлена на рисунке 1.

Рисунок 1. Алгоритм дообучения модели

Исходя из требований к разработке системы распознавания, необходимая для внедрения точность алгоритма должна составлять ~90% при полном сопоставлении строки (в строке маркировки должны быть полностью распознаны все символы без ошибок с вероятностью более 90%).

Оценка точности алгоритма проводилась по метрике accuracy [3]:

Для обучения были использованы следующие открытые базы изображений:

• Датасеты, предоставляемые keras-ocr (свыше 20000 изображений) [4]. После обучения на них модель Keras OCR показала точность распознавания 50-55%.
• Открытый датасет на платформе Kaggle (содержит порядка 21 тыс. изображений) [5].

На рисунке 2 представлены примеры изображений из собственной базы изображений. База изображений содержит порядка 20 000 нормализованных и предобработанных фото реальных электронных компонентов.

Рисунок 2. Примеры предобработанных изображений

Результаты тестирования

На каждой итерации обучения было проведено тестирование моделей оптического распознавания на одной и той же тестовой выборке. В результате был получен график сравнения ошибки (минимизируемой loss-функции) моделей на каждой эпохе при неизменных параметрах обучения. График представлен на рисунке 3.

Рисунок 3. График обучения разных по объёму данных моделей

На графике можно заметить постепенную сходимость loss - функции, что говорит о достижении некоторого “оптимума” на итерациях и говорит о приближении к требуемой точности.

Также по результатам обучения и тестирования был построен график зависимости точности модели от размера обучающей выборки, которая постепенно расширялась на каждой итерации. График представлен на рисунке 4.

Рисунок 4. График точности разных моделей в зависимости от количества данных обучающей выборки

Для более детального анализа распределения ошибок была проведена посимвольная оценка качества обучения модели по метрике accuracy. Оценка модели проводилась на собственных изображениях электронных компонентов. Результаты представлены на рисунках ().

Рисунок 5. Сравнение точности разных моделей для цифр по метрике accuracy, %

Рисунок 6. Сравнение точности разных моделей для латинских символов верхнего регистра по метрике accuracy, %

Рисунок 7. Сравнение точности разных моделей для латинских символов нижнего регистра по метрике accuracy, %

Рисунок 8. Сравнение точности разных моделей для сепараторов метрике accuracy, %

Заключение

По результатам оценки предложенная модель была признана пригодной для использования в реальных приложениях и рекомендована к внедрению в процессы приемки электронной компонентной базы.

Также был выполнен расчет рисков внедрения алгоритма на основе обученной модели, который представлен в таблице 2.

Таблица 1.

Качественный анализ рисков внедрения решения

Список литературы:

1. Bhardwaj A. et al. A Novel Approach to Recognize Optical Characters of Number Plate Using Object Detection //Futuristic Trends in Networks and Computing Technologies: Select Proceedings of Fourth International Conference on FTNCT 2021. – Singapore : Springer Nature Singapore, 2022. – С. 851-863.
2. Pan S. J., Yang Q. A survey on transfer learning //IEEE Transactions on knowledge and data engineering. – 2009. – Т. 22. – №. 10. – С. 1345-1359.
3. Johnson V. M., Rogers L. L. Accuracy of neural network approximators in simulation-optimization //Journal of Water Resources Planning and Management. – 2000. – Т. 126. – №. 2. – С. 48-56.
4. Fausto, Morales API keras_ocr documentation / Morales Fausto. — Текст: электронный // keras_ocr: [сайт]. — URL: https://keras-ocr.readthedocs.io/en/latest/api.html#datasets (дата обращения: 02.03.2023).
5. ABHISHEK, JAISWAL standard OCR dataset / JAISWAL ABHISHEK. — Текст: электронный // Kaggle : [сайт]. — URL: https://www.kaggle.com/datasets/preatcher/standard-ocr-dataset (дата обращения: 02.03.2023).