РАЗРАБОТКА НЕЙРОННОЙ СЕТИ ДЛЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ НА ПРОИЗВОДСВТЕ

​DEVELOPMENT OF A NEURAL NETWORK FOR A VISION SYSTEM IN PRODUCTION

David Belyuzhenko

Student, Department of Intelligent Systems in Management and Automation, Moscow Technical University of Communications and Informatics,

Russia, Moscow

Nikita Belov

Senior Lecturer, Department of Intelligent Systems in Management and Automation, Moscow Technical University of Communications and Informatics,

Russia, Moscow

Vladimir Repinsky

Scientific supervisor, candidate of Sciences in Technical, associate professor, Moscow Technical University of Communications, and Informatics,

Russia, Moscow

АННОТАЦИЯ

В данной статье показана и описана нейронная сеть, используемая как часть подсистемы машинного зрения для анализа бракованных деталей на серийном или массовом производстве.

ABSTRACT

This article shows and describes a neural network used as part of a machine vision subsystem for analyzing defective parts in serial or mass production.

Ключевые слова: нейронная сеть; yolov8; машинное зрение; производство.

Keywords: neural network; yolov8; machine vision; manufacturing;

В начале 2023 года в свет вышла новая версия YOLOV8 (you only look once) популярной модели нейронной сети, используемой для различных задач в компьютерном зрении. Новая версия способна решать задачи классификации - выделении на изображении разных категорий [1], а также задачи сегментации - разбиения изображения на разные регионы на основе содержимого изображения [2].

Однако одной из самых популярных задач в компьютерном зрении является обнаружение объектов на изображении, их местоположения в кадре и класс. [3]

Не секрет, что нейронные сети все чаще и чаще используются в компьютерном зрении на производстве. Оно и понятно, потому что компьютерное зрение позволяет экономить очень большое количество ресурсов. В частности, времени производственного цикла [4]. Его сокращение обеспечивает более рациональное использование основных фондов, уменьшение себестоимости продукции, контроль соблюдения техники безопасности на производстве, а также помогает выявлять брак на различных этапах производства, что существенного экономит средства производства.

Нейронные сети выступают лишь элементом системы технического зрения на производстве, которая как правило состоит из камеры, освещения, датчиков, объект, ЭВМ [5]. Компоненты технического зрения могут меняться в зависимости от решаемых задач, где-то возможно использовать конвейер, где-то РТК и т.п. “Базовая архитектура” системы технического зрения представлена на “Рисунок 1”.

Рисунок 1. Базовая архитектура системы технического зрения [5]

В данной работе будет описана “Базовая система технического зрения” с использования нейросетевых технологий в качестве элемента для определения брака. Как уже говорилось ранее, в качестве нейронной сети была выбрана последняя модель YOLOV8. YOLOv8 использует глубокую свёрточную нейронную сеть для извлечения признаков из изображений, а затем выполняет детектирование объектов, используя предсказания нейросети. Алгоритм также, может быть, дообучен на пользовательских данных, что позволяет улучшить его точность в конкретной области применения.

YOLOv8 еще не имеет опубликованной статьи, поэтому на данный момент не хватает прямого понимания методологии прямых исследований и исследований абляции, проведенных во время его создания. С учетом сказанного был проанализирован репозиторий и доступная информация о модели. На рисунке 2 показана архитектура нейронной сети YOLOv8 взятая из открытых источников.

Рисунок 2. Базовая архитектура системы технического зрения [6]

Подсистема технического зрения для контроля брака на опытно-эксперементальном производтсве предпологает исследование продукции этого самого опытно-эксперементального производства. В качестве предметов, которые будут подвергнуты анализу отклонений от ТЗ были выбраны изделеия произвлдимые на токарных станках (станки с ЧПУ и универсальные станки). Были определены два класса : хорошие детали и производственный деффект. Всего было сделано порядка 1000 фотографий, 500 фотографий для “хороших деталей” и 500 для “производственного деффекта” такое малое количество фотографий обусловенно тем, что мы лишь тестируем возможности сети.

Класс «хорошие детали» представлял из себя фотографии винтов с цилндрической головкой согласно гост – 1491-80 , винтов с потайной головкой согласно гост – 17475-80, шайб согласно гост – 5915-70, шурупов – 1146-80

Датасет представляет из себя набор фотографий, сделанных под определённым углом и с определенным освещением на фиксированном расстоянии (30 сантиметров до объекта).

Рисунок 3. “Хорошие детали”

Рисунок 4. «Производственный брак»

При решении задачи детектирования объектов в кадре необходимо аннотировать заранее подготовленные фотографии, далее выделить на них необходимый элемент и отметить к какому классу он относиться. Без этих действий не получится обучить нейронную сеть. Для решения этой задачи был использован сервис Roboflow [7].

После процедуры разметки датасета, нами была выбрана модель yolov8l(large), ведь она показывает один из лучших результатов [8] на датасете COCO [9]. Однако, в связи с этим возникает потребность в современном и высокопроизводительном оборудовании именно поэтому нами было принято решение произвести обучение с помощью сервиса “Google Collaboratory”*(По требованию Роскомнадзора информируем, что иностранное лицо, владеющее информационными ресурсами Google является нарушителем законодательства Российской Федерации – прим. ред.). Преимуществом данного сервиса является его доступность и простота использования [10]. Конечно, в нем есть свои ограничения, но тех ресурсов, которые сервис предоставляет хватит для обучения нейронной сети.

Рисунок 5. Код для обучения yolov8l

Как показано на рисунке 5, размер входного изображения был 640 на 640 пикселей, это обусловлено ресурсными ограничениями, ведь чем больше размер входного изображения, тем больше ресурсов требуется для обучения. Нами было выбрано 110 эпох для обучения сети, хотя можно было ограничиться и меньшим [11]. Результаты работы нейронной сети представлены на следующих изображениях:

Рисунок 6. Работа нейронной сети yolov8l, класс “product_defect”

На данном изображении видно, что нейронная сеть определила бракованную деталь с уверенностью в 0.88 или 88% процентов, это значит, что результат ее работы можно улучшить.

Рисунок 7. Работа нейронной сети yolov8l, класс “normal”

На данном изображении видно, что нейронная сеть определила нормальную деталь с уверенностью в 0.93 или 93% процента, что свидетельствует о ее хорошей работе.

Рисунок 8. Confusion Matrix

Матрица ошибок — это усредненная метрика, показывающая общие итоги обучения нейронной сети. Из данного изображения становиться понятно, что получившаяся нейросеть имеет хорошие показатели точности, однако для использования ее в условиях реального производства необходимо расширить количество фотографий в обучающем датасете.

Список литературы:

1. YOLO: Краткая история // URL: https://docs.ultralytics.com/ru/ (дата обращения: 03.12.2023).
2. Задачи Ultralytics YOLOv8 // URL: https://docs.ultralytics.com/ru/tasks/#_1 (дата обращения: 03.12.2023).
3. Обнаружение объектов // URL: https://docs.ultralytics.com/ru/tasks/detect/ (дата обращения: 03.12.2023).
4. Масленникова Юлия Леонидовна, Бром Алла Ефимовна К ВОПРОСУ ОБ ОЦЕНКЕ ЭФФЕКТИВНОСТИ ОПЫТНОГО ПРОИЗВОДСТВА В ПРОМЫШЛЕННОСТИ // Экономическое развитие России. 2023. №3. URL: https://cyberleninka.ru/article/n/k-voprosu-ob-otsenke-effektivnosti-opytnogo-proizvodstva-v-promyshlennosti (дата обращения: 01.08.2023).
5. Введение в систему технического зрения https://kipia.ru/upload/iblock/d78/Auton_sist_tech_zrn.pdf
6. Brief summary of YOLOv8 model structure // GitHub URL: https://github.com/ultralytics/ultralytics/issues/189 (дата обращения: 03.12.2023).
7. Roboflow URL: https://roboflow.com/ (дата обращения: 03.12.2023).
8. GitHub URL: https://github.com/ultralytics/ultralytics (дата обращения: 03.12.2023).
9. URL: https://cocodataset.org/#home (дата обращения: 03.12.2023).
10. Google Colab URL: https://colab.google/ (дата обращения: 03.12.2023).
11. Соболь Б.В., Соловьев А.Н., Васильев П.В., Подколзина Л.А. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта // Advanced Engineering Research (Rostov-on-Don). 2019. №1. URL: https://cyberleninka.ru/article/n/model-glubokoy-svertochnoy-neyronnoy-seti-v-zadache-segmentatsii-treschin-na-izobrazheniyah-asfalta (дата обращения: 08.12.2023).