ПОДГОТОВКА ДАТАСЕТА ДЛЯ ЗАДАЧИ ДЕТЕКЦИИ ПОВРЕЖДЕННОЙ ХВОИ ВЗРОСЛЫХ СОСЕН

АННОТАЦИЯ

В статье описан процесс создания датасета для решения задачи детекции поврежденной хвои взрослых сосен методами компьютерного зрения. Проведен анализ этапов сбора датасета и проанализированы трудозатраты на создание набора изображений.

ABSTRACT

The article describes the process of creating a dataset for solving the task of detecting damaged needles in adult pine trees using computer vision methods. An analysis of the stages of dataset collection was carried out and the labor costs for creating a set of images were analyzed.

Ключевые слова: компьютерное зрение, задача детекции, разметка изображений, подготовка датасета.

Keywords: сomputer vision, object detection task, image annotation, dataset preparation

Введение

Подработанные территории угольных разрезов в Кузбассе рекультивируются в том числе путем посадки саженцев сосны обыкновенной. Посадка саженцев происходит достаточно плотно с учетом того, что они частично погибают. При использовании такой технологии необходимо проводить регулярную оценку состояния посадок.

В нынешних условиях данную задачу можно реализовать с использованием компьютерного зрения. Можно использовать предобученные нейронные сети, дообучив их для решения более узкой задачи – детекции поврежденной хвои. Сам процесс обучения нейронных сетей технически не является сложным, но требует специально подготовленные наборы исходных данных и наличия вычислительных ресурсов. В этой статье рассматривается процесс сбора и подготовки датасета для задачи детекции поврежденной хвои сосен.

Постановка задачи и методы решения

Из данных литературных источников [1] и анализа датасетов, размещенных публично [2], можно сделать вывод о том, что для достижения удовлетворительного качества решения задачи детекции требуется набор данных содержащий в среднем 800-5000 размеченных изображений для дообучения ранее предобученных нейронных сетей решению задач компьютерного зрения в узкой предметной области. Таким образом, процесс подготовки датасета включает в себя этапы сбора исходных изображений, предварительного анализа, разметки и валидации разметки.

Для решения данной задачи необходимы специалисты со следующими компетенциями, несколько ролей могут быть назначены одному сотруднику:

• Эксперт в предметной области;
• Специалист в области фото и видеосъемки;
• Специалист по разметке изображений;
• Специалист для валидации разметки.

Перед этапом сбора исходных изображений необходимо понять, что именно будет предметом исследования для задачи детекции. Необходимо с одной стороны получить изображения максимума возможных вариаций внешнего вида исследуемого объекта, а с другой стороны есть достаточно серьезное ограничение в возможностях дальнейшей обработки изображений.

В рамках исследуемой задачи было принято решение сосредоточиться исключительно на поиске поврежденных сосновых деревьев, оставив без внимания здоровые. Исходя из этого, для детекции были выбраны следующие виды повреждений хвои - пожелтевшие иголки (рисунок 1а) и засохшие иголки (рисунок 1б).

а)                                                       б)

Рисунок 1. Поврежденные сосновые деревья: а) Пожелтевшая хвоя, б) Засохшая хвоя

Далее необходимо обращать внимание на корректность собранного набора данных относительно типа повреждений. Помимо этого, необходимо учесть разные погодные и световые условия для работы аппаратуры и дистанционного наблюдения, учесть их при проведении съемки – это поможет повысить качество автоматической аугментации при обучении модели нейронной сети. Для достижения разнообразия датасета съемка проводилась в течение двух месяцев – в сентябре-октябре 2024 года. Съемка осуществлялась в Сосновом бору города Кемерово.

Максимальное разнообразие изображений достигается при проведении фото- и видеосъемки с дальнейшей раскадровкой и выбором корректных изображений из получившихся наборов. При проведении предварительного анализа материалов после съемки необходимо учесть значительный уровень выбраковки изображений. В связи с этим необходимо снять количество материала с запасом, в 2-2,5 раза больше от требуемого объема. Достаточный уровень вариативности изображений достигался при раскадровке снятого на мобильные камеры видеоряда с частотой 2 кадра/секунду. Таким образом количество отснятого материала составило:

• Фотографий – 3148 штук;
• Видеоматериалы – 15 штук по 4 минуты.

После раскадровки видеоматериалов, полученные изображения собираются в едином хранилище. Далее проводится отбор изображений, контролируется наличие необходимых типов дефектов хвои и корректность набора по типу дефекта, освещенности, общему виду объектов на фотографии. Было отобрано около 2500 изображений.

Далее следует этап разметки изображений в соответствии с требованиями формата разметки для выбранной нейронной сети. Для решения задачи детекции поврежденной хвои была выбрана нейронная сеть YOLOv11.

Качество разметки должно быть удовлетворительным, поэтому требуется дополнительный этап валидации разметки. Для валидации было задействовано три сотрудника. Те изображения, которые не прошли валидацию минимум у двух человек, отправлялись на повторную разметку.

С учетом подсчета времени, трудозатраты на создание датасета для решения задачи детекции поврежденной хвои составили:

• Фото- и видеосъемка – 16 чел*час.
• Раскадровка видео, предварительный анализ изображений – 28 чел*час.
• Разметка изображений – 20 чел*час.
• Валидация изображений – 10 чел*час.
• Таким образом трудозатраты оцениваются в 74 чел*часа.

В результате проделанной работы был получен датасет для решения задачи детекции поврежденной хвои с использованием нейронных сетей YOLOv11. Модель YOLOv11m, обученная на данном датасете, имеет точность (Precision) равную 82%.

Выводы

Создание набора из 2500 изображений, достаточного для обучения нейронной сети YOLOv11 для решения задачи поиска поврежденной хвои взрослых сосен, по нашим оценкам потребовало 74 чел*час. В тех случаях, когда предметная область является публичной и физически доступной для съемки, создание датасета возможно силами небольшого количества сотрудников. Наибольшую, по сравнению с другими этапами, сложность в создании коллекции изображений представляет процесс съемки.

Список литературы:

1. Bulatov KB, Emelianova EV, Tropin DV, Skoryukina NS, Chernyshova YS, Sheshkus AV, Usilin SA, Ming Z, Burie JC, Luqman MM, Arlazarov VV. MIDV-2020: a comprehensive benchmark dataset for identity document analysis. Computer Optics 2022; 46(2): 252-270. DOI: 10.18287/2412-6179-CO-1006.
2. Yuzhen Lu, Sierra Young, A survey of public datasets for computer vision tasks in precision agriculture / Computers and Electronics in Agriculture, Volume 178, 2020, 105760, ISSN 0168-1699, DOI:10.1016/j.compag.2020.105760