ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА УЧЁТА АВТОМОБИЛЬНОГО ТРАНСПОРТА НА КПП ПРЕДПРИЯТИЯ: КАСКАДНЫЙ ПАЙПЛАЙН YOLOV8 + BYTETRACK + EASYOCR С SR-ПРЕДОБРАБОТКОЙ

INTELLIGENT VEHICLE ACCOUNTING SYSTEM AT ENTERPRISE CHECKPOINT: CASCADED YOLOV8 + BYTETRACK + EASYOCR PIPELINE WITH SR PREPROCESSING

Sagadiyev Ramazan Meyrambekuly

Master student,  Kazakh Agrotechnical Research University named after S. Seifullin,

Republic Kazakhstan, Astana

АННОТАЦИЯ

В статье описана каскадная архитектура системы «AutoPass» для автоматического учёта транспортных средств на контрольно-пропускных пунктах промышленных предприятий. Пайплайн объединяет детектор YOLOv8, трекер ByteTrack, OCR-модуль EasyOCR (CRNN + CTC) и авторский блок SR-предобработки (ESRGAN + адаптивная фильтрация + бинаризация Оцу). Апробация на 1 247 событиях проезда показала: SA вырос с 76,4% до 84,7%, CA — с 90,6% до 94,8% при включении SR; доля автоматически обработанных событий — 59,6%.

ABSTRACT

The paper describes a cascaded architecture of the AutoPass system for automated vehicle accounting at industrial enterprise checkpoints. The pipeline combines a YOLOv8 detector, ByteTrack tracker, EasyOCR module (CRNN + CTC), and an original SR preprocessing block (ESRGAN + adaptive filtering + Otsu binarization). Evaluation on 1,247 pass events showed SA improvement from 76.4% to 84.7% and CA from 90.6% to 94.8% with SR enabled; automatic decision rate reached 59.6%.

Ключевые слова: компьютерное зрение; YOLOv8; ByteTrack; EasyOCR; суперразрешение; ГРНЗ Республики Казахстан; контрольно-пропускной пункт.

Keywords: computer vision; YOLOv8; ByteTrack; EasyOCR; super-resolution; Kazakhstan LPN; checkpoint.

1. Введение

На большинстве промышленных, агропромышленных и логистических объектов Республики Казахстан контроль въезда транспортных средств по-прежнему ведётся вручную либо через RFID-метки. Ручной учёт занимает от 1,5 до 3 минут на один автомобиль, а вероятность ошибки при переносе номера в журнал составляет 3–8% [1]. В часы пик задержки на КПП достигают 10–15 минут, что создаёт прямые логистические потери. Автопарк страны за 2019–2024 годы вырос с 3,9 до 5,58 млн единиц (+43%), при этом более 70% автомобилей эксплуатируется свыше 10 лет — с механически повреждёнными и загрязнёнными номерными знаками [2].

Коммерческие ALPR-системы (PlateRecognizer, OpenALPR, Sighthound) показывают в лабораторных условиях точность 95–98%, однако в реальной эксплуатации она падает до 67–86% [3]. Облачная зависимость, высокая стоимость лицензий и отсутствие поддержки форматов ГРНЗ РК делают эти продукты труднодоступными для объектов среднего масштаба. Цель настоящей работы — описание разработанной системы «AutoPass» и экспериментальная оценка влияния SR-предобработки на итоговую точность распознавания.

2. Архитектура системы

Пайплайн включает пять последовательных модулей. Модуль захвата и SR-предобработки принимает видеопоток (RTSP/HTTP) и оценивает качество каждого вырезанного фрагмента номерного знака по дисперсии оператора Лапласа. При значении ниже порога активируется ESRGAN-апскейлинг (×2 или ×4); иначе — только фильтрация Гаусса. Оба маршрута завершаются бинаризацией Оцу или адаптивным локальным порогированием (выбор по коэффициенту вариации яркости). SR применяется только при площади фрагмента ≤ 3 600 пикс., что сдерживает вычислительные затраты (45–80 мс на вызов ESRGAN).

Детекция объектов реализована на YOLOv8n, дообученном на кастомном датасете казахстанских ГРНЗ. По итогам 50 эпох: Precision 81%, Recall 92%, mAP@0,5 = 0,915. Трекер ByteTrack обеспечивает двухэтапную ассоциацию детекций с активными треками через фильтр Калмана (θhigh = 0,6; θlow = 0,1; Tlost = 30 кадров), что устраняет разрывы треков при кратковременном перекрытии транспортного средства.

Распознавание символов выполняет EasyOCR (CRNN + CTC, порог θocr = 0,4). Постобработка: проверка маски KZ\d{3}[A-Z]{2,3}\d{2} и коррекция типовых замен (0↔O, 1↔I, 5↔S). Итоговый номерной знак трека определяется взвешенным голосованием по всем кадрам; при отсутствии точного совпадения выполняется нечёткий поиск по расстоянию Левенштейна (d ≤ 1). Система формирует одно из четырёх решений: AUTO_ALLOWED, AUTO_DENIED, MANUAL_REVIEW_LOW_CONF, MANUAL_REVIEW_UNK_PLATE. Стек: Python 3.11, FastAPI 0.110.23, PostgreSQL 16, React 18, Docker. Тестовый стенд: Intel Core i7-12700, 32 ГБ RAM, NVIDIA RTX 3060 12 ГБ.

3. Набор данных

Публичные датасеты ALPR не содержат казахстанских номерных знаков в значимом объёме, что исключает их прямое использование. ГРНЗ РК регламентируются стандартом СТ РК 1282-2004: основные типы (Тип 1 — юридические лица, Тип 1А — физические) имеют специфическую маску символов и ламинирующее покрытие, создающее локальные блики при ИК-подсветке. Для дообучения YOLOv8n сформирован кастомный датасет: Roboflow (4 058 обучающих + 458 тестовых изображений) и Kaggle (864 изображения с XML-аннотациями), дополненные вручную размеченными снимками казахстанских номеров в ночных условиях, при загрязнении и под острым углом. Разметка — LabelImg, формат YOLO. После аугментации (отражение, яркость ±30%, гауссов шум, случайный кроп) — более 5 000 изображений, деление 80/10/10.

Тестовая выборка для финальной оценки сформирована из 14 часов видеозаписей реального КПП. Вручную размечены 1 247 событий проезда с верифицированным эталонным номером — пять условий съёмки: дневная норма, дневное загрязнение, ночное освещение, дождь с бликами, засветка низким солнцем.

4. Результаты

Оценка проводилась по трём метрикам: SA (Sequence Accuracy) — доля событий с полным совпадением строки; CA (Character Accuracy) — точность с учётом частичных совпадений; AR (Automation Rate) — доля событий без участия оператора. Сравнение с коммерческими системами приведено в таблице 1.

Таблица 1.

Сравнение с коммерческими ALPR-решениями

Разработанная система незначительно уступает коммерческим по SA в нормальных условиях, но обеспечивает полное локальное развёртывание и гибкую настройку порогов. Детальные результаты по условиям съёмки представлены в таблице 2.

Таблица 2.

Точность распознавания в различных условиях съёмки

Прирост от SR-предобработки минимален в нормальных условиях (+0,9 п.п. SA), однако при засветке составляет 12,8 п.п., при загрязнении — 12,1 п.п. Это обосновывает адаптивное, а не постоянное применение SR. Доля автоматически обработанных событий выросла с 50,6% (без SR) до 59,6% (со SR), доля ручной верификации снизилась с 39,1% до 30,9%. Среднее время цикла обработки — 847 мс (σ = 124 мс); бутылочное горлышко — EasyOCR (22,1% времени), а не YOLOv8 (4,0%).

5. Заключение

Система «AutoPass» реализует каскадный пайплайн для автоматической идентификации транспортных средств на КПП промышленного предприятия. Включение SR-предобработки повысило SA с 76,4% до 84,7%, CA — с 90,6% до 94,8%, AR — с 50,6% до 59,6% при среднем времени обработки события 1,2 с. Система работает полностью локально на оборудовании среднего класса и поддерживает все действующие форматы ГРНЗ РК. Перспективы развития: замена EasyOCR специализированной лёгкой CRNN-моделью для сокращения задержки; расширение обучающей выборки с целью снижения доли ручной верификации ниже 20%.

Список литературы:

1. Бюро национальной статистики РК. Официальная статистика транспорта. — Астана, 2024. — URL: https://stat.gov.kz (дата обращения: 10.03.2025).
2. Министерство внутренних дел Республики Казахстан. Сведения о зарегистрированных транспортных средствах. — Астана, 2024.
3. Tourani A., Soroori S., Hussain A. et al. A comprehensive evaluation of modern commercial license plate recognition systems // IET Intelligent Transport Systems. — 2023. — Vol. 17, № 3. — P. 415–429.
4. Jocher G. et al. Ultralytics YOLOv8 [Электронный ресурс]. — 2023. — URL: https://github.com/ultralytics/ultralytics (дата обращения: 15.01.2025).
5. Zhang Y., Sun P., Jiang Y. et al. ByteTrack: Multi-Object Tracking by Associating Every Detection Box // Lecture Notes in Computer Science. — 2022. — Vol. 13682. — P. 1–21.
6. Wang X., He X., Luo G. et al. Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data // Proceedings ICCVW. — 2021. — P. 1905–1914.
7. Государственный стандарт СТ РК 1282-2004. Государственные регистрационные номерные знаки транспортных средств. — Астана : КазИнСт, 2004. — 28 с.