МЕТОДИКА ОБНАРУЖЕНИЯ ВКЛЮЧЕНИЙ ПРИ МИКРОСКОПИИ В МЕТАЛЛОГРАФИИ

METHOD OF DETECTED INCLUSIONS AT MICROSCOPY IN METALLOGRAPHY

Maria Nazarenko

student of informatics and calculation techniques department, Reshetnev Siberian State University of Science and Technology,

Russia, Krasnoyarsk​

АННОТАЦИЯ

Предложено описание методики, которая позволит обнаружить включений на снимках, полученных с микроскопов в области металлографии. Методика основывается на алгоритмах обработки изображений и сверочных нейронных сетях.

ABSTRACT

The technique to detected inclusions in micrograph in metallography is suggested . The technique is based on image processing algorithms and convolution neural networks.

Ключевые слова: сверточные нейронные сети, семантическая сегментация, микроскопия, металография.

Keywords: convolutional neural networks, semantic segmentation, microscopy, metallography.

При производстве любого металла важным показателем является его качество. Контроль качества металла производится в лабораториях металлографии с помощью анализов образцов различными методами. Одним из таких методов является микроскопия – изучение металла на микроскопе, она позволяет выявить включения различного типа. Тип включения несет в себе информацию о природе его возникновения, что позволяет в дальнейшем добиться большей чистоты металла, следовательно, повысить качество продукции [1, c.50]. Однако анализ образцов на микроскопе представляет собой трудоемкий процесс, который очень часто производится лаборантами и требует от них высокого уровня знаний в области металлографии.

Применение современных технологий может значительно упростить процесс обнаружения включений. Для обнаружения выключений можно воспользоваться методом семантической сегментации Семантическая сегментация изображения означает присвоение каждому пикселю определенной метки. В этом заключается главное отличие от классификации, где всему изображению ставится в соответствие только одна метка. Сегментация работает с множеством объектов одного класса как с единым целым. Данный вид сегментации широко применяется для обнаружения дорожных разметок, других транспортных средств, людей, а также любых представляющих интерес объектов [2, 3].

Реализовать семантическую сегментацию можно с помощью сверточных нейронных сетей, которые в последнее время получили широкое распространения, за счет своей эффективности и быстродействия [2].  Сверточные нейронные сети имеют различные вариации архитектуры и основываются на трех видах слоев:

• сверточный слой;
• субдискретизирующий  слой;
• полносвязный слой.

Для семантической сегментации широко используется нейронная сеть с архитектурой U-Net. U-Net – это сверточная нейронная сеть, которая была создана в 2015 году для сегментации биомедицинских изображений в отделении Computer Science Фрайбургского университета. Архитектура сети представляет собой полносвязную сверточную сеть, модифицированную так, чтобы она могла работать с меньшим количеством примеров (обучающих образов) и делала более точную сегментацию [2].

Сеть содержит сжимающий путь (слева) и расширяющий путь (справа), поэтому архитектура похожа на букву U, что и отражено в названии. Сжимающий путь похож на типичную сверточную сеть, он содержит два подряд сверточных слоя 3×3, после которых идет слой ReLU и пулинг с функцией максимума 2×2 с шагом 2. Каждый шаг расширяющего пути содержит слой обратнго пулинга, который расширяет карту признаков, после которого следует свертка 2×2, которая уменьшает количество каналов признаков. После идет конкатенация с соответствующим образом обрезанной картой признаков из сжимающего пути и две свертки 3×3, после каждой из которой идет ReLU. Обрезка нужна из-за того, что мы теряем пограничные пиксели в каждой свёртке. На последнем слое свертка 1×1 используется для приведения каждого 64-компонентного вектора признаков до требуемого количества классов. Архитектура сети представлена на рисунке 1.

Рисунок 1. Архитектура сверточной сети U-Netи

Снимки, полученные с микроскопа, могут представлять собой цветное изображение, однако при обработке компьютером целесообразно переводить изображение в градации серого, так как для обнаружения включений является достаточным опираться только на структуру включений. Для перевода изображения в градации серого необходимо выполнить перевод по формуле 1 [9].

где R – значение красного канала пиксела;

G – значение зеленого канала пиксела;

B – значение голубого канала пиксела;

Снимки с микроскопов могут иметь следующие недостатки [1, с 50]:

• цифровой шум;
• затемнения некоторых областей фотографии;
• различные диапазоны между светлыми и темными пятнами на фотографии.

Для устранения перечисленных недостатков необходимо применить алгоритмы коррекции изображений и использовать наложение различных фильтров.

Устранить цифровой шум позволяют сглаживающие фильтры. Принцип сглаживания заключается в «размывании», т.е. в принятии пикселями промежуточных значений контрастности, используя информацию о соседних пикселях или об изображении в целом.

Существует множество алгоритмов сглаживания, которые можно разделить на линейные и нелинейные. В линейных алгоритмах результат применения фильтра линейным образом зависит от обрабатываемого изображения. Значение нового пиксела вычисляется по формуле 2. Размеры рангов рассчитываются по формула 3 [4].

где: C_old – матрица значений пикселов изображения до обработки;

C_new – матрица значений пикселов изображения после обработки;

A – матрица коэффициентов;

rh, rw – размеры рангов скользящего окна;

x, y – координаты.

где: M, N – размеры скользящего окна по вертикали и горизонтали;

rh, rw – значение рангов по высоте и ширине.

Для решения задачи подавления шума можно использовать линейный среднеарифметический  фильтр или фильтр Гаусса. Среднеарифметический сглаживающий фильтр основывается на нахождении среднего арифметического значения всех элементов скользящего окна изображения, для обрабатываемого канала изображения [4].

В фильтре Гаусса элементы матрицы коэффициентов рассчитываются исходя из функции распределения. Функция распределения коэффициентов фильтра Гаусса в двумерном пространстве принимает вид, представленный ф формуле 4 [6].

где; G – матрица значений Гауссиана;

 – коэффициент размытия;

x, y – координаты.

К нелинейным методам относится медианная фильтрация. При медианной фильтрации в каждый пиксель выходного изображения записывается медиана скользящего окна на исходном изображении. Медианной является средний по порядку член ряда, получающийся при упорядочении исходных значений пикселей [5].

Каждый из описанных алгоритмов позволяет эффективно устранять цифровой шум, поэтому ключевым при выборе алгоритма является быстродействие, для увеличения скорости обработки рекомендуется использовать быструю реализацию выбранного фильтра [5, 6].

Решить проблемы освещенности изображений, позволяют алгоритмы: «Серый мир», «Идеальный отражатель»,  Retinex и др. Алгоритмы «Серый мир» и «Идеальный отражатель» не учитывают локальные окрестности пикселов, поэтому, в тех случаях, когда изображение содержит, сильно темные и сильно светлые локальные области, эти алгоритмы не могут обеспечить качественное восстановление изображения. В данных ситуациях целесообразно применять алгоритм Retinex и его модификации. Данный алгоритм выравнивает освещенность изображения, сохраняя локальный контраст в областях с плохой и яркой освещенностью. Существуют различные модификации алгоритма, такие как Single Scale Retinex и Multi-Scale Retinex [7].

В алгоритме Single Scale Retinex коррекция происходит по формуле 5 [7].

где: C_old – матрица значений пикселов изображения до обработки;

C_SSR – матрица значений пикселов после применения Single Scale Retinex;

G – гауссиан;

x, y – координаты;

 – коэффициент размытия;

"*" – оператор свертки.

Значение в алгоритме Multi-Scale Retinex вычисляются по формуле 6 [7].

где: C_MSR – матрица значений пикселов после применения Multi-Scale Retinex; 

w_i – коэффициент размытия;

x, y – координаты;

C_SSRi – матрица, полученная в результате применение Single Scale Retinex.

Алгоритм Auto levels позволяет выравнивать контрастность изображения. Auto levels растягивает интенсивность по каждому из каналов на весь диапазон. Для реализации алгоритма необходимо найти минимальные и максимальные значения интенсивности по каждому из каналов цветовой модели. А затем преобразовать значения интенсивности каждого канала по формуле 7.

где: С_max – максимальное значение пиксела изображения;

С_min – минимальное значение пиксела изображения.

Методы коррекции контрастности изображения

Контрастность изображения можно растянуть или сжать с использованием алгоритма Balance Contrast Enhancement Technique (BCET). Контрастность изображения можно растянуть или сжать без изменения шаблона гистограммы входного изображения. Метод BCET базируется на изменении параболической функции, полученной из входного изображения. Вид параболический функции определяется по формуле 8. Коэффициенты рассчитываются по формулам 9, 10 и 11 [8].

где: a, b, c – кэффициенты;

y – выходное значение изображения;

x – входное значение изображения.

где: l – минимальное значение входного изображения;

h – максимальное значение входного изображения;

e – среднее значение входного изображения.

L – минимальное значение выходного изображения;

H – максимальное значение выходного изображения;

E – среднее значение выходного изображения.

Среднеквадратичная сумма изображения рассчитывается по формуле 12.

где: S – среднеквадратичная сумма входного изображения;

x – значение входного изображения;

N – количество пикселей изображения.

Алгоритм BCET позволяет изменять контрастность без изменения шаблона гистограммы входного изображения. Результат применения алгоритма зависит от заданных значений L, H и E.

Таким образом для устранения недостатков снимков с микроскопов, можно использовать следующие алгоритмы предварительной обработки:

• фильтр Гаусса для устранения шума;
• Multi-Scale Retinex для цветокоррекции;
• BCET для коррекции контраста;
• Gray Scale для перевода в градации серого.

Для обнаружения включений на образцах металла при микроскопии предлагается методика, включающая выполнение следующих шагов:

1.Подготовить тестовую и тренировочную выборку снимков с микроскопа.

2.Подготовить маски с выделенными включениями для тестовой и тренировочной выборки.

3.Выполнить проектирование и реализацию модели нейронной сети архитектуры -.

4.Выполнить реализацию алгоритмов предварительной обработки.

5.Провести обучение модели на тренировочной выборке.

6.Провести замер точности выделения включений по тестовой выборке.

7.Провести повторное обучение модели нейронной сети при необходимости.

На рисунке 2 (а) представлен пример снимка микроструктуры алюминия, полученный c микроскопа при исследовании методом PoDFA [10]. Рисунок 2 (б) демонстрирует результат применения методов предварительной обработки. На рисунке 2 (в) показана маска для обучения нейронной сети, которая включает 3 класса: черный – фильтр, светло-серый – алюминий, темно-серый – включения.

Рисунок 2. Микроструктура алюминия, полученная методом PoDFA

а) Исходный снимок б) Снимок после предварительной обработки в) Маска для обучения сети

Таким образом, в статье предложена методика для обнаружения включений на образцах металла с помощью сверточной нейронной сети архитектуры U-Net и алгоритмов обработки изображений.

Список литературы:

1. Шарыбин С.И., Клюев Столбов А.В., В.Ю.  Cравнение методов распознавания образов в задачах поиска характерных зерновых микроструктур на фотографиях шлифов металлов и сплавов // Известия Высших Учебных Заведений. Черная Металлургия, 55(9). – Москва, 2012. – С. 49–53.
2. Fischer Philipp, Brox Thomas U-Net: Convolutional Networks for Biomedical Image Segmentation // arXiv – 2015. – no. 1505.04597v1.
3. Paszke Adam, Chaurasia Abhishek, Kim Sangpil, Culurciello Eugenio. ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation // Under review as a conference paper at ICLR 2017. – Pp 1 – 10
4. Назаренко М.А, Колесников А.О. Сравнение производительности сглаживающих фильтров на языках C++ и C# [Текст]// Вестник современных иследований № 8-1 (23). – Омск, 2018. – С. 276–279.
5. Бардин Б.В. Быстрый алгоритм медианной фильтрации // Научное приобретение. – Санкт Петербург, 2011, том 21 №3. – С. 135 – 139.
6. Сергеев Н.С. Пространственная фильтрация изображений в системах технического зрения // Известия ТулГУ. Технические науки. 2018. №9. – С. 172 –175.
7. Зотин А.Г, Носов А.В., Бузаев Д.В. Сравнение алгоритмов выравнивания освещенности на изображении // Решетневские чтения. 2012. №16. – С. 623–624.
8. Balance Contrast Enhancement Technique (BCET) [Электронный ресурс] – URL: https://www.imageeprocessing.com/2017/11/balance-contrast-enhancement-technique.html (дата обращения 30.04.2018).
9. Grayscale [Электронный ресурс] – URL: https://en.wikipedia.org/wiki/Grayscale#Converting_color_to_grayscale (дата обращения 24.04.2020).
10. Manufacturing PoDFA [Электронный ресурс] – URL: https://www.struers.com/en/Manufacturing/podfa (дата обращения 24.05.2020).