ЧАСТОТНОЕ СМЕЩЕНИЕ СВЁРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ И ДИНАМИКА ОБУЧЕНИЯ

АННОТАЦИЯ

Исследована частотная динамика обучения CNN на уровне весов, карт признаков и качества классификации. В 18 запусках SimpleCNN на MNIST, FashionMNIST и CIFAR-10 накопленные изменения ядер смещались от низких частот к высоким, а низкочастотные тестовые данные осваивались раньше высокочастотных. Основные эффекты воспроизведены на ResNet-14. Сравнение ReLU и Tanh показало, что сходные спектры изменений весов могут сопровождаться различным частотным поведением модели.

Ключевые слова: CNN, спектральное смещение, преобразование Фурье, вейвлет-анализ, динамика обучения.

1 Введение

Частотный принцип описывает преимущественно раннее освоение нейронной сетью низкочастотных составляющих целевой зависимости [1, 2]. Однако спектр функции сети и спектр её параметров характеризуют разные объекты. Цель работы — проверить, проявляется ли этот порядок в изменениях свёрточных ядер и согласуется ли он с динамикой признаков и точности. Такое сопоставление позволяет оценить возможности спектральной диагностики обучения и границы её интерпретации.

2 Методика исследования

SimpleCNN включает четыре свёрточных слоя с ядрами 3 × 3 и 32, 32, 64, 64 каналами, BatchNorm, два этапа max-pooling и полносвязные слои на 128 и 10 нейронов. Сравниваются ReLU и Tanh. На каждом из трёх датасетов выполнено по три инициализации для каждой активации: всего 18 запусков. Использованы SGD, момент 0,9, шаг 0,02 и батч 256 без аугментаций; обучение длилось 15, 20 и 30 эпох соответственно для MNIST, FashionMNIST и CIFAR-10.

Основной объект анализа — накопленное изменение весов ΔWₜ = Wₜ − W₀. Для каждого слоя вычисляются усреднённый нормированный спектр мощности, его радиальный центроид и доля энергии выше нормированной частоты 0,5. Анализ ΔW отделяет изменения при обучении от случайного спектра инициализации. Нулевое дополнение ядер до 64 × 64 делает частотную сетку плотнее, но не добавляет независимой информации.

Функциональная проверка использует 2500 фиксированных тестовых изображений с круговыми низкочастотными LP и высокочастотными HP масками радиусов 4 и 8. Показатель t₉₅ — первая эпоха достижения 95 % финальной точности соответствующего варианта. На картах признаков для 256 изображений измеряется доля энергии детальных коэффициентов двухуровневого разложения Хаара. Дополнительно выполнены регрессия синтетического изображения в постановке deep image prior [3] и три запуска ResNet-14 на CIFAR-10.

3 Результаты экспериментов

Таблица 1.

Финальная тестовая точность SimpleCNN, среднее по трём инициализациям.

На MNIST и FashionMNIST итоговое качество двух активаций близко; на CIFAR-10 Tanh уступает ReLU на 5,5 процентного пункта. Поэтому различия частотной динамики следует рассматривать вместе с качеством модели и характеристиками данных.

Низкочастотные варианты LP(8) достигают 95 % финальной точности уже к первой эпохе во всех шести сочетаниях датасета и активации. В восьми из десяти информативных HP-вариантов этот порог достигается на 3–10-й эпохах. На CIFAR-10 позднее улучшение качества на исходных изображениях происходит при насыщенных LP-кривых и сопровождается ростом точности на HP-данных. На FashionMNIST точность ReLU на LP(4) уменьшается примерно с 0,69 до 0,49: ранняя опора на грубую форму может ослабевать по мере обучения.

Центроид спектра ΔW растёт по общему тренду во всех 24 сочетаниях датасета, активации и слоя; прирост между первой и последней эпохами составляет 0,03–0,19. На CIFAR-10 ранние слои начинают с центроидов 0,60–0,63 и насыщаются примерно к пятой эпохе. Глубокие слои стартуют с 0,47–0,48 и продолжают рост до 0,57–0,59 к 30-й эпохе. В четвёртом слое ReLU доля высокочастотной энергии увеличивается с 0,40 до 0,59.

Вейвлет-анализ выявляет согласованное усложнение карт признаков. На CIFAR-10 с ReLU доля энергии детальных коэффициентов растёт с 0,16–0,18 до 0,43–0,57. После резкого изменения в первую эпоху наблюдается постепенное насыщение; первый слой достигает плато раньше четвёртого. При этом согласованность фаз не устанавливает причинную связь между спектром весов и признаками.

Смена активации обнаруживает расхождение уровней анализа. На MNIST точность Tanh на HP(4) и HP(8) составляет 0,06 и 0,16, тогда как у ReLU — 0,64 и 0,50. При этом спектральный дрейф ΔW у Tanh не слабее. На FashionMNIST Tanh, напротив, превосходит ReLU на HP(4), а на CIFAR-10 обе активации дают около 0,46. Универсальное подавление высоких частот функцией Tanh по этим данным не подтверждается.

Проверка на ResNet-14 воспроизводит основные эффекты: центроид ΔW увеличивается во всех 39 сочетаниях 13 слоёв и трёх инициализаций, минимум прироста равен 0,05. Для LP-вариантов t₉₅ составляет 1–2 эпохи, для HP — 7–15. В регрессии изображения частотные полосы 2, 8, 20 и 45 циклов достигают относительной ошибки 0,01 за 24, 26, 34 и 48 итераций соответственно, воспроизводя порядок освоения частот.

4 Обсуждение и ограничения

Результаты поддерживают частотный порядок обучения на трёх уровнях наблюдения. Сначала изменения весов сосредоточены в более низких частотах; затем спектр расширяется, карты признаков приобретают больше локальных деталей, а качество на высокочастотных данных продолжает расти. На CIFAR-10 глубокие слои проходят этот процесс дольше ранних, что согласуется с глубоким частотным принципом [4]. Воспроизведение на остаточной архитектуре показывает, что эффект не ограничивается выбранной четырёхслойной сетью.

Выбор ΔW принципиален для интерпретации. Абсолютные спектры W могут смещаться к низким частотам, поскольку обучение сглаживает случайные ядра инициализации. Одновременно спектр накопленных изменений расширяется в сторону высоких частот. Эти наблюдения совместимы: абсолютные веса и приобретённые изменения отражают разные стороны обучения.

Спектральный центроид может служить дополнительным индикатором стадии обучения слоя: его вычисление требует только контрольных точек весов. Более раннее насыщение начальных слоёв мотивирует проверку постепенной заморозки или разных темпов обучения. Однако такие стратегии в данной работе не испытывались, а спектр параметров сам по себе не определяет частотное поведение функции. Для диагностики его следует сопоставлять с качеством на фильтрованных данных.

Исследование ограничено небольшими моделями, изображениями низкого разрешения и тремя инициализациями на конфигурацию. Постоянный шаг, отсутствие аугментаций и наличие BatchNorm задают конкретный режим обучения. Жёсткие частотные маски могут вызывать эффект Гиббса; t₉₅ малоинформативен при убывании кривой или точности около случайного уровня. Радиальное усреднение теряет ориентацию фильтров, а частоты разных слоёв относятся к сеткам разного разрешения. Наблюдаемые связи между уровнями корреляционные: интервенции в частотный состав градиентов не проводились.

5 Заключение

В исследованных CNN частотное смещение проявляется в динамике накопленных изменений ядер и согласуется с усложнением карт признаков и более поздним освоением высокочастотных данных. Основные закономерности сохраняются на ResNet-14. Вместе с тем влияние активации зависит от датасета, поэтому характеристики весов нельзя напрямую отождествлять со свойствами функции сети. Следующий шаг — проверить спектральные интервенции, более крупные архитектуры и устойчивость результатов при других режимах обучения.

Список литературы:

1. Rahaman N. et al. On the Spectral Bias of Neural Networks. ICML, PMLR 97, 2019. P. 5301–5310.
2. Xu Z.-Q. J. et al. Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks. Communications in Computational Physics, 2020. DOI: 10.4208/cicp.OA-2020-0085.
3. Ulyanov D., Vedaldi A., Lempitsky V. Deep Image Prior. CVPR, 2018.
4. Xu Z.-Q. J., Zhou H. Deep Frequency Principle Towards Understanding Why Deeper Learning Is Faster. AAAI, 2021.