СПЕКТРАЛЬНАЯ НОРМА ВЕСОВ НЕЙРОСЕТИ И РАЗРЫВ ОБОБЩЕНИЯ

SPECTRAL NORMS OF NEURAL NETWORK WEIGHTS AND THE GENERALIZATION GAP

Utushkin Evgenii Aleksandrovich

Student, Institute of Artificial Intelligence, MIREA — Russian Technological University,

Russia, Moscow

Yatsun Igor Nikolaevich

Student, Faculty of Physics, Lomonosov Moscow State University,

Russia, Moscow

АННОТАЦИЯ

В 62 запусках CNN спектральные маржинальные меры оказались чувствительны к инициализации. Регуляризация уменьшала оценки без сопоставимого изменения разрыва обобщения.

ABSTRACT

Across 62 CNN runs, spectral margin-based measures were sensitive to initialization. Regularization reduced the estimates without a comparable change in the generalization gap.

Ключевые слова: спектральная норма; обобщение; CNN.

Keywords: spectral norm; generalization; CNN.

Спектральные границы связывают обобщение с нормами весов и маржой [1, 2]. Цель работы — проверить, предсказывают ли основанные на них меры разрыв между обучающей и тестовой точностью при независимом изменении шумности меток и силы регуляризации.

Исследованы 62 запуска четырёхслойной PlainCNN с ReLU без BatchNorm, dropout и смещений на CIFAR-10 и FashionMNIST. Использованы 12 500 обучающих и 10 000 тестовых изображений каждого датасета, SGD с моментом 0,9, шагом 0,02 и батчем 500 без аугментаций. Долю ошибочных обучающих меток ε меняли от 0 до 0,8; спектральный штраф λ — от 10⁻⁴ до 3·10⁻³ при ε = 0. Основной бюджет составлял 50 и 30 эпох соответственно; дополнительная серия FashionMNIST обучалась 80 эпох.

Разрыв g вычисляли как точность на использованных при обучении метках минус точность на истинных тестовых метках. Маржа γ — медиана разности логита обучающего класса и максимального другого логита. Сравнивали главные члены границ Бартлетта и Нейшабура [1, 2], опуская часть констант и логарифмических множителей. Нормы свёрток оценивали степенной итерацией для фактического оператора; связь с g — коэффициентом Кендалла τ.

На оси шума CIFAR-10 объединённая связь двух мер с g была слабой: τ = 0,16 и 0,17. Высокие корреляции первых двух инициализаций не воспроизвелись устойчиво на следующих трёх. При усилении регуляризации от λ = 0 до 3·10⁻³ произведение норм уменьшалось с 1,8·10⁴ до 3,5·10³, а мера Бартлетта — с 4,2·10⁵ до 1,4·10⁵. При этом средний g оставался в диапазоне 0,398–0,403. На FashionMNIST мера снижалась примерно в шесть раз при g = 0,091–0,095.

В ходе обучения рост маржи мог уменьшать оценку при растущем разрыве: на CIFAR-10 поэпоховой τ был отрицателен во всех 33 запусках. Следовательно, снижение спектральной меры само по себе не гарантирует улучшения обобщения. Это не опровергает теоретические границы: исследованы их неполные эмпирические аналоги с медианной маржой. Вывод ограничен малыми CNN, двумя датасетами и небольшим числом инициализаций; многие корреляции статистически незначимы. Нестабильный запуск FashionMNIST-80 исключён из маржинального анализа. Для выбора модели необходима независимая проверка тестового качества.

Список литературы:

1. Bartlett P. L., Foster D. J., Telgarsky M. Spectrally-Normalized Margin Bounds for Neural Networks // Advances in Neural Information Processing Systems. — 2017. — Vol. 30. — arXiv:1706.08498.
2. Neyshabur B., Bhojanapalli S., Srebro N. A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks // International Conference on Learning Representations. — 2018. — arXiv:1707.09564.