АНАЛИЗ ПРОИЗВОДИТЕЛЬНОСТИ СОВРЕМЕННЫХ ПЕРСОНАЛЬНЫХ КОМПЬЮТЕРОВ ДЛЯ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ

PERFORMANCE ANALYSIS OF MODERN PERSONAL COMPUTERS FOR TRAINING NEURAL NETWORKS

Milkevich Alexey Alexandrovich

Student, Faculty of Information Technology and Control, St. Petersburg State Technological Institute,

Russia, St. Petersburg

Igor Ananchenko

Scientific Supervisor, Candidate of Technical Sciences, Assoc., St. Petersburg State Technological Institute,

Russia, St. Petersburg

АННОТАЦИЯ

Нейронные сети – огромный шаг в развитии современных технологий, но процесс их обучения – главная проблема их повсеместного использования. В статье рассматривается возможность и перспективность обучения модели нейросетей на персональных компьютерах, что позволит ускорить интеграцию нейросетей в повседневную жизнь человека.

ABSTRACT

 Neural networks are a huge step in the development of modern technologies, but the process of their training is the main problem of their widespread use. Article discusses the possibility and prospects of training neural networks on personal computers, which will speed up the integration of neural networks into everyday human life.

Ключевые слова: нейронные сети; персональный компьютер; обучение.

Keywords: neural networks; personal computer; training.

Нейронные сети в сфере информационных технологий – это программная реализация математической модели, подражающей биологической структуре нервных клеток живого организма. Основой нейросети является нейрон – структура способная принимать и выдавать сигнал, а также синапсы – связи, построенные между нейронами. Регулируя поведение нейронов, а также прочность связи между ними, возможно «обучить» нейросеть выполнять некоторую задачу [3].

Рисунок 1. Схема простой нейросети. Кругами обозначены нейроны, а линиями – связи между ними

Основной проблемой данной технологии является большое количество параметров, подвергаемых регулированию. К примеру, языковая модель «ChatGPT-3» обладает 175 миллиардами параметров, что вынудило разработчиков использовать для её обучения суперкомпьютер Azure AI от компании Microsoft [2].

Но для большинства повседневных задач не требуется настолько сложные и объемные нейросети, так что с их дальнейшим развитием в нашу жизнь будут приходить всё больше простых моделей, функционал которых будет существенно ограничен, в угоду упрощения реализации и большей доступности для людей.

Основной задачей статьи является исследование производительности персональных компьютеров для определения возможности обучения простых моделей нейросетей ими, а также выявление зависимости влияния отдельных компонентов на общую производительность системы.

Методом исследования выбрано моделирование вычислительной нагрузки, имитирующей процесс обучения нейросети и замер времени необходимого на выполнение одной итерации обучения.

Была разработана программа на языке C++, осуществляющая нагрузку центрального процессора (далее ЦП) или графического процессора (далее ГП), а также замеряющая время своего выполнения. В качестве нагрузки было выбрано вычисление нескольких десятков тригонометрических функций, что служит грубой аналогией для реального процесса обучения, так как он сводится к вычислению некоторых коэффициентов, что для нашей задачи является простым набором арифметических действий.

Такой функционал программы обусловлен тем, что основой вычислительной мощности компьютера составляет ЦП и ГП, а все остальные компоненты обеспечивают их работу. Главным различием между ними является их структура и предназначение. ЦП построен для эффективного решения последовательных задач, для этого у него есть несколько мощных и гибких арифметическо-логических устройств (далее АЛУ), тогда же как ГП оптимизирован для параллельного вычисления множества однотипных задач, так что количество простых АЛУ расположенных внутри может достигать нескольких тысяч [1].

Рисунок 2. Схематичное изображение компонентов ЦП и ГП (зеленым обозначены АЛУ)

Процесс тестирования был построен таким образом, чтобы снизить влияние случайных факторов в ходе выполнения, для этого было выбрано выполнение циклов нагрузки 1000 раз. Всего было проведено 10 тестов для ГП и 5 тестов для ЦП. С каждой итерацией тестирования увеличивали количество тригонометрических функций, которые следовало вычислить программе, это сделано для анализа реакции системы на повышение нагрузки. По результатам тестирования были получены следующие графики, показывающие зависимость времени выполнения программы от вычислительной нагрузки.

Рисунок 3. График зависимости времени выполнения программы от количества тригонометрических функций (ГП)

Рисунок 4. График зависимости времени выполнения программы от количества тригонометрических функций (ЦП)

Исходя из полученных данных можно сделать следующие выводы – процесс обучения нейросети хорошо подвергается распараллеливанию, что способствует значительному ускорению вычислений. Анализируя результаты тестирования, можно заметить, что центральный процессор значительно проигрывает по времени исполнения программы именно по той причине, что его малое количество АЛУ не позволяет эффективно решать поставленную задачу, в свою очередь графический процессор за счет оптимизации под решение множества несложных задач и большого количества АЛУ в большей степени подходит для использования в сфере нейросетей.

По итогам – процесс обучения нейросетей возможно осуществлять на пользовательских компьютерах, но при этом способность эффективно решать поставленную задачу полностью зависит от мощности установленной в компьютер видеокарты. Учитывая перспективность технологии нейросетей, можно смело утверждать, что в дальнейшем ожидается бурное развитие данной отрасли, что ускорит интеграцию моделей искусственного интеллекта в повседневную жизнь человека.

Список литературы:

1. В чем разница между CPU и GPU? [Электронный ресурс] // Интернет-издание Tpoger. – Режим доступа: https://tproger.ru/articles/cpu-and-gpu (дата обращения: 11.07.23)
2. Как использовать ChatGPT [Электронный ресурс] // Интернет-издание vc.ru. – Режим доступа: https://vc.ru/u/1692689-neyrochat/656219-kak-ispolzovat-chatgpt (дата обращения: 11.07.23)
3. Нейронная сеть [Электронный ресурс] // Материал из Википедии — свободной энциклопедии — Режим доступа: https://ru.wikipedia.org/?curid=22549&oldid=130699991