ОПТИМИЗАЦИЯ ПРОИЗВОДСТВА С ПОМОЩЬЮ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Люди часто думают, что алгоритмы, используемые для машинного обучения (МО), являются наиболее важными факторами для разработки успешной системы МО. Однако проницательные системы искусственного интеллекта (ИИ) и машинного обучения в производстве (управление данными на всех этапах с использованием нескольких моделей) оказывают гораздо большее влияние на успех модели, чем конкретный алгоритм обучения. В своей книге «ИИ и аналитика в производстве», Тед Даннинг и Эллен Фридман описывают, как организации могут получить свои системы искусственного интеллекта в производстве и поставке значения [1].

Они написали:

«В дополнение к технологиям платформы и управления приложениями вам потребуется архитектурный проект, который упрощает логистику, легко поддерживает несколько моделей и несколько групп и дает вам возможность оперативно реагировать на изменения мира (и данных), как, впрочем, и будет». «Цитата» [1, с. 4].

Хранение базы данных определялось конкретными процессами, которые обеспечивали доступность, безопасность и точность, однако увеличение объемов неструктурированных данных и более широкое использование озер данных вызвало значительные проблемы в управлении данными. Создание крупномасштабной системы данных, которая работает, и заставить эту систему работать во время производства, это очень разные вещи. Ценность больших данных становится ощутимой после запуска приложений, интенсивно работающих с данными.

Новый термин Data Fabric в настоящее время довольно слабо определен и отражает скорее необходимость, чем конкретную концепцию. Big Data Fabric описывает систему, обеспечивающую плавную интеграцию данных в реальном времени, поступающих из разных хранилищ данных и различных источников данных [2]. Многие системы, обозначенные как Big Data Fabrics, ориентированы на Hadoop, хотя интеграция данных с системой хранения не-Hadoop также возможна.

В последние годы организации боролись за интеграцию всех своих данных в единую масштабируемую платформу, обычно для целей исследования больших данных. Данные могут легко отправляться и изолироваться в бункерах, становясь застойными и недоступными. А унаследованные системы затрудняют доступ к данным. Эти проблемы обычно приводят к снижению производительности и эффективности. Кроме того, бункеры не единственные вещи, разделяющие данные. Современные технологии, такие как облако и центры обработки данных, могут непреднамеренно разделить данные на отдельные кластеры.

Проблемы, влияющие на Data Fabric, стали более сложными по мере открытия и диверсификации новых источников данных. Интеграция данных является проблемой, потому что данные, поступающие от различных операций, часто хранятся в отдельных хранилищах. Организациям может потребоваться объединить данные из хранилищ данных, хранилищ данных, облачного хранилища, транзакционных хранилищ, журналов машин, хранилища приложений, неструктурированных источников данных и хранилищ социальных сетей.

В интервью Тед Даннинг, главный разработчик приложений в MapR, сказал:

«Мы увидим, что все больше предприятий рассматривают вычисления с точки зрения потоков данных, а не данных, которые просто обрабатываются и помещаются в базу данных. Эти потоки данных фиксируют ключевые бизнес-события и отражают бизнес-структуру. Унифицированная структура данных станет основой для создания этих крупномасштабных систем на основе потоков». «Цитата» [3, с. 5].

Вообще говоря, программное обеспечение «готово к производству» после тщательного тестирования и проверки того, что оно соответствует потребностям клиента. Код проходит тестирование производительности и нагрузки, чтобы убедиться, что он может обрабатывать большое количество пользователей.

Хорошая бизнес-аналитика и способность быстро принимать решения требуют как можно более быстрого доступа к высококачественным данным. Задача развития искусственного интеллекта требует значительного тестирования и обучения. Можно обрабатывать миллионы транзакций в режиме реального времени, одновременно показывая предложения и рекламные объявления соответствующим клиентам. Правильно обученный ИИ может инициировать оповещения о ремонте в режиме реального времени, предупреждая техников до того, как машина выйдет из строя.

MapR Data Platform обеспечивает отличную производительность доступа к данным, используя открытый подход, поддерживающий рабочие нагрузки AI и Deep Learning [4]. NVIDIA DGX — это суперкомпьютер искусственного интеллекта, разработанный для новых требований Deep Learning. Сильные стороны их платформы включают в себя:

• Скорость: Платформа может считывать со скоростью 18 ГБ / с и записывать со скоростью 16 ГБ / с. Эта платформа предлагает скорости в 10 раз быстрее, чем традиционные системы DL на базе графических процессоров.
• Будущая архитектура доказательства: клиенты могут использовать эту платформу для дополнительных рабочих нагрузок DL по мере развития технологий графического процессора.
• Гибкость: клиенты могут выбирать из нескольких мультитенантных комбинаций доступа к данным.

Признание важности продвижения инновационного поведения, использования правильных инструментов машинного обучения и максимизации распространения даст любой организации повышение эффективности. Содействие развитию производственного поведения поможет командам искусственного интеллекта стать более успешными и начать производство в крупных системах. Хотя алгоритмы важны, оптимизированные и эффективные системы искусственного интеллекта и машинного обучения производства имеют гораздо большее влияние.

Есть вероятность, что через год мы будем использовать некоторые инструменты машинного обучения намного больше, чем сейчас. Организации, не продвигающие более одного вида машинного обучения в производстве, должны рассматривать четыре или пять видов, чтобы убедиться, что они не намного лучше справляются с проблемами, которые довольно четко определены, например, машинный перевод".

Список литературы:

1. AI and Analytics in Production [Электронный ресурс] – Режим доступа. –  URL: https://mapr.com/ebook/ai-and-analytics-in-production/ (дата обращения: 08.02.2019)
2. Big Data Fabrics Emerge to Ease Hadoop Pain [Электронный ресурс] – Режим доступа. – URL: https://www.datanami.com/2017/01/18/big-data-fabrics-ease-hadoop-pain/ (дата обращения: 09.02.2019)
3. Big Data Trends in 2019 [Электронный ресурс] – Режим доступа. – URL: https://www.dataversity.net/big-data-trends-2019/ (дата обращения: 09.02.2019)
4. THE MAPR DATA PLATFORM [Электронный ресурс] – Режим доступа. – URL: https://mapr.com/products/ (дата обращения: 08.02.2019)