Статья опубликована в рамках: LII Международной научно-практической конференции «Вопросы технических и физико-математических наук в свете современных исследований» (Россия, г. Новосибирск, 22 июня 2022 г.)
Наука: Информационные технологии
Секция: Автоматизация и управление технологическими процессами и производствами
Скачать книгу(-и): Сборник статей конференции
дипломов
ИСПОЛЬЗОВАНИЕ ЭФФЕКТИВНЫХ ИНСТРУМЕНТОВ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИХ СИСТЕМ ПРЕДПРИЯТИЯ В УСЛОВИЯХ ВЫНУЖДЕННОГО ИМПОРТОЗАМЕЩЕНИЯ
В условиях турбулентной внешней среды и ухудшением мировой экономической конъюнктуры, недобросовестной конкуренции со стороны западных стран, а также надвигающейся мировой рецессии – отечественному бизнесу требуется использовать доступные, но эффективные методы и модели экономического анализа, с помощью которых можно своевременно реагировать на возможности и возникающие трудности.
Развитие указанных методов и моделей обусловлено постоянным развитием современных подходов, управленческих концепций, а также технологий и аналитических информационных систем, которые решают появляющиеся задачи современной бизнес-аналитики.
Отечественная школа дает определение информационно-аналитической системе следующим образом: ИАС – это современный высокоэффективный инструмент поддержки принятия стратегических, тактических и оперативных управленческих решений на основе наглядного и оперативного предоставления всей необходимой совокупности данных пользователям, ответственным за анализ состояния дел и принятие управленческих решений.
Комплекс информационно-аналитических систем затрагивает всю управленческую вертикаль: корпоративную отчетность, финансово-экономическое и стратегическое планирование [1, с.175].
В настоящее время информационно-аналитические системы подразумевают несколько подходов, методов и моделей, нацеленных на повышение эффективности принятия управленческих решений, которые все больше и больше подкреплены, как огромной инфраструктурой больших данных, так и внушительной математической школой.
При рассмотрении ИАС в контексте информационной инфраструктуры предприятия значительную роль играет «аналитическая пирамида» Гартнера, которая спроектирована как несколько иерархических уровней агрегированной информации, имеющих собственную роль на разном уровне управлении предприятием. [2, c.120]
Программы сбора данных, локальная или облачная ИТ инфраструктура, транзакционные аппараты, витрины данных могут быть представлены как несколько иерархических уровней, каждый из которых можно охарактеризовать степенью агрегированности информации и своей ролью в процессе деятельности предприятия как было замечено выше.
Информационная инфраструктура предприятия может быть представлена как аналитическая пирамида (англ. analytical stack) [3, c.5]
Рисунок 1. Аналитическая пирамида
Аналитическая пирамида является комплексной иерархической структурой, включающую в себя разнообразные классы информационных систем, расположенных на разных уровнях.
● Нижний уровень − транзакционные системы, к которым относятся к системы, выполняющие обработку данных на уровне операций к транзацкицонным системама относятся:
- ERP–системы
- автоматизированные банковские системы (АБС)
- биллинговые системы
- учетные системы
Как правило указанные системы используют онлайн-обработку транзакций – OLTP (англ. Online Transaction Processing), транзакционная система – обработка транзакций в реальном времени. Способ организации базы данных, при котором система работает с небольшими по размерам транзакциями, но идущими большим потоком, при том, клиенту требуется от системы минимальное время отклика.[4, c.17]
Данные таких транзакционных систем как правило хорошо структурированы, имеют удобный формат выгрузки и доступа, что сильно упрощает работу аналитиков и инженеров с такими данными в целях их дальнейшего анализа.
● Предпоследний уровень пирамиды − хранилище данных (англ. Data Warehouse). Хранилище данных является сочетанием концепций и технологий, которые облегчают управление и поддержку данных, полученных из операционных и транзакционных приложений [5, c.18].
Управление хранилищем данных на предприятиях является технически сложной и затратной процедурой.
Помимо того фактора, что информация хранится на сложном и дорогом оборудовании также большую роль играет способ защиты такой информации.
Утечка данных клиентов в настоящее время является не редким событием. Таким образом в штате компании, в которой хранятся чувствительные данные в обязательном порядке должен присутствовать сотрудник, отвечающий за информационную безопасность.
С появлением эпохи искусственного интеллекта и машинного обучения традиционные хранилища уже не могут также эффективно обрабатывать большие объемы данных. [6, c.34]
Также становится невыгодно содержать собственные серверные комнаты для временных проектов, в которых необходимо использовать большие мощности на короткий отрезок времени, следовательно все более и более актуальным становится использование облачных хранилищ (англ. Cloud Warehouse).
Облачные хранилища являются незаменимыми для компаний, которые не имеют собственного офиса, где команда работает дистанционно, а также когда требуются качественные и безопасные вычислительные мощности на короткий промежуток времени для реализации конкретного проекта..
Облачные хранилища имеют следующие преимущества по сравнению с локальными хранилищами, а именно:
- гибкое управление стоимостью хранилища
- надежная система безопасности
- возможность увеличения или уменьшения размера хранилища
- виртуализация
Доступ к релевантной информации является на сегодняшний день главным конкурентным преимуществом компании.
Принятие решений, основанных на данных является единственным правильным подходом в рекордно конкурентной и сложной бизнес-среде.
В настоящее время самые успешные компании используют собственные и хорошо развитые хранилища с интегрированными между собой данными.
Хранилища данных, используемые как для управленческой отчетности, так и анализа данных, а также принятия правильных решений получают данные из нескольких источников:
- веб-сайт
- системы бронирования,
- система управления взаимоотношениями с клиентами (англ. CRM)
- мигрированные данные из OLTP систем
- прочие источники данных
В настоящее время компании-разработчики программного обеспечения постоянно совершенствуют алгоритмы обработки данных, а поставщики услуг по анализу данных используют передовые методы для предоставления более эффективных решений для бизнеса.
Результатом являются все более и более эффективные решения для современной бизнес-аналитики внутри современных и хорошо спроектированных хранилищ.
Компании, имеющие большие хранилища и работающие с большими данными, пытаются улучшить решения для хранения данных, чтобы они соответствовали новому набору требований в том числе через интегрирование в хранилище алгоритмов для усиление информационной безопасности.
Например, в ИТ-операциях все чаще встречаются атаки распределенного отказа в обслуживании (DDoS). Чтобы предотвратить такие атаки, необходимо иметь централизованную архитектуру ведения журналов для выявления подозрительных действий и выявления потенциальных угроз из тысяч записей.
Классические хранилища данных, а также их большинство являются реляционными, что значительно упрощает запросы данных через SQL запросы.
Современная структура хранилища данных может хранить данные в необработанном виде вместо ранее выбранной иерархической структуры. Это позволяет пользователям более эффективно получать доступ к данным.
Новые решения для хранения данных также минимизируют неэффективность, вызванную пробелами в коммуникации. Современные структуры могут интегрировать информацию из нескольких каналов и хранить ее на одной платформе, оптимизируя процесс коммуникации.
Самое значительное недавнее достижение, которое мы наблюдаем в структурах проектирования данных, заключается в том, что программное обеспечение для анализа данных стало чрезвычайно удобным для пользователя.
Следует отметить, что в связи с тем, что мировой информационный ландшафт значительно усложняется и совершенствуется, то и принятие решений осуществляется используя не только те данные, которые относятся к примеру к лидам, транзакциям или сумме продаж, но также более сложные и неструктурированные данные имеющие более сложную структур и не поддающиеся однозначному описанию, к примеру эмоциональная реакция: выражение лица, громкость голоса, переходы и поиск на сайте, движение глаз во время покупок и прочие метрики). Таким образом существует виды хранилищ построенные не по реляционному принципу: Nosql. Ввиду недостаточной популярности данного вида хранилища данный тип хранилищ не будет рассмотрен в данной работе.
● Центральным уровнем аналитической пирамиды являются витрины данных. Витрины данных. (англ. Data Mart) – подмножество (срез) хранилища данных, представляющее собой массив тематической, узконаправленной информации, ориентированной, на пользователей одной рабочей группы или целого департамента [7, c.8].
В целом витрины данных обычно организуются в виде структуры, ориентированных на конкретную предметную область, каждая витрина имеет данные для решения конкретной бизнес-задачи.
Организация витрины данных, называемая звездной схемой, очень проста: анализируемые данные или факты составляют центр звезды; вокруг центра другие данные описывают размеры, вдоль которых может быть выполнен анализ данных.
В архетипическом случае фактами являются продажи организации, а измерения позволяют анализировать побочный продукт, клиента, точку продажи или время продажи.
В простых хранилищах витрины данных могут извлекать свое содержимое непосредственно из операционных баз данных, а в сложных ситуациях архитектура хранилища данных может быть многоуровневой, а содержимое витрин данных может загружаться из промежуточных хранилищ, часто обозначаемых как «операционные хранилища данных».
Таблица 1.
Сравнительная таблица видов хранилищ данных
Хранилище данных |
Витрина данных |
Данные используются в основном для:
Данные поступают из: транзакционных систем
Хранение данных
|
Данные используются в основном для:
Данные поступают из:
|
Как видно из таблицы основными отличиями между витринами данных, и хранилищами данных является то, что они служат разным целям и потребностям.
Витрины данных являются чрезвычайно распространенным аналитическим инструментом в банковской сфере где требуется четко разграничивать использование имеющейся информации между департаментами и соблюдение конфиденциальности данных.
Данный аналитический инструмент используется для решения таких аналитических задач как проведение финансового мониторинга клиентов, автоматизированное обновление требований центрального банка, отражение данных об активах банка для принятия решений по инвестиционной деятельности.
● Второй уровень пирамиды − OLAP-системы, является классом программного обеспечения, которое обеспечивает поддержку принятия решений и создание отчетов на основе хранилища данных [8, c.23]. Базовой структурой OLAP является куб, состоящий из данных. Куб определяется количеством измерений данных, однако иногда куб OLAP может иметь менее трех измерений. Таким образом в зависимости от размерности данных, измерения кубов OLAP могут иметь любое количество уровней (иерархий).
Куб предназначен для агрегирования данных и последующего анализа рис 1.2.
Рисунок 2. Кубы OLAP
Рисунок отражает схему хранения и потока данных, которые решают многие аналитические задачи, к примеру аналитика ключевых показателей доходности, уровень продаж прогнозирование прибыли и т.д. такая система может функционировать автономно вне зависимости от информационной инфраструктуры компании, ее открытости, месторасположения или отрасли.
Проектирование OLAP кубов требует глубокого понимания используемых при проектировании технологий и типов данных, к примеру при использовании Apache Kylin требуется понимание принципов, как построения самих кубов, так и процесс запросов. В таких технологиях как Hadoop: Map Reduce, Hive, HBase, Spark, а также Kafka при неправильном проектировании главная цель, а именно получение релевантных и качественных данных может быть не достигнута.
Проектирование кубов OLAP является оправданным в случае многомерности СУБД, которая функционирует как многомерная модель данных, система которой позволяет анализировать множество разных параметров с разных сторон. OLAP кубы осуществляют функцию по обработке многомерных массивов данных где каждый элемент массива связан с другими элементами.
Таким образом выбор инструментов ИАС должен быть обоснован и хорошо продуман учитывая существующую технологическую инфраструктуру, ресурсы предприятия и прочие указанные выше факторы, влияющие на эффективность ИАС.
К примеру использование систем разных разработчиков передача данных которых между собой невозможна может свести процесс автоматизации к типичному ручному вводу данных в таблицы эксель.
Список литературы:
- Алексеева Т. В. Информационно-аналитические системы / Т. В. Алексеева, М. Г. Лужецкий, Е. В. Курганова. М. : Московская финансово-промышленная академия, 2015. 175 с.
- Асратян Р. Э. Распределенные аналитические системы на основе средств информационного взаимодействия в гетерогенной глобально сетевой среде / Р. Э. Асратян, В. Н. Лебедев. М. : ЛЕНАНД, 2010. 120 с. ISBN 978-5-9710-0366-3.
- Исаев Д.В. Аналитические информационные системы. – М.: Издательство ГУ-ВШЭ, 2008.
- Anja Bog. Benchmarking transaction and analytical processing systems : the creation of a mixed workload benchmark and its application. – Berlin: Springer, 2014. – 1 online resource с. – ISBN 978-3-642-38070-9, 3-642-38070-0.
- Golfarelli, Matte and Stefano Rizzi. (2009) “A Survey on Temporal Data
- Warehousing.” Int Journal of data Warehousing & Mining 5(1): 1–17. Salinas, Sonia Ordonez and Alba C.N. Lemus. (2017) “Data Warehouse and Big Data integration” Int. Journal of Comp. Sci. and Inf. Tech. 9(2): 1-17.
- Fon Silvers. Building and Maintaining a Data Warehouse. – CRC Press, 2008. – С. 128. – ISBN 978-1-4200-6462-9.
дипломов
Оставить комментарий