Статья опубликована в рамках: XLV Международной научно-практической конференции «Научное сообщество студентов: МЕЖДИСЦИПЛИНАРНЫЕ ИССЛЕДОВАНИЯ» (Россия, г. Новосибирск, 21 мая 2018 г.)
Наука: Информационные технологии
Скачать книгу(-и): Сборник статей конференции
дипломов
АНАЛИЗ ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ «BIG DATA»
Объемы информации и данных постоянно увеличиваются, информационные технологии в значительной степени преобразуют наше восприятие, а процессы, которые ранее происходили в реальном мире, перетекли в интернет. В настоящее время на IT-рынке обширно используется и внедряется технологии «Big Data», возникновении которой было обусловлено необходимостью качественных изменений в подходах к использованию, хранению и обработке информации, объемы которой с каждым часом увеличиваются [1]. Традиционные методы анализа информации в настоящий момент устаревают, с каждым годом увеличиваются объёмы данных, все это приводит к тому, что необходимо применять новые, современные технологии. Уже сегодня многие организации отмечают постоянный рост издержек на хранение и обработку информации, поскольку традиционные методы увеличения ресурсов и мощностей уже не работают. Облачные технологии наряду с технологией «Big Data» можно отнести к глобальным IT-тенденциям. Можно иметь доступ к большому массиву данных, но при этом не иметь необходимых инструментов, которые могли бы установить взаимосвязи между этими данными. Технология «Big Data» позволяет хранить большие объемы структурированных и неструктурированных данных в репозитариях.
Технологии «Big Data» – это современный метод обработки структурированных и неструктурированных данных огромных объемов и значительного многообразия. Данные технологии применяются для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста и распределения информации по многочисленным узлам вычислительной сети [2]. Термин «Big Data» относится к наборам данных, размер которых превосходит возможности типичных баз данных по хранению, управлению и анализу информации. Для наиболее эффективного использования больших данных организациям требуется вовлекать свою ИТ-инфраструктуру в обработку этих высокоемких и быстрорастущих данных. К основным требованиям инфраструктуры больших данных относят: построение платформ; сбор больших данных; анализ больших данных; хранение больших данных и совместная интеграция [3, c. 153]. Есть отрасли, где сбор и накопление данных осуществляется интенсивно. Если рассматривать производственную сферу, например, электростанции, то здесь каждую минуту, либо даже каждую секунду генерируется непрерывный поток данных. Кроме того, за последние годы, внедряются технологии «Smart grid», которые позволяют измерять каждую минуту либо каждую секунду потребление электроэнергии. Так же можно выделить следующие основные особенности технологии «Big Data»:
- наглядное отображение отчетов и их анализ;
- создание новых продуктов, увеличение эффективности работы и повышение конкурентоспособности;
- использование методов, позволяющих анализировать практические знания;
- работа с информацией большого объема и разнообразного состава;
- обновление информации.
Так же растут объемы информации в организациях за счет данных, полученных с измерительных устройств и датчиков. Самыми перспективными устройствами считаются датчики, которые могут передавать данные в режиме реального времени, которые объединены в единую сеть. Технология «Big Data» позволяет обрабатывать получаемую информацию и проводить необходимые аналитические действия в автоматическом режиме. Например, проект в сфере мониторинга расхода энергоресурсов, в рамках которого МТС и Московская объединенная энергетическая компания (МОЭК) с 2009 г. создали успешно функционирующую единую автоматизированную систему контроля и учета передачи тепловой энергии и горячей воды. Для этого МОЭК установила 47 тыс. счетчиков потребления в муниципальных домах и объектах социальной сферы, около половины узлов учета оборудовано SIM-картами МТС, которые непрерывно передают данные на сервер Центральной системы учета энергоресурсов МОЭК.
Программное обеспечение, оборудование, а также услуги вместе образуют комплексные платформы для хранения и анализа данных [4, c. 28]. «Big Data» обычно хранится в распределенных файловых системах. Информация хранится на жестких дисках, а так называемая карта-map позволяет отслеживать, где хранится определенная часть информации. Большинство хранимой информации является неструктурированными данными, обработка которых может состоять из обычных операции, а может состоять из сложных. Что касается анализа «Big Data», то это большая проблема, поскольку она связана с анализом неструктурированных данных. В таблице 1 представлен сравнительный анализ технологии «Big Data» и традиционного подхода работы с данными.
Таблица 1.
Сравнительный анализ технологии «Big Data» и традиционного подхода работы с данными
|
Критерии сравнения |
Технология «Big Data» |
Традиционный подход работы с данными |
|
Возможности |
- выявление скрытых зависимостей и поиск новых вопросов и ответов на основе анализа всего объема разнородных данных - прогноз - анализ текущей ситуации - анализ данных не только из внутренних, но и из внешних источников |
- извлечение из «сырых» данных полезной информации и ее запись в форме, приемлемой для использования - анализ текущей ситуации |
|
Объем информации |
От петабайт (10^15 байт) до эксабайт (10^18 байт) |
От гигабайт (10^9 байт) до терабайт (10^12 байт) |
|
Способ хранения |
Децентрализованный |
Централизованный |
|
Структурированность данных |
Полуструктурирована, неструктурирована, структурирована |
Структурирована |
|
Модель хранения и обработки данных |
Горизонтальная модель |
Вертикальная модель |
|
Взаимосвязь данных |
Слабая |
Сильная |
|
Методы |
- Извлечение данных - Краудсорсинг – сбор данных от большого числа источников - Консолидация данных - Визуализация - Машинное обучение - Нейронные сети - Анализ сетей - Предиктивное моделирование - Обработка сигналов и анализ временных рядов - Пространственный анализ - А/В тестирование - методы класса DataMining: обучение ассоциативным правилам, классификация, кластерный анализ, регрессионный анализ |
Обычные традиционные методы, схемы, способы анализа данных |
|
Подходы обработки данных |
NoSQL, MapReduce, Hadoop, R |
SQL |
|
Вид хранилища |
Datalake (озеро данных) — хранилище больших данных в необработанном виде (распределенное хранилище, которое масштабируется по мере необходимости) |
Традиционная реляционная БД |
|
Используемые методы визуализации |
Mindmap (карта мыслей), Displayingconnections (Отображение связей), Treemaps, Кластерограмма, Рейтинговая диаграмма текста и т.д. |
Таблицы, гистограммы, круговые диаграммы и т.д. |
|
Решение проблем |
На базе данных и моделей данных |
На базе данных |
|
Стоимость хранения данных |
Низкая |
Высокая |
|
Масштабирование |
+ |
- |
Инструменты для работы со структурированными данными уже давно созданы, это реляционные модели данных и системы управления БД [5, c. 46]. Но в современных условиях организациям нужно обрабатывать большие объемы неструктурированных данных, размеры которых в сотни терабайт не позволяют просто храненить и управление ими.
В результате проведения сравнительного анализа, можно сделать вывод o том, что технология «Big Data» представляет из себя технологию извлечения информации из огромного массива данных в максимально короткие сроки с целью нахождения полезной информации и принятия эффективных управленческих решений. Важно отметить, что когда мы имеем дело с технологией «Big Data», большие объемы информации, возможно хранить в разных источниках и разных форматах. Это обходится значительно дешевле традиционных хранилищ, в которые помещаются только структурированные данные.
Список литературы:
- Артемов С. BigData: новые возможности для растущего бизнеса // С. Артемов [Электроный ресурс] – Режим доступа. – URL: http://www.pcweek.ru/upload/iblock/d05/jet-big-data.pdf (дата обращения 5.05.2018)
- Афанасьев А. Аналитический обзор рынка BigData / А. Афанасьев // [Электроный ресурс] – Режим доступа. – URL: https://habrahabr.ru /company/moex/blog/256747/ (дата обращения 5.05.2018)
- Измалкова С.А. Использование глобальных технологий «BIG DATA» в управлении экономическими системами / С.А. Измалкова, Т.А. Головина // Известия Тульского государственного университета. Экономические и юридические науки. 2015. №4-1. С. 151-158.
- Майер-Шенбергер В. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим / В. Майер-Шенбергер, К. Кукьер. М.: Манн, Иванов и Фербер, 2014. 240 c.
- Савельев А.И. Проблемы применения законодательства о персональных данных в эпоху «больших данных» (BigData) / А.И. Савельев [Электроный ресурс] – Режим доступа. – URL: https://law-journal.hse.ru/data/ 2015/04/20/1095377106/Savelyev.pdf (дата обращения 5.05.2018)
дипломов
Оставить комментарий