ОБЛАЧНЫЕ ОЗЁРА ДАННЫХ

Многие организации задумываются над тем, стоит ли переходить с локального «озера данных» (Data lake) на облачное «озеро данных» (Cloud data lake). Это касается проблем от масштабируемости до несовместимости программного обеспечения и безопасности, т.к. локальные озера данных не могут предоставить организациям быстрый и беспрепятственный доступ ко всем своим данным из любого источника. Являются ли облачные озёра данных решением?

Для многих организаций ответ - да. Их не устраивают сложные среды, которые требуют специальных навыков, дорогостоящих консультационных услуг и трудоемких обходных путей для быстрого и безопасного доступа к нужным им данным, и обладают медленным временем отклика для аналитики. Поэтому некоторые организации хотят разработать системы искусственного интеллекта в среде, которая может управлять сложными алгоритмами глубокого обучения.

Немногие организации, вложившие средства в локальные озера данных, заинтересованы в том, чтобы «поднять и перенести» всю свою среду в облако на данном этапе. Но многие строят озера облачных данных для управления данными из новых источников и стратегического перемещения данных из локальных систем. Интерес к облачным озерам данных имеет несколько преимуществ:

Легче в управлении. Аппаратная инфраструктура управляется поставщиком общедоступного облака, что избавляет от необходимости приобретать и обслуживать дополнительное оборудование в центре обработки данных. Между тем, они поставляются с облачным стеком решений, который более легко интегрируется с озерами облачных данных. От интеграции данных до визуализации данных - инструменты проще и быстрее в развертывании и эксплуатации, требующие менее специализированных навыков и гораздо меньшего количества специального кодирования.

Более современные технологии. В облачной инфраструктуре и приложениях всегда используются новейшие технологии с техническим обслуживанием и обновлениями, выполняемыми поставщиком технологий с минимальными затратами времени, если таковые имеются, на предприятиях клиентов.

Более низкая стоимость. Расходы на управление центрами обработки данных и добавление дополнительного оборудования для ввода новых источников данных или расширения географии уже не имеют смысла. С помощью инфраструктуры по требованию в облачном хранилище данных организации оплачивают только те ресурсы, которые они используют, часто выплачивая ежемесячно, а также по количеству или пользователям, зарегистрированным запросам или потребленным терабайтам. Затраты становятся более предсказуемыми и их легче контролировать.

Улучшенная масшабируемость. Хоть локальные озера данных ценятся за их способность обрабатывать чрезвычайно большие объемы данных, им требуется ручное усилие для добавления и настройки серверов по мере роста объемов данных. Решения для облачных данных позволяют организациям увеличивать и уменьшать пропускную способность по мере колебания потребностей бизнеса без приобретения, эксплуатации и технического обслуживания оборудования внутри компании. Масштабируемость дополнительно упрощается благодаря функциям автоматического масштабирования, которые автоматически настраивают ресурсы в соответствии с заранее определенными параметрами, чтобы приложения работали в рамках установленных бюджетов.

Ускоренный доступ к данным. Большая часть технологического стека, поддерживающего облачные озера данных, является облачной, то есть предназначена для работы в облачной инфраструктуре и для поддержки скорости, разнообразия и объема современных данных. Поэтому они перемещают и запрашивают данные намного быстрее и точнее, чем традиционные инструменты в локальных озерах данных.

Встроенная защита: провайдеры общедоступных облаков очень серьезно относятся к конфиденциальности и безопасности данных, внедряя строгие учетные данные и соблюдая обязательные правила, такие как законы о финансах и здравоохранении.

Инновация. Перенос озера данных в облако освобождает ИТ-организацию и бизнес-аналитиков от необходимости повышать эффективность бизнеса. Вместо того чтобы тратить большую часть своего времени на содержание и обслуживание, а также на прием и подготовку данных, люди могут тратить время на инновации и анализ, которые повышают эффективность бизнеса.

Таким образом, перенос озера данных в облако не является легким решением. Есть много других вопросов, которые необходимо учитывать, включая корпоративную культуру данных, необходимость доступа к данным самообслуживания и ваши уникальные потребности в защите данных.

Хорошей новостью является то, что это не подход «все или ничего». Многие организации поэтапно переносят свои озера данных в облако, создавая современную архитектуру, которая включает в себя сочетание гибридных, полных и мультиоблачных возможностей.

Какой бы ни был подход, облако стало неоспоримым влиянием на способы управления данными сегодня. Преимуществ, предлагаемых облачным хранилищем данных, слишком много и слишком сложно отрицать.

Список литературы:

1. Озеро данных и хранилище данных – в чем разница? [Электронный ресурс] – Режим доступа. –  URL: https://www.sas.com/ru_ru/insights/articles/data-management/data-lake-and-data-warehouse-know-the-difference.html (дата обращения: 18.08.2019)
2. Российское озеро научных данных [Электронный ресурс] – Режим доступа. –  URL: https://www.osp.ru/os/2018/04/13054563/ (дата обращения: 19.08.2019)
3. Data Lake – от теории к практике. Сказ про то, как мы строим ETL на Hadoop [Электронный ресурс] – Режим доступа. – URL: https://habr.com/ru/company/tinkoff/blog/259173/ (дата обращения: 18.08.2019)