РАБОТА С БОЛЬШИМИ ДАННЫМИ

АННОТАЦИЯ

Большие данные — это термин, используемый для обозначения наборов данных, которые являются слишком большими или сложными для традиционного прикладного программного обеспечения, обработки данных, манипулирования данными. Интеллектуальный анализ данных предназначен для облегчения принятия деловых решений и обработки больших объемов информации с помощью специализированных алгоритмов анализа. В данной статье рассматриваются основные алгоритмы data mining и их использование для работы с большими данными.

Ключевые слова: большие данные, data mining, анализ данных, кластеризация.

Интеллектуальный анализ данных — это процесс сортировки больших наборов данных для определения шаблонов и установления взаимосвязей для решения проблем посредством анализа данных. Инструменты интеллектуального анализа данных позволяют предприятиям прогнозировать будущие тенденции. Методы добычи данных: Классификация. Этот анализ используется для получения важной и актуальной информации о данных и метаданных. Он помогает классифицировать данные в разных классах; Кластерный анализ — это метод анализа данных, позволяющий идентифицировать данные, которые похожи друг на друга. Процесс помогает понять различия и сходства между данными; Регрессионный анализ — это метод интеллектуального анализа данных для определения и анализа взаимосвязи между переменными. Он используется для определения вероятности конкретной переменной, учитывая наличие других переменных; Правила ассоциации. Этот метод анализа данных помогает найти связь между двумя или более Предметами. Он обнаруживает скрытый шаблон в наборе данных; Наружное обнаружение. Этот тип метода интеллектуального анализа данных относится к наблюдению за элементами данных в наборе данных, которые не соответствуют ожидаемому образцу или ожидаемому поведению. Этот метод может использоваться в различных областях, таких как вторжение, обнаружение, мошенничество или обнаружение ошибок и т. Д. Наружное обнаружение также называется анализом выбросов или добычей выбросов; Последовательные паттерны. Этот метод анализа данных помогает обнаруживать или идентифицировать аналогичные закономерности или тенденции в данных транзакций за определенный период; Прогноз. Прогнозирование использует комбинацию других методов извлечения данных, таких как тренды, последовательные шаблоны, кластеризация, классификация и т. Д. Он анализирует прошлые события или экземпляры в правильной последовательности для прогнозирования будущего события.

Методы интеллектуального анализа данных используются во многих областях исследований, включая математику, кибернетику, генетику и маркетинг. В то время как методы интеллектуального анализа данных являются средством повышения эффективности и прогнозирования поведения клиента, при правильном использовании бизнес может отличаться от своих конкурентов с помощью прогнозного анализа. Веб-майнинг, тип интеллектуального анализа данных, используемый в управлении взаимоотношениями с клиентами, объединяет информацию, собранную с помощью традиционных методов и методов интеллектуального анализа данных через Интернет. Веб-майнинг призван понять поведение клиентов и оценить, насколько эффективен тот или иной веб-сайт. Машинное обучение — это инструмент интеллектуального анализа данных, который разрабатывает конкретные алгоритмы, из которых можно учиться и прогнозировать. Проблемы реализации интеллектуального анализа данных: квалифицированные эксперты необходимы для формулирования запросов на интеллектуальный анализ данных; переоснащение из-за небольшой базы данных обучения модель может не соответствовать будущим состояниям; для интеллектуального анализа данных необходимы большие базы данных, которыми иногда сложно управлять; деловую практику, возможно, придется изменить, чтобы определить, использовать ли не раскрытую информацию; если набор данных не разнообразен, результаты анализа данных могут быть неточными; информация об интеграции, необходимая из разнородных баз данных и глобальных информационных систем, может быть сложной. Наиболее популярными инструментами для интеллектуального анализа данных, широко используемые в промышленности являются R-язык и Oracle Data Mining. Язык R — это инструмент с открытым исходным кодом для статистических вычислений и графики. R имеет широкий спектр статистических, классических статистических тестов, анализ временных рядов, классификацию и графические методы. Он предлагает эффективную передачу и хранение данных. Oracle Data Mining, широко известный как ODM, является модулем базы данных Oracle Advanced Analytics. Этот инструмент Data Mining позволяет аналитикам данных генерировать подробные данные и делать прогнозы. Он помогает прогнозировать поведение клиентов, разрабатывает профили клиентов, выявляет возможности перекрестных продаж. В целом, преимущества интеллектуального анализа данных заключаются в способности выявлять скрытые шаблоны и взаимосвязи в данных, которые можно использовать для прогнозирования, влияющего на бизнес. [1]

Список литературы:

1. Марц Н. Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени / Н. Марц, Д. Уоррен. - М.: Вильямс, 2016.ФГОС.