ЗВУКОВАЯ ВИЗУАЛИЗАЦИЯ ДАННЫХ: ПРИМЕНЕНИЕ ДАТА-СОНИФИКАЦИИ ДЛЯ ВОСПРИЯТИЯ ИНФОРМАЦИИ

SOUND VISUALIZATION OF DATA: THE USE OF DATA SONIFICATION FOR INFORMATION PERCEPTION

Emilia Biktulova

student, Department of Natural Sciences, Faculty of Business Communications and Informatics, Irkutsk State University,

Russia, Irkutsk

Kristina Minaeva

student, Department of Natural Sciences, Faculty of Business Communications and Informatics, Irkutsk State University,

Russia, Irkutsk

Anna Balakhchi

scientific supervisor, Ph.D. physics and mathematics sciences, head Department of Natural Sciences, Faculty of Business Communications and Informatics, Irkutsk State University,

Russia, Irkutsk

АННОТАЦИЯ

Дата-сонификация - это процесс преобразования данных в звук или музыку для анализа информации через слух и обнаружения закономерностей, который нашел применение в различных областях, начиная с 20 века, и создал новые методы анализа данных, представляя информацию в интуитивной форме.

В статье описаны методы дата-сонификации.

Сонификация научных данных помогает людям с нарушениями зрения участвовать в исследованиях, а психоакустические аспекты этого процесса улучшают восприятие и интерпретацию звуковой информации, делая звук эффективным дополнением к визуальным данным и влияя на процесс принятия решений.

В статье описаны примеры использования дата-сонификации и потенциальные области применения.

Технические аспекты дата-сонификации включают преобразование числовых значений данных в звуковые сигналы и определение параметров звука, а также использование специального программного обеспечения.

Однако она также имеет свои ограничения и вызовы, которые описаны в статье. Возможные направления развития включают интеграцию с визуальными представлениями, использование машинного обучения и применение в различных областях.

ABSTRACT

Data sonification is the process of converting data into sound or music for analyzing information through hearing and detecting patterns, which has found application in various fields since the 20th century, and has created new methods of data analysis, presenting information in an intuitive form.

The article describes the methods of data sonification.

The sonification of scientific data helps visually impaired people participate in research, and the psychoacoustic aspects of this process improve the perception and interpretation of audio information, making sound an effective complement to visual data and influencing decision-making.

The article describes examples of using data sonification and potential applications.

Technical aspects of data sonification include the conversion of numeric data values into audio signals and the determination of sound parameters, as well as the use of special software.

However, it also has its limitations and challenges, which are described in the article. Possible areas of development include integration with visual representations, the use of machine learning and applications in various fields.

Ключевые слова: данные, визуализация данных, информация, восприятие информации, дата-сонификация, преобразование данных, звук или музыка, анализ информации, нарушения зрения, психоакустические аспекты, визуальные данные, принятие решений, технические аспекты, ограничения и вызовы.

Keywords: data, data visualization, information, information perception, data sonification, data transformation, sound or music, information analysis, visual impairment, psychoacoustic aspects, visual data, decision-making, technical aspects, limitations and challenges.

Введение

Дата-сонификация — это процесс преобразования данных в звуковые сигналы или музыку. Это позволяет людям воспринимать и анализировать данные через слуховое восприятие, что может дает возможность лучше понять информацию и обнаружить скрытые закономерности.

История дата-сонификации уходит корнями в прошлое, но активное развитие этой концепции началось в 20 веке. В начале 20-го века композиторы экспериментировали с использованием цветовых и звуковых схем для представления музыки. В последующие десятилетия с развитием технологий и компьютеров дата-сонификация стала более доступной и была использована в различных областях, таких как научные исследования, медицина, финансы и даже визуализация данных.

Цель исследования дата-сонификации может быть разнообразной. Например, она может использоваться для создания новых методов анализа данных, для обнаружения паттернов или аномалий, а также для представления информации в более интуитивной форме. Также дата-сонификация может быть использована для обучения и образования, так как музыкальные сигналы могут быть более запоминающимися и понятными, чем просто числа и графики.

Методы дата-сонификации

В наши дни существует несколько методов дата-сонификации, некоторые из них были разработаны специалистами лаборатории СПБГУ. В первую очередь специалисты выделяют работу с различными языками программирования и встроенными библиотеками, такими как music21 в Python, которые помогают визуализировать данные. Сонификация, переводя данные в звуки, позволяет «услышать» научную информацию, используя дополнительные органы чувств. Это открывает новые горизонты для восприятия реальности, расширяя возможности познания.

Основные методы сонификации:

1. Аудификация (Audiofication)

Преобразование данных в звуковую форму, известное как аудификация, позволяет связывать значения визуализированных данных с давлением воздуха и проигрывать их через динамики, что делает данные воспринимаемыми через слух.

При аудификации можно различать разные типы данных, которые

приводят к разным типам звуков. Существует четыре основных типов

данных:

1. Данные, полученные посредством звукозаписи (sound recording data)

Это цифрово хранимые аудиозаписи. Каждый CD-плеер содержит аудификационный модуль, который преобразует набор точек в непрерывный аудиосигнал. Однако проигрывание записи само по себе обычно не представляет большого интереса. Поэтому звуковые сигналы часто усиливают, чтобы выслушать ту информацию, которую раньше было сложно услышать. Например, без усиления нельзя услышать звук, издаваемый летучей мышью.

1. Механические колебания (general acoustical data)

Основная область, привлекательная для аудификации, включает все виды измерений в механике, которые подчиняются тем же физическим законам, что и волны.

1. Физические данные (physical data)

Это информация, полученная измерением других физических процессов за пределами механической области, которую также можно преобразить в звук. Однако такие данные, например, электромагнитные волны, обычно невозможно услышать в повседневной жизни.

1. Абстрактные данные (abstract data)

Абстрактные данные, такие как информация о фондовом рынке или звуках первых факс-машин, являются примерами. Не все формы данных, имеющих волновую природу, могут быть описаны волновым уравнением, поэтому расшифровка таких сигналов обычно требует дополнительного времени.

Аудификация обычно используется в начале исследования из-за своей простоты, но часто от нее отказываются по мере развития исследования. Это связано с тем, что данные могут иметь различные свойства и параметры, которые сложно сонифицировать с помощью этого метода.

2. Параметрическое отображение данных (Parameter mapping)

Параметрическое представление данных - популярный подход к представлению данных в виде звука, который хорошо подходит для отображения многомерных данных. Для достижения оптимального результата необходимо определить цель сонификации, выделить ключевые свойства данных, выбрать подходящие свойства звука и параметры, и соотнести их с данными. Параметрическое отображение данных предоставляет широкий выбор возможностей для представления информации, что делает его превосходным в сравнении с аудификацией.

3. Сонификация на основе модели (Model-Based Sonification)

Сонификация на основе модели - метод, который учитывает, как звуковые сигналы формируются в ответ на действия пользователя. MBS - общий термин для методов сонификации, использующих динамические математические модели систем. Параметры инициализируются с учетом имеющихся данных, а пользователь взаимодействует через интерфейс для получения соответствующих звуковых ответов в зависимости от времени.

Данные не определяют ни звуковой сигнал, ни особенности звука, а определяют архитектуру динамической модели, которая генерирует звук. MBS - общий алгоритм определения, разработки и реализации задач сонификации. Сонификационная модель, разработанная с помощью MBS, является набором инструкций для создания виртуальной звуковой системы и взаимодействия с ней. Эти модели не издают звук, но изменяются в ответ на взаимодействие пользователя, что влияет на акустический ответ или сонификацию.

Психоакустические аспекты

Важным преимуществом сонификации является то, что она делает науку доступной для людей с нарушениями зрения, которые ранее были ограничены в своих исследованиях. Сонификация разрушает барьеры и позволяет каждому стать участником научного процесса.

Психоакустические аспекты дата-сонификации охватывают важные факторы восприятия звука и его влияния на восприятие данных и принятие решений. Ниже приведены некоторые ключевые аспекты, которые следует учитывать при проведении исследований в этой области:

1. Восприятие звука: психоакустика изучает, как люди воспринимают звуковые сигналы, включая их частоту, громкость, тембр и пространственное распределение. Понимание этих аспектов помогает создавать звуковые сигналы, которые могут быть эффективно восприняты и интерпретированы.

2. Связь с визуальными данными: исследования показывают, что звуковая информация может быть эффективным дополнением к визуальным данным. Например, звук может помочь выделить ключевые точки данных, создать эмоциональную связь с информацией и улучшить запоминаемость.

3. Влияние на понимание данных: звуковая информация может помочь пользователям лучше понять данные путем передачи дополнительных контекстуальных или эмоциональных аспектов. Например, звук может помочь выделить тренды или аномалии в данных, что может быть трудно заметить только при визуальном анализе.

4. Влияние на принятие решений: звуковая информация также может оказать влияние на процесс принятия решений. Например, музыкальные композиции могут создавать определенное настроение или эмоциональную обстановку, что может повлиять на способность человека принимать решения.

Исследования в области психоакустических аспектов дата-сонификации могут помочь более глубоко понять, как звуковая информация влияет на восприятие данных и принятие решений, что в свою очередь может привести к разработке более эффективных методов представления информации с использованием звука.

Практические применения

Ниже приведены примеры успешного использования дата-сонификации в научных и прикладных исследованиях:

1. Медицина: дата-сонификация может быть использована для анализа медицинских данных, таких как ЭКГ, ЭЭГ или МРТ. Это позволяет врачам и исследователям визуализировать и анализировать данные с помощью звуковых сигналов, что может помочь выявить скрытые закономерности или аномалии.

2. Образование: дата-сонификация может быть применена в образовательных целях для визуализации сложных данных и концепций. Например, студенты могут использовать звуковые сигналы для изучения математических функций или физических явлений, что помогает им лучше понять и запомнить информацию.

3. Визуализация данных: дата-сонификация может быть использована для визуализации больших объемов данных, таких как финансовые данные, данные о климате или социальные сети. Звуковые сигналы могут представлять различные аспекты данных, такие как временные тренды, связи между переменными.

4. Искусство: дата-сонификация может быть использована в художественных проектах для создания звуковых композиций, которые отражают различные данные или являются интерпретацией определенных явлений. Это может помочь создать новые эмоциональные и эстетические впечатления у слушателей.

5. Анализ и мониторинг: дата-сонификация может быть использована для мониторинга и анализа различных систем и процессов. Например, звуковые сигналы могут предупреждать об определенных событиях или изменениях в системе, таких как аварийные ситуации или изменения в производственных процессах.

6. Реабилитация: дата-сонификация может быть использована в реабилитационных программах для помощи людям с ограниченными возможностями восприятия данных. Звуковые сигналы могут помочь им лучше понять и интерпретировать информацию, например, при использовании звуковых сигналов для представления движения или пространственной ориентации.

Потенциальные области применения дата-сонификации включают также маркетинг и рекламу, игровую индустрию, спорт и фитнес, анализ социальных медиа и другие. В этих областях дата-сонификация может быть использована для создания более привлекательных и эффективных пользовательских интерфейсов, улучшения взаимодействия с пользователем и повышения эмоционального воздействия информации.

Технические аспекты

Технические аспекты создания звуковых представлений данных играют важную роль в процессе дата-сонификации. Для этого необходимо преобразовать числовые значения данных в аудиоформат, используя различные методы, такие как преобразование амплитуды, частоты или времени данных в звуковые сигналы. Определение параметров звукового сигнала, таких как частота, громкость, тембр и длительность, также является важным фактором создания звуковых представлений данных.

Для реализации дата-сонификации можно использовать различное программное обеспечение. Например, Pure Data предоставляет возможность создания звуковых композиций и аудиообработки. Sonic Visualiser позволяет визуально и аудиоанализировать данные и создавать звуковые представления. Audacity - свободно распространяемое программное обеспечение для записи и редактирования звука, которое может быть использовано для обработки данных и создания звуковых представлений. Max/MSP предоставляет возможность создания интерактивных мультимедийных приложений и реализации дата-сонификации. Python с библиотеками для аудиообработки также может быть использован для создания звуковых представлений данных. Все эти технические инструменты обеспечивают широкие возможности для создания звуковых представлений данных и реализации дата-сонификации в различных областях.

Вызовы и перспективы

Безусловно, существует и некоторое количество ограничений и вызовов дата-сонификации. Ниже перечислены одни из них:

1. Качество звуковых представлений данных: одним из основных вызовов дата-сонификации является создание качественных звуковых представлений данных, которые точно передают информацию и позволяют пользователю легко интерпретировать данные. Это требует глубокого понимания данных и технических аспектов звуковой обработки.

2. Выбор подходящих звуковых параметров: выбор подходящих параметров звукового сигнала, таких как частота, громкость, тембр и длительность, является сложной задачей. Различные параметры могут быть эффективными для разных типов данных, и выбор неподходящих параметров может привести к недостаточной передаче информации или неправильному восприятию данных.

3. Возможность интерпретации звуковых представлений: одной из основных проблем дата-сонификации является то, что звуковые представления данных могут быть сложными для интерпретации. Пользователям может быть трудно понять связь между звуками и представленными данными. Это требует разработки эффективных методов обучения и обратной связи для помощи пользователям в интерпретации звуковых представлений.

Однако существуют также направления развития и потенциальные перспективы использования:

1. Интеграция с визуальными представлениями: одним из потенциальных направлений развития дата-сонификации является интеграция звуковых представлений с визуальными представлениями данных. Это позволит создавать мультимодальные представления данных, которые объединяют звук и видимую информацию, улучшая восприятие и понимание данных.

2. Использование машинного обучения: машинное обучение может сыграть важную роль в развитии дата-сонификации. Алгоритмы машинного обучения могут использоваться для автоматического анализа данных и определения наиболее подходящих параметров звукового сигнала для конкретных типов данных. Это может помочь в повышении качества и эффективности звуковых представлений.

3. Применение в различных областях: дата-сонификация имеет потенциал для применения в различных областях, таких как медицина, наука о данных, искусство и образование. В медицине звуковые представления данных могут помочь визуализировать медицинские данные и улучшить диагностику. В науке о данных дата-сонификация может помочь исследователям обнаружить скрытые закономерности в данных. В искусстве и образовании звуковые представления данных могут быть использованы для создания интерактивных и привлекательных образовательных материалов.

В целом дата-сонификация представляет собой активно развивающуюся область, которая имеет большой потенциал для создания новых способов визуализации и анализа данных.

Заключение

В данной статье были рассмотрены основные аспекты дата-сонификации, включая текущие ограничения и вызовы, предполагаемые направления развития и потенциальные перспективы использования этой техники.

Дата-сонификация представляет собой мощный инструмент визуализации данных, который может помочь в улучшении восприятия и понимания информации.

Одним из ключевых вызовов дата-сонификации является создание качественных звуковых представлений данных, которые точно передают информацию и позволяют легко интерпретировать данные.

Интеграция звуковых представлений с визуальными представлениями данных, использование машинного обучения и применение в различных областях представляют потенциальные направления развития дата-сонификации.

Исследование дата-сонификации имеет важное значение для будущих работ в области визуализации данных и анализа информации. Развитие техники дата-сонификации может привести к созданию новых методов представления данных, которые будут эффективными для широкого спектра приложений, включая медицину, науку о данных, искусство и образование. Понимание текущих ограничений и вызовов, а также определение потенциальных направлений развития поможет исследователям и практикам в области дата-сонификации разрабатывать более эффективные методы работы с данными и создания звуковых представлений информации.

Таким образом, исследование дата-сонификации имеет значительную значимость для будущих работ в этой области и может способствовать развитию новых инновационных подходов к анализу и визуализации данных.

Список литературы:

1. Data Sonification for Beginners [Электронный ресурс]. – Режим доступа: https://mlaetsc.hcommons.org/2023/01/18/data-sonification-for-beginners/ (дата обращения: 29.06.2024)
2. Data sonification lets you literally hear income inequality [Электронный ресурс]. – Режим доступа: https://www.mic.com/articles/177877/data-sonification-lets-you-literally-hear-income-inequality (дата обращения: 27.06.2024)
3. Kaper H.G., Tipei S., Wiebel E., Data sonification and sound visualization [Электронный ресурс]. – Режим доступа: https://www.researchgate.net/publication/3422288_Data_sonification_and_sound_visualization (дата обращения: 26.06.2024)
4. Ботарёв С. Дата-сонификация: зачем ученые превращают в музыку данные о космосе, неравенстве и коронавирусе [Электронный ресурс]. – Режим доступа: https://knife.media/sound-data/ (дата обращения: 28.06.2024)
5. Два способа извлечь звуки из данных: как и зачем [Электронный ресурс]. – Режим доступа: https://habr.com/ru/companies/spbu/articles/816839/ (дата обращения: 29.06.2024)