ОБЗОР ПОДХОДОВ К РЕКОМЕНДАЦИИ МУЗЫКИ

АННОТАЦИЯ

Благодаря интернет-технологиям огромное количество музыки стало доступно миллионам пользователей по всему миру. Вместе с быстрым распространением музыки в цифровых форматах, актуальным стало решение таких задач как: управление коллекцией и поиск музыки. Несмотря на то что методы извлечения информации из музыки уже успешно применяются в течение последних десяти лет, разработка систем рекомендации музыки все еще находится на раннем этапе. В данной статье рассматриваются современные подходы к рекомендации музыки, такие как коллаборативная фильтрация, контентная фильтрация, фильтрация на основе эмоций, фильтрация на основе контекста и фильтрация по метаданным, а также их проблемы и ограничения. 

Введение

В связи с быстрым развитием сетей в последние десятилетия, интернет стал основным источником получения мультимедийной информации такой как видео, книги, музыка и т.д. Большинство людей считают музыку важным аспектом своей жизни. Исследования в этой области показали, что люди предпочитают слушание музыки любому другому виду деятельности (просмотру телевизионных программ, чтению книг, просмотру фильмов) [14].

Однако на данный момент проблема заключается в том, что людям сложно ориентироваться среди миллионов музыкальных произведений, созданных обществом и управлять ими [13]. Методы извлечения информации из музыки позволяют решать такие проблемы как: классификация жанров [9], идентификация артистов [11] и распознавание инструментов [12].

Системы рекомендации музыки – это инструменты поддержки принятия решения, которые уменьшают информационную перегрузку, извлекая только те элементы, которые являются релевантными для пользователя основываясь на профиле пользователя, который генерируется рекомендательной системой. В данной статье рассматриваются общие подходы, используемые системами рекомендации музыки.

Популярными подходами являются:

– контентная фильтрация;

– коллаборативная фильтрация;

– модель на основе эмоций;

– модель на основе контекста;

– модель на основе метаданных.

Алгоритм коллаборативной фильтрации, который основывается на поведении пользователей при прослушивании музыки и пользовательских оценках, показал себя довольно хорошо [4]. В сочетании с контентной фильтрацией, пользователь может получить список похожих песен на основе низкоуровневых признаков, таких как ритм, высота тона или высокоуровневых, таких как жанр, инструмент и т.д. Модель на основе эмоций рекомендует музыку в зависимости от настроения пользователя. Модель на основе контекста собирает контекстную информацию такую как комментарии, музыкальные обзоры, теги для генерирования списка воспроизведения.

Поиск по метаданным

Наиболее распространенный и простым методом поиска музыки является поиск по метаданным включенным в аудио треки их создателями, таким как название песни, имя исполнителя, текст песни [5]. Несмотря на то, данный метод является быстрым и точным, он имеет очевидные недостатки. Во-первых, пользователь должен владеть необходимой информацией о песнях, которые он ищет. Во-вторых, поддержка постоянно растущей базы метаданных требует значительных трудозатрат. Более того, рекомендации при использовании данного похода показывают себя заметно хуже по сравнению с остальными подходами, в следствии того, что информация, характеризующая пользователя, не учитывается.

Коллабративная фильтрация

Коллаборативная фильтрация является одним из самых успешных походов рекомендательных систем. Он предполагает, что если два пользователя оценивают n элементов одинаково или ведут себя схожим образом, то они оценят одинаково и другие элементы или будут вести себя схожим образом по отношению к остальным элементам [15]. Вместо того, чтобы вычислять сходство между объектами, ищется множество «ближайших соседей» - пользователей чьи прошлые оценки имеют самую сильную корреляцию. Таким образом, оценка для незнакомых пользователю элементов предсказывается как среднее взвешенное оценок данного элемента ближайшими соседями [16].

Однако данный подход имеет свои недостатки:

- Обычно популярная музыка получает больше оценок от пользователей. В результате, система с коллаборативной фильтрацией в основном рекомендует слушателям популярную музыку.

- Холодный старт. Эта проблема также известна как проблема нехватки данных. На ранних этапах работы у системы имеется не так много пользовательских оценок, что приводится к низкому качеству рекомендаций.

Контентная фильтрация

В отличии от коллаборативной фильтрации, контентная фильтрация подразумевает поиск музыки путем анализа аудио информации самих песен [8]. При таком подходе рекомендуются песни, которые похожи на прослушанные ранее, а не похожие на те, которые были положительно оценены пользователем. Многие исследования уделяли внимание извлечению и сравнению акустических характеристик при поиске музыки, которая воспринимаются похожим образом [3].  Наиболее репрезентативными на сегодняшний день являются тембр и ритм [2]. На основе извлеченных характеристик вычисляется расстояние между песнями [10].

В некоторой степени контентная фильтрация решает проблемы коллаборативной фильтрации. Такой системе не нужны знания о пользовательских оценках, т.к. она находит похожие песни, измеряя сходство акустических характеристик. Несмотря на то, что данный подход показывает себя хуже коллаборативной фильтрации, он может успешно применяться для генерирования рекомендаций новым пользователям для решения проблемы холодного старта. 

Модель на основе эмоций

В последнее время, эмоции, передаваемые музыкой, стали главным объектом многочисленных исследований, связанных с поиском и рекомендацией музыки [34]. Коммерческий веб-сайт «Musicovery» использует формальную модель эмоций (2D валентность-возбужденность) разработанную психологами. Это позволяет пользователям выбирать эмоции, которые они хотят испытать, в двумерном пространстве: валентность (насколько позитивна или негативна эмоция) и возбужденность (насколько захватывающая или успокаивающая).

Аналогично контентной фильтрации, эмоциональное восприятие связано с разными паттернами акустических сигналов [1]. Различные характеристики восприятия такие как энергия, ритм, время и гармония широко используются при распознавании эмоций [17].

Ограничения:

- Для создания точной модели нужно большое количество данных. Однако, качественная разметка данных требует значительных финансовых и трудовых затрат. Поэтому для получения данных используются социальные теги, игры, в которых разметка данных является частью игрового процесса, тексты песен и рецензии на музыку.

- Неоднозначность. Эмоции трудно описать или дать им определение. Одна и та же музыкальная композиция может вызывать разные эмоции у разных людей [19].

Поиск музыки на основе контекста

Вместо использования акустических характеристик как при контентной фильтрации или рейтингов при коллабративной фильтрации, контекстно-ориентированная модель использует общественное мнение для поиска и рекомендации музыки. Социальные сети, такие как Vkontakte. Facebook, Youtube и Twitter, предоставляют нам огромное количество разнообразной информации о музыке и ее восприятии людьми в виде комментариев, музыкальные обзоров, тегов [6]. Поэтому при поиске на основе контекста используется методы интеллектуального анализа документов, чтобы отфильтровать значимую информацию для решения таких задач как классификация жанров, обнаружение эмоций, семантическое пространство [7]. Однако данному подходу свойственна та же проблема, что и коллаборативной фильтрации – больше всего информации можно найти о популярной музыке, поэтому непопулярная музыка рекомендуется намного реже.

Заключение

В этой статье была рассмотрена базовая модель на основе метаданных и два популярных подхода к рекомендации музыки: коллаборативная фильтрация и контентная фильтрация. Несмотря на успешное применение, эти системы имеют недостатки такие как: преимущественная рекомендация популярной музыки, высокие трудозатраты, проблема холодного старта.

Из-за субъективного характера музыки и недостатков предыдущих подходов, были предложены два новых подхода, ориентированных на человека. Рассматривая эмоциональную и социальную информацию, модели на основе эмоций и контекста в значительной степени улучшили качество рекомендаций. Однако эти исследования еще находятся на раннем этапе.

Список литературы:

1. Bischoff, K., Firan, C., Paiu, R., Nejdl, W., Laurier, C., Sordo, M. Music Mood and Theme Classification - A Hybrid Approach. In 10th International Society for Music Information Retrieval Conference, number Ismir, pages 657–662, 2009.
2. Bogdanov, D., Herrera, P. "How Much Metadata Do We Need in Music Recommendation? A Subjective Evaluation Using Preference Sets." ISMIR. 2011.
3. Bogdanov, D., Serra, J., Wack, N., Herrera, P. and Serra, X. Unifying Low-level and High-level Music Similarity Measures. IEEE Transactions on Multimedia, 13(99):1–1, 2011.
4. Burke, R. Hybrid Recommender Systems: Survey and Experiments. User Modeling and User-Adapted Interaction, 12(4):331–370, 2002.
5. Downie, J. Stephen. Music Information Retrieval. Annual Review of Information Science and Technology, 37(1):295–340, January 2005.
6. Lamere, P. Social Tagging and Music Information Retrieval. Journal of New Music Research, 37(2):101–114, June 2008.
7. Levy, M. A Semantic Space for Music Derived from Social Tags. Austrian Compuer Society, 1:12, 2007.
8. Li, Q., Kim, B. M., Guan, D. H., Duk, O. A Music Recommender Based on Audio Features. In Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval, pages 532–533, Sheffield, United Kingdom, 2004. ACM.
9. Lines, B., Tsunoo, E., Tzanetakis, G., Ono, N. Beyond Timbral Statistics : Improving Music Classification Using Percussive. IEEE Transactions on Audio, Speech and Language Processing, 19(4):1003–1014, 2011.
10. Logan, B. Music Recommendation from Song Sets. In International Conference on Music Information Retrieval 2004, number October, pages 10–14, Barcelona, Spain, 2004.
11. Mandel, M. Song-level Features and Support Vector Machines for Music Classification. In Proc. International Conference on Music, 2005.
12. Marques, J., Moreno, P. J. A Study of Musical Instrument Classification Using Gaussian Mixture Models and Support Vector Machines, 1999.
13. Pachet, F., Aucouturier, J.J. Improving Timbre Similarity: How High is the Sky? Journal of negative results in speech and audio sciences, 1(1):1–13, 2004.
14. Rentfrow, P. J., Gosling, S. D. The Do Re Mi’s of Everyday Life: The structure and personality correlates of music preferences. Journal of Personality and Social Psychology, 84(6):1236–1256, 2003.
15. Resnick, P., Varian, H. R. Recommender Systems. Communications of the ACM, 40(3):56–58, 1997.
16. Shoham, Y., Balabannovic, M. Content-Based, Collaborative Recommendation. Communications of the ACM, 40(3):66–72, 1997.
17. Wang, X., Chen, X., Yang, D., Wu, Y. Music Emotion Classification of Chinese Songs Based on Lyrics using TF*IDF and Rhyme. In 12^th International Society for Music Information Retrieval Conference, number Ismir, pages 765–770, 2011.
18. Yading, S., Dixon, S., Pearce, M. "A survey of music recommendation systems and future perspectives." 9th International Symposium on Computer Music Modeling and Retrieval. Vol. 4. 2012.
19. Yang, D., Lee, W.S. Disambiguating Music Emotion Using Software Agents. In Proceedings of the 5th International Conference on Music Information Retrieval (ISMIR04), pages 52–58, 2004.