ПРОБЛЕМАТИКА И ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ ИИ В ОЦЕНКЕ ЮЗАБИЛИТИ

PROBLEMS AND PROSPECTS OF AI APPLICATION IN USABILITY ASSESSMENT

Maxim Ryltsev

Postgraduate, Department of Algorithmic Mathematics, Saint Petersburg Electrotechnical University «LETI»,

Russia, Saint-Petersburg

Svyatoslav Volkonenkov

Postgraduate, Department of Algorithmic Mathematics, Saint Petersburg Electrotechnical University «LETI»,

Russia, Saint-Petersburg

АННОТАЦИЯ

В статье рассматриваются проблемы и перспективы применения искусственного интеллекта (ИИ) в оценке юзабилити. Представлен анализ возможностей нейросетевых технологий на всех этапах исследований: от формирования гипотез и создания сценариев интервью, до проведения тестирования и анализа результатов. Статья будет полезна специалистам в области UX-исследований, разработчикам ИИ-решений и всем, кто интересуется инновационными методами оценки пользовательского опыта.

ABSTRACT

The article discusses the problems and prospects of using artificial intelligence for usability assessment. An analysis of the capabilities of neural network technologies is presented at all stages of the research process: from forming hypotheses, creating interview scenarios to conducting testing, and analyzing results. This article is useful for UX researchers, AI developers, and anyone interested in innovative ways to evaluate user experience.

Ключевые слова: пользовательский опыт; юзабилити; мультимодальные модели; инженерия данных; искусственный интеллект;

Keywords: user experience; usability; multimodal models; data engineering; artificial intelligence;

Введение

Юзабилити (от англ. usability — удобство использования) — это комплексный атрибут качества, характеризующий степень простоты и эффективности взаимодействия пользователя с программным или аппаратным интерфейсом [1]. Этот термин широко используется в области проектирования пользовательского опыта (UX) и является ключевым элементом разработки продуктов, ориентированных на человека.

Оценка юзабилити продукта включает две основные группы методов: качественные и количественные [2]. Количественные методы основаны на статистическом анализе данных, полученных в результате исследований с большим количеством участников. Эти методы позволяют объективно измерять различные показатели, такие как время выполнения задач, количество ошибок и уровень удовлетворенности пользователей.

Качественные методы, напротив, направлены на глубокое понимание поведения и восприятия пользователей. Они включают интервью, фокус-группы, наблюдение и анализ протоколов действий. Основная цель таких исследований — выявление барьеров и трудностей, с которыми сталкиваются пользователи в процессе взаимодействия с продуктом. Качественные методы особенно важны на ранних этапах разработки, когда необходимо понять потребности и ожидания целевой аудитории.

Особенностью качественных исследований является их контекстуальность. Это означает, что результаты зависят от конкретных условий использования продукта и могут существенно различаться в зависимости от среды и целей пользователя. Поэтому в качественных методах редко используются метрики, так как они не всегда применимы для оценки сложных и многогранных аспектов пользовательского опыта.

Проведение качественных исследований требует высокой квалификации и опыта от исследователей. Это делает данный метод достаточно дорогостоящим и трудоемким. Однако результаты таких исследований могут быть чрезвычайно ценными для разработчиков, так как они позволяют выявить скрытые проблемы и улучшить продукт на основе реальных потребностей пользователей.

Внедрение нейросетевых технологий в процесс оценки юзабилити может значительно упростить и удешевить эту процедуру. Нейросетевые модели способны анализировать большие объемы данных и выявлять закономерности, которые могут быть неочевидны для человека. Это открывает новые возможности для автоматизации и повышения точности оценки пользовательского опыта. В результате, использование нейросетевого подхода может способствовать росту качества интерфейсов во всей отрасли ИТ-продуктов, делая их более удобными и интуитивно понятными для пользователей.

В данной работе рассмотрен потенциал применения технологий ИИ в качественных методах UX-исследований.

Глубинное интервью

Глубинное интервью является одним из наиболее распространенных методов исследования пользовательского опыта. Этот метод позволяет получить глубинное понимание потребностей, предпочтений и поведенческих особенностей целевой аудитории, что способствует разработке более эффективных продуктов и услуг. В таблице 1 рассмотрены возможности применения нейросетевых технологий на различных этапах проведения глубинного интервью.

Таблица 1.

Применение ИИ в глубинных интервью

Формирование гипотез

На этом этапе исследователь определяет основные цели и задачи исследования, формулирует гипотезы, которые будут проверяться в ходе интервью. Гипотезы должны быть конкретными, измеримыми и проверяемыми.

Современные языковые модели, такие как ChatGPT и DeepSeek, демонстрируют высокую эффективность в обработке текстовой информации, обеспечивая глубокое понимание контекста продукта и минимизируя необходимость в корректировке результатов. Эти модели уже активно применяются в исследованиях, требующих анализа больших объемов текстовых данных [3].

Кроме того, ИИ может анализировать существующие исследования, конкурентные продукты и пользовательские отзывы, чтобы предложить альтернативные гипотезы, которые исследователь мог упустить.

Создание плана интервью

На основе гипотез разрабатывается структура интервью, включающая перечень вопросов, которые помогут раскрыть интересующую информацию. Вопросы должны быть четкими, понятными и ориентированными на получение релевантных данных. Нейросетевые технологии могут быть использованы для автоматизации процесса создания плана интервью [4]. Языковые модели способны выполнять следующие функции:

• формирование первичного черновика плана, что позволяет сэкономить время исследователя.
• проверка вопросов на нейтральность формулировок, чтобы избежать наводящих или эмоционально окрашенных вариантов.
• генерация уточняющих вопросов, которые помогают глубже раскрыть тему.
• анализ существующих исследований и данных для выявления дополнительных вопросов, которые могут быть полезны для интервью.

Однако важно учитывать, что специализированные модели, обученные на методологически точных вопросах, пока отсутствуют, поэтому финальный план все же требует экспертной проверки.

Формирование портрета респондентов

Для проведения глубинного интервью и последующего анализа данных важно правильно определить целевую аудиторию, которую будут представлять респонденты. Формирование портрета респондентов включает в себя комплекс демографических, психографических, поведенческих и других релевантных характеристик, позволяющих получить более полное представление о потенциальных пользователях продукта.

В случае исследования стартапов задача формирования портретов респондентов требует особого креативного подхода, поскольку целевая аудитория может быть размытой или недостаточно сформированной. В таких условиях языковые модели, основанные на технологиях искусственного интеллекта, демонстрируют высокую эффективность [5]. Они способны не только выявлять ключевые сегменты аудитории, но и детально описывать их характеристики, что особенно важно для стартапов, стремящихся найти свою нишу на рынке.

При анализе уже существующего продукта формирование портрета респондентов основывается на анализе различных артефактов, таких как данные из систем управления взаимоотношениями с клиентами, веб-аналитики, результатов опросов и других источников. Современные ИИ-инструменты обладают высокой способностью к анализу текстовых и табличных данных, что позволяет выявлять необходимые контексты и закономерности. Однако при работе с большими объемами данных, требующих статистического анализа, ИИ может столкнуться с трудностями.

Проведение интервью с респондентами

На этом этапе исследователь взаимодействует с респондентами, задавая подготовленные вопросы и внимательно слушая их ответы. Этот этап требует значительных временных и материальных ресурсов, что делает его перспективным для автоматизации.

На сегодняшний день технологии искусственного интеллекта уже демонстрируют значительный прогресс в области транскрибирования аудиозаписей интервью. Современные алгоритмы способны распознавать речь как исследователя, так и респондента, обеспечивая высокую точность транскрибирования. Примером успешного внедрения таких технологий является российский сервис видеоконференций «Контур.Толк», который в 2022 году представил функцию автоматического анализа записей интервью [6].

Перспективы дальнейшего развития ИИ в этой области включают не только транскрибирование, но и анализ эмоциональных маркеров в речи респондентов. В перспективе ИИ-системы смогут в реальном времени распознавать эмоциональные состояния, такие как раздражение или энтузиазм, и предлагать ассистентам рекомендации по корректировке вопросов. Это позволит более эффективно направлять ход интервью, обеспечивая получение более точных и релевантных данных.

Однако, несмотря на значительный прогресс, полное замещение интервьюеров автономными ИИ-системами пока остаётся спорной задачей для реализации. Исследования показывают, что респонденты склонны проявлять меньшую открытость и доверие при общении с ботами по сравнению с людьми. Это связано с психологическими факторами, такими как восприятие угрозы приватности и отсутствие человеческого контакта.

Анализ результатов

После проведения интервью исследователь приступает к анализу полученных данных, что является ключевым этапом в процессе оценки и улучшения продуктов или услуг. Анализ включает в себя использование различных методов оценки, среди которых выделяются количественные и качественные подходы. В последние годы нейросетевые технологии стали мощным инструментом на этом этапе, демонстрируя высокую эффективность и предоставляя новые возможности для интерпретации данных. Современные модели, такие как BERT и GPT-4, позволяют автоматически группировать схожие высказывания, что значительно упрощает процесс выявления основных тем и тенденций в ответах респондентов [7]. Эти модели обучаются на больших объемах текстовых данных, что позволяет им выявлять тонкие семантические связи и контекстуальные нюансы. Данные нейросетевые модели также эффективно анализируют эмоциональную окраску ответов, что дает возможность оценить настроение респондентов и их отношение к исследуемому продукту или услуге. Для этого используются методы обработки естественного языка, такие как анализ тональности и сентимент-анализ. Эти технологии позволяют не только определить общий эмоциональный настрой, но и выявить конкретные эмоции, такие как радость, гнев, удивление и т.д.

Одним из наиболее перспективных направлений использования нейросетевых моделей является генерация инсайтов и гипотез на основе полученных данных. Такие модели способны суммировать ключевые находки, выявлять скрытые закономерности и даже предлагать гипотезы для проведения дальнейших исследований.

Юзабилити-тестирование

Юзабилити-тестирование представляет собой систематический метод оценки пользовательского опыта, направленный на выявление проблем взаимодействия с интерфейсом и оптимизацию его функциональности. В отличие от классических методов, таких как глубинное интервью, данный подход фокусируется на наблюдаемом поведении пользователей в контексте выполнения конкретных задач. Современные достижения в области искусственного интеллекта открывают новые перспективы для автоматизации этапов тестирования, включая революционную возможность использования ИИ в качестве синтетического респондента.  В таблице 2 рассмотрено применение ИИ в методологии юзабилити-тестирования.

Таблица 2.

Применение ИИ в юзабилити-тестировании

Планирование теста

На этапе планирования формулируются цели исследования, определяются метрики успешности и разрабатываются гипотезы для валидации. Генеративные языковые модели, такие как GPT-4 и Claude, способны анализировать исторические данные тестирования, пользовательские отзывы и конкурентные кейсы, предлагая гипотезы, основанные на выявленных паттернах [8]. Например, алгоритмы машинного обучения в платформах Hotjar и AttentionInsight [9] прогнозируют зоны интерфейса с повышенным риском ошибок, используя данные о кликах и скроллинге. При этом, гипотезы, сгенерированные ИИ, часто требуют верификации из-за риска игнорирования культурных или когнитивных нюансов.

Создание сценариев тестирования

Данный этап отвечает за разработку реалистичных задач, отражающих типичные пользовательские сценарии, которые будет выполнять респондент в ходе теста.

Современные технологии, включая искусственный интеллект и машинное обучение, позволяют создавать адаптивные сценарии тестирования. Нейросети способны учитывать индивидуальные особенности пользователей и контекст использования продукта, что позволяет генерировать сценарии, максимально приближенные к реальным условиям эксплуатации. Такие адаптивные сценарии способствуют более точной оценке юзабилити и выявлению проблем, которые могут быть упущены при использовании стандартных сценариев.

Одним из примеров инструментов, использующих передовые технологии для оптимизации юзабилити-тестирования, является платформа UserTesting [10]. Платформа применяет методы обучения с подкреплением для динамической адаптации сложности заданий в реальном времени. Это позволяет создавать более сложные и разнообразные сценарии, что способствует более глубокому пониманию поведения пользователей и их взаимодействия с интерфейсом.

Однако, несмотря на преимущества адаптивных сценариев, следует учитывать, что искусственные сценарии могут не полностью воспроизводить хаотичность и непредсказуемость человеческого поведения. Реальное взаимодействие пользователей с продуктом часто включает нестандартные ситуации и эмоциональные реакции, которые сложно учесть при создании сценариев.

Проведение теста

На этапе проведения тестирования осуществляется наблюдение за взаимодействием пользователей с интерфейсом с целью фиксации поведенческих реакций. Юзабилити-тестирование отличается от глубинного интервью тем, что оно включает анализ как визуальных данных (поведение пользователя в интерфейсе), так и аудиоданных (вербализация мыслей и действий пользователя). Это позволяет получить более полное представление о пользовательском опыте и выявить неочевидные проблемы.

Обработка аудиочасти тестирования имеет много общего с обработкой данных глубинного интервью. Применяются аналогичные методы транскрибирования и анализа вербальных высказываний. Однако при юзабилити-тестировании важно учитывать контекст взаимодействия пользователя с интерфейсом, что требует более тщательного анализа видеоданных.

Визуальные данные играют важную роль в юзабилити-тестировании, так как они позволяют наблюдать за непосредственными действиями пользователя в реальном времени. Однако их анализ может быть затруднен из-за необходимости интерпретации невербальных сигналов и жестов. Технологии компьютерного зрения могут выступать помощником в проведении подобных тестов, выявляя подобные сигналы, подсказывая интервьюеру на что стоит обратить внимание.

Одним из перспективных направлений развития юзабилити-тестирования является использование технологии «синтетического респондента» [11]. В этом подходе ИИ-агент выступает в роли искусственного пользователя, имитирующего поведение реальных людей при взаимодействии с цифровыми продуктами.

Синтетический респондент способен воспроизводить различные сценарии использования продукта, что позволяет тестировать его на ранних стадиях разработки и выявлять потенциальные проблемы. Однако данный метод имеет свои ограничения и не может полностью заменить тестирование на реальных пользователях.

Анализ результатов

На этапе анализа результатов юзабилити-тестирования происходит преобразование необработанных данных в структурированные артефакты, включающие списки юзабилити-проблем, карты путей пользователя и приоритизированные рекомендации по улучшению интерфейса. Этот процесс является ключевым для выявления и устранения проблем, связанных с удобством использования программного обеспечения или веб-сайта. Применение искусственного интеллекта на данном этапе может значительно ускорить обработку мультимодальных данных, таких как текст, аудио, видео и метрики. Использование ИИ позволяет автоматизировать анализ больших объемов информации и выявлять скрытые закономерности, которые могут быть неочевидны при ручном анализе.

Для кластеризации и классификации юзабилити-проблем могут быть использованы передовые технологии обработки естественного языка, такие как BERT и GPT-4 [7]. Эти модели способны анализировать транскрипты аудиозаписей юзабилити-тестов, выявляя повторяющиеся жалобы и паттерны поведения пользователей. Например, ответы «не нашёл кнопку» или «запутался в меню» могут быть автоматически сгруппированы, что позволяет более эффективно выявлять проблемные зоны интерфейса.

Кроме того, компьютерное зрение, представленное семейством моделей YOLO, может быть применено для анализа визуальных аспектов интерфейса. Это позволит обнаруживать UI-элементы с аномально низкой заметностью, например, кнопки, которые пользователи игнорируют большинстве сессий.

Для создания артефактов исследования, таких как карты путей пользователя и приоритезированные рекомендации, могут быть использованы инструменты генеративного ИИ. Эти инструменты позволяют автоматизировать процесс создания наглядных и информативных материалов, что облегчает процесс принятия решений по улучшению интерфейса. Генеративные модели могут использоваться для создания визуализаций, которые наглядно демонстрируют пути пользователя по интерфейсу, а также для генерации рекомендаций по устранению выявленных проблем.

Ключевой проблемой при использовании различных ИИ-моделей для анализа данных юзабилити-тестирования является сохранение контекста при передаче данных между этими моделями. Для решения этой проблемы предлагается разработка единой мультимодальной модели, способной интерпретировать и анализировать данные различных типов, сохраняя целостность контекста. Такая модель позволит интегрировать данные из текстовых, аудио- и видеозаписей, а также визуальных элементов интерфейса, обеспечивая более глубокий и точный анализ пользовательского опыта.

Заключение

Применение искусственного интеллекта в оценке юзабилити открывает значительные возможности для оптимизации процессов исследования пользовательского опыта. Современные ИИ-инструменты, такие как языковые модели, алгоритмы компьютерного зрения и платформы для анализа данных, демонстрируют высокую эффективность в автоматизации рутинных задач: транскрибировании интервью, генерации гипотез, создании адаптивных сценариев тестирования и кластеризации проблем юзабилити. Это позволяет сократить временные и финансовые затраты, повысить точность анализа и масштабировать исследования.

Однако ключевым ограничением ИИ остаётся его неспособность полностью заменить человеческий фактор. Алгоритмы могут упускать культурные и эмоциональные нюансы, генерировать поверхностные гипотезы или создавать «иллюзию точности» из-за недостатка контекста. Этические вопросы, такие как приватность данных и алгоритмические предубеждения, также требуют внимательного подхода.

Перспективы развития лежат в области интеграции мультимодальных моделей, способных анализировать текст, аудио, видео и метрики в едином контексте, а также в создании гибридных форматов, где ИИ дополняет, а не заменяет исследователей. Например, синтетические респонденты могут использоваться на ранних этапах разработки, а генеративные модели — ускорять создание артефактов исследования.

Для успешного внедрения ИИ в UX-практику критически важно сохранять баланс между автоматизацией и экспертным контролем. Разработчикам следует ориентироваться на инструменты, которые усиливают, а не замещают человеческую экспертизу, и учитывать рекомендации по этичному использованию данных. Дальнейшие исследования могли бы сосредоточиться на преодолении текущих ограничений, таких как интерпретация невербальных сигналов и адаптация ИИ к кросс-культурным контекстам, что сделает технологии ещё более универсальными и надёжными в оценке юзабилити.

Список литературы:

1. Usability 101: Introduction to Usability// NNGroup URL: https://www.nngroup.com/articles/usability-101-introduction-to-usability/ (дата обращения: 11.04.2025);
2. When to Use Which User-Experience Research Methods // NNGroup URL: https://www.nngroup.com/articles/which-ux-research-methods/ (дата обращения: 11.04.2025);
3. Исследование пользовательского опыта с ChatGPT: мои лайфхаки, ошибки и выводы // Хабр URL: https://habr.com/ru/companies/lamoda/articles/799771/ (дата обращения: 13.04.2025);
4. Optimize UX Research: Write Interview Scripts with ChatGPT // Toolify URL: https://www.toolify.ai/ai-news/optimize-ux-research-write-interview-scripts-with-chatgpt-898390 (дата обращения: 13.04.2025);
5. AI as UX assistant // NNGroup URL: https://www.nngroup.com/articles/ai-roles-ux/ (дата обращения: 13.04.2025);
6. Распознавание речи в толке стало лучше // Контур.Толк URL: https://kontur.ru/talk/spravka/37579-raspoznavanie_rechi_v_tolke_stalo_luchshe?ysclid=mamwfa07oa903858374 (дата обращения: 20.04.2025);
7. Unveiling the Future of Text Analysis: Trendy Topic Modeling with BERT // Analytics Vidhya URL: https://www.analyticsvidhya.com/blog/2023/07/text-analysis-topic-modeling-with-bert/ (дата обращения: 20.04.2025);
8. Revolutionizing UX Design with Claude AI // Expert Beacon URL: https://expertbeacon.com/how-to-use-claude-ai-for-ux-design/ (дата обращения: 24.04.2025);
9. Top 10 AI UX Research Tools to Automate User Insights and Save Time // AufaitUX URL: https://www.aufaitux.com/blog/best-ai-tools-for-ux-research/ (дата обращения: 25.04.2025);
10. UserTesting // AITools URL: https://aitools.xyz/tools/usertesting (дата обращения: 26.04.2025);
11. Synthetic users in UX research: The future of user insights // Conflux URL: https://www.weareconflux.com/en/blog/synthetic-users-ux-research-future/ (дата обращения: 26.04.2025);