ЦЕЛЕСООБРАЗНОСТЬ ПРИМЕНЕНИЯ РАСШИРЕНИЯ НА ОСНОВЕ НЕЙРОСЕТИ ДЛЯ ПОИСКА НУЖНОЙ ФОТОГРАФИИ

АННОТАЦИЯ

Каждый день люди делают миллионы фотографий, выставляя их в соцсети. Люди сохраняют, нужную им, информацию, но всегда ли получается её найти? У некоторых людей на телефонах бывает не сотни, а тысячи фотографий. Некоторые из них так и остаются ненайденными. Для таких случаев в этой статье предлагается применение расширения на основе нейросети, которое будет автоматически создавать хештег, чтобы было легче находить эти фотографии.

ABSTRACT

Every day, people take millions of photos by posting them on social networks. People save the information they need, but is it always possible to find it? Some people have not hundreds, but thousands of photos on their phones. Some of them have never been found. For such cases, this article suggests using a neural network-based extension that will automatically generate a hashtag to make it easier to find these photos.

Ключевые слова: Нейросеть, хештеги, поиск, фотографии.

Keywords: Neural network, hashtags, search, photos.

В данное время очень распространены такие соцсети, как «Инстаграм», в которых миллионы или даже сотни миллионов фотографий. Каждый человек встречался с такой проблемой, что некоторые фотографии просто не получается найти, так как их очень много в их галереи. Конечно, можно ставить хештеги для каждой фотографии, но придумывать записи, по которым будет удобно искать, не очень хочется. Для этой проблемы в этой статье предлагается создать такое расширение на основе нейросети, которое будет автоматически ставить хештеги, формировать описание для фотографий или видео, чтобы любой человек, который пожелает найти какой-либо материал, сможет с легкостью это сделать.

Нейронная сеть — это последовательность нейронов, которые соединены между собой синапсами. Структура нейронной сети пришла в мир программирования прямиком из биологии. Благодаря такой структуре, машина обретает способность анализировать и даже запоминать различную информацию. Нейронные сети также способны не только анализировать входящую информацию, но и воспроизводить ее из своей памяти [1].

Именно на основе нейросети мы предлагаем сделать такое расширение, так как нам нужна такая система, которая будет улучшаться, основываясь на своих же результатах. В этой статье мы будем основываться на разработке Копалейшвили Артёма Георгиевича. Он был руководитель такого проекта, как «iHashBot». Это бот, который был разработан с помощью нейросетей для того, чтобы предлагать человеку хештеги к фотографиям [2].

В проекте используется, так называемая, «Сверточная нейронная сеть». Сверточная нейронная сеть имеет такую архитектуру, которая позволяет ей максимально эффективно распознавать образы. Сама идея сверточной нейронной сети заключается на чередовании сверточных и субдискретизирующих слоев, а структура является однонаправленной. Сверточная нейронная сеть названа от операции свертки, которая предполагает, что каждый фрагмент изображения будет умножен на ядро свертки поэлементно, при этом полученный результат должен суммироваться и записаться в похожую позицию выходного изображения. Такая архитектура обеспечивает инвариантность распознавания относительно сдвига объекта, постепенно укрупняя «окно», на которое «смотрит» свёртка, выявляя всё более и более крупные структуры, и паттерны в изображении. По информации самой компании проекта, точность распознавания объектов составляет свыше 90% [3].

Далее, после того как нейронная сеть узнала, что изображено на фотографии, ей надо узнать, какие именно хештеги следует предложить. Для этого была сделана огромная база данных из фотографий и самих хештегов. Нейросеть, по сути, должна находить похожую фотографию, а затем на основе хештегов из базы данных, которые прикреплены к этой фотографии, уже предлагать информацию [4].

Сперва у проекта был первый алгоритм, который работал не так корректно, как хотелось бы. Хештеги были очень похожи между собой, а материал, по которому нейросеть искала, был мал. После этого команда переписала алгоритм поиска и теперь хештеги показывает корректно, они стали разнообразными, а нейросеть теперь опирается на множество деталей из фотографии [2].

Рисунок 1. Примеры работы двух алгоритмов нейросети

Этот проект очень внушительный и был бы очень полезен в широком использовании, но пока что он создан только в рамках бота. На основе системы этого бота можно было бы сделать автоматическую генерацию хештегов и описания для фотографий в простых телефонах. Только вместо базы данных хештегов из разных соцсетей нужно использовать обычное описание объектов для комфортного поиска.

Те же самые технологии справедливы и в отношении видеоматериала. Там тоже нейросеть будет находить ключевые объекты и по ним уже строить описание и хештеги. Только тут уже можно будет добавить функцию распознавания по звуку, как делала компания «iNaturalist». Они использовали нейросети для распознавания животных по звуку, это продемонстрированно в их приложении «Seek».

В итоге мы бы получили такое расширение, которое могло бы распознавать объекты на фото или видео, делать к ним хештеги и генерировать описание. С его помощью можно было бы за секунды находить нужный материал в телефоне или соцсетях, что очень бы облегчило жизнь.

Далее мы провели несколько опросов, чтобы узнать, как люди отнеслись бы к внедрению такого расширения в их телефоны.

Рисунок 2. Результат опроса №1

В перовом опросе была задача узнать, нужно ли вообще предлагать людям такое расширение. Оказалось, что у 57.6% опрошенных фотографий на устройствах хранятся очень много, поэтому им очень неудобно искать из них то, что им нужно. 30.3% сказали, что у них не так много фотографий, но все равно неудобно, так как на поиск может уйти несколько минут. И только 12.1% чистят фотографии, так как в них нет никакой полезной информации.

Рисунок 3. Результат опроса №2

Уже после второго опроса хотелось бы узнать мнение людей о таком расширении по поиску фотографий, когда о них рассказали. Оказалось, что большинство было бы довольно такому нововведению. Далее только пятая часть не очень уверена в его пользе. И только 10% считает, что оно не будет помогать.

В результате исследования, что технологии для расширения по поиску фотографий, уже разработаны и проходят эксплуатацию. А опросы показали, что такое расширение было бы полезно большинству людей, так как большая часть общества тратит в среднем по 2-3 минуты на поиск одной фотографии в своих галереях, а мы не говорим про видео, где нужно еще тратить время на просмотр самого видеоматериала. Это расширение предлагается ввести во все соцсети, а также на телефоны в обычную галерею, с возможностью отключать, так как нейросеть должна работать почти всегда, а это может пагубно влиять на состояние самого телефона.

Список литературы:

1. Арсин. Нейросети для начинающих // Habr —2018. [электронный ресурс] — URL: https://habr.com/ru/post/312450/ (дата обращения: 15.05.2021)
2. Общество. Искусственный интеллект находит хештеги по фото // Яндекс.Дзен — 2020. [электронный ресурс] — URL: https://zen.yandex.ru/media/id/5ae9d7791aa80cd30aa76407/iskusstvennyi-intellekt-nahodit-heshtegi-pofoto5b2f9cee87e21000a 9566be8 (дата обращения: 15.05.2021)
3. Общество. Нейронные сети: распознавание образов и изображений c помощью ИИ // Центр2М — 2020. [электронный ресурс] — URL: https://center2m.ru/ai-recognition (дата обращения: 15.05.2021) Центр2М: https://center2m.ru/ai-recognition — Нейронные сети: распознавание образов и изображений c помощью ИИ
4. Общество. Нейронная сеть // Wikipedia — 2011. [электронный ресурс] — URL: https://ru.wikipedia.org/wiki/%D0%9D%D0%B5 %D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C (дата обращения: 15.05.2021)