В «Яндексе» начался период масштабных обновлений: сначала компания впервые за 13 лет обновила логотип и айдентику, после запустила социальную инициативу в «Яндекс.Видео», а затем и улучшила «Яндекс.Браузер», научив его распознавать и переводить текст на картинках. Сегодня очередной трансформации подверглось основное приложение «Яндекса» — в нем появилась «умная» камера с широким функционалом. Она предназначена не для того, чтобы делать фотографии, как могло бы показаться на первый взгляд — камера может идентифицировать предметы и искать нужную пользователю информацию о них.
Визуально инструмент выглядит как обычная камера мобильного телефона, и у него есть три режима: «Поиск по фото», «Сканер» и «Перевод». Первый позволяет распознавать предметы, которые попали в объектив. После наведения камеры система отметит объекты, которые смогла опознать, и предоставит доступную информацию о них. К примеру, если вы сфотографировали сумку, приложение покажет, где ее можно купить, а заодно и составит подборку похожих по форме или цвету моделей. С тем же успехом можно выяснить название породы собаки, архитектурного памятника, растения и вообще чего угодно. Все это можно сделать в режиме реального времени, а при желании фото интересующего вас объекта можно загрузить из галереи смартфона.
Название «Сканера» говорит само за себя — он позволяет быстро сделать виртуальную копию какого-либо документа, а «Перевод» распознает на текст на незнакомом языке, прогоняет его через «Яндекс.Переводчик» и выдает пользователю в более понятном виде — переведенный текст на русском языке накладывается на исходное изображение. Области применения такого инструмента бесконечны: его можно использовать для того, чтобы перевести надписи на указателях, тексты с продуктовых этикеток или страниц книг и журналов.
Чтобы все это стало возможным, разработчики «Яндекса» объединили в «умной» камере три разные технологии — компьютерное зрение, машинный перевод и поиск. Они помогают инструменту «понять», что находится на фото, а после обработать изображение и найти информацию о том, что на нем размещено. Используют для этого нейронные сети, обученные на огромном количестве примеров.
Камера уже доступна в мобильном приложении «Яндекс» как для iOS, так и для Android-устройств. Найти ее можно на панели виджетов, расположенной прямо под поисковой строкой.