Продолжаем наш с Яндекс Образованием цикл интервью с теми, кто задает тренды цифрового мира — ML-щиками и датасаентистами, выпускниками Школы анализа данных. В этот раз встретились с Ромой Горбом — старшим разработчиком из команды ускорения YandexGPT. Обсудили карьерную траекторию и тренды ИИ, а также вспомнили Джарвиса из «Железного человека» и помечтали о будущем.
Говоря о своей работе, ты представляешься как своего рода фитнес-коуч для нейросети YandexGPT. Расскажи подробнее, что ты делаешь.
Фитнес-коуч — это человек, который помогает эффективно использовать энергию и оставаться в классной форме. В этом смысле люди и LLM или GPT-модели похожи. И у тех и у других есть возможности для прокачки, улучшения имеющихся данных.
Современные нейросети очень большие, за счет чего очень умные. Поэтому они называются Large Language Models (LLMs). Из-за их размера им необходимы достаточно дорогие большие вычислительные ресурсы для корректной работы. Чтобы создать инфраструктуру, нанять умных ML-щиков и реализовать задуманное, тратятся миллионы рублей. Поэтому экономия десятков процентов на таких масштабах представляет довольно ощутимую коммерческую ценность в масштабах такой компании, как Яндекс. Моя задача — добиться этой экономии, что позволит нам радовать пользователей более быстрой работой и запускать больше продуктов.
Какую часть твоей работы замечают пользователи? Что становится видимой вершиной айсберга в разработке и тренировке нейросети?
На самом деле всего, что связано с оптимизацией ресурсов, пользователи обычно не видят.
Они могут только порадоваться, что все быстро работает. Сейчас в индустрии такие стандарты, что что-то плохое даже не дойдет до продакшена. То, что появляется в доступе, априори хорошо работает. А все улучшения, которые постепенно происходят под капотом, пользователь, скорее всего, не заметит.
Для компаний же вся подводная часть айсберга имеет огромную коммерческую выгоду. Если еще вчера они тратили Х денег, а сегодня уже только половину от этой суммы, значит, высвободились ресурсы, которые можно пустить в другое направление. Например, внедрить LLM в поиск или реализовать любую другую идею.
Еще один фактор, который говорит о том, что нашу работу заметили и оценили, — это когда люди проводят больше времени в сервисе, а рекламодатели становятся активнее. Когда мы видим такие положительные результаты, хочется еще сильнее ускорять все и двигаться дальше.
У тебя есть рабочие проекты, которыми ты гордишься? Какие?
Пару лет назад мы делали для портала Яндекса карточки с краткой биографией знаменитостей — их иногда можно увидеть рядом с результатами поиска, когда вбиваешь то или иное имя селебрити. Чтобы сделать карточку реально краткой, надо перелопатить весь необъятный интернет как раз с помощью LLM. Это был один из первых кейсов успешного внедрения технологии в компании. Тогда вся работа над ML-ной частью проекта была на мне и в процессе удалось придумать много прикольных идей.
Одна из них, кстати, превратилась в патент на изобретение в РФ. В своем проекте мы одними из первых в мире начали работать с источниками в «диком интернете» и обучать LLM-ки вынимать, перерабатывать информацию из них и генерировать полезный ответ. Сейчас такой подход называется RAG — Retrieval Augmented Generation.
Очень быстро мы поняли, что самой главной проблемой является желание модели выдумать несуществующие факты, выглядящие очень правдоподобно. Обычно такие ситуации называются галлюцинациями модели. Сегодня с такой проблемой приходится бороться в каждом внедрении генеративного ИИ в продакшен. В 2021 году мы поняли, что для решения задачи нам как минимум необходим компонент, который будет проводить фактчекинг имеющихся генераций. То есть он должен проверять, что факты в сгенерированном тексте — правда и есть источники, которые это подтверждают. В простейшей версии мы обучили модель, в которую правильно подаем контексты из источников, саму генерацию и учим ее отличать фейки от правды. Нам пришлось тогда задуматься: «А как формализовать что такое правда и что такое фейк?». Мы собрали под такую задачу разметку и обучили модельки. После этого мы наш подход обобщили и расширили, что пошло в финальную патентную заявку.
Расскажи, как ты попал на эту работу? В детстве сидел и мечтал ускорять нейронки?
Почти так и было! Я был уверен, что буду заниматься чем-то инженерным, и не важно, что это будет — ракеты, космолеты, что угодно. Все детство я играл с lego, мне нравилось разбирать конструкторы и собирать их обратно. Причем желательно не по инструкции, а самому: собрал свой велосипед из разных деталей — и он поехал. Круто, если он еще и сделан как-то получше, чем тот, что предлагался в инструкции.
Я прошел путь классического олимпиадника: в средней школе, когда высвободилось время после музыкалки, родители отправили меня заниматься в разные олимпиадные кружки, как когда-то мою старшую сестру. Я сразу попал на математику, потом подтянулось программирование и я не на шутку увлекся. Перефразируя слова Ромы Михайлова (российский математик, профессор РАН, а также сценарист кино и театральный режиссер. — Прим. SRSLY), меня взяли в уличные банды, я начал носить широкие штаны, меня начали уважать девочки и вот это все… (Смеется)
В общем, я втянулся в технические науки, ездил на кучу олимпиад и летних школ, меня практически не бывало дома с какого-то момента. Я выиграл две российские олимпиады и однозначно понял, что я хочу заниматься IT. Причем не просто писать код, а делать что-то наукоемкое. Поступил на физтех (МФТИ. — Прим. SRSLY) я потому, что там был самый большой выбор направлений и самый высокий, с точки зрения сложности, уровень.
Изучив и попробовав кучу всего, я долго не мог решить, чем конкретно хочу заниматься. А потом увидел ML и возрадовался. Машинное обучение интересно тем, что там есть как инженерные, так и околоматематические задачи, в него интересно погружаться. Погружению в ML я во многом обязан ШАДу (Школа анализа данных от Яндекса. — Прим. SRSLY), где можно не только глубоко изучить сферу, но и попробовать что-то в связанной с этим инфраструктуре.
После учебы я работал в HUAWEI, где мы тоже занимались ускорением сеток. Там я понял, что заниматься ускорением LLM — это крайне нужная задача прямо сейчас. Недавно я ездил на конференцию, где, по моим ощущениям, треть всех работ (а там их около тысячи!) так или иначе были связаны с оптимизацией ресурсов, и там было что посмотреть. Сфера не останавливается ни на минуту, моделей становится больше, ускорять их надо еще больше. В общем, все идет вперед.
А расскажи подробнее про ШАД. Что ты изучал и как погрузился в сферу ML?
В целом, наше направление — трек Data Science (на этом направлении студенты проходят статистику, машинное обучение, работают с разными типами данных. — Прим. SRSLY) — призвано вызвать у людей реакцию: «Ого, компухтеры теперь И ТАКОЕ УМЕЮТ». То есть мы сегодня решаем с помощью компьютеров задачи, которые еще вчера мог сделать только человек и обычно тратил на эту кучу сил. Например, раньше доставку еды выполняли только курьеры, а теперь это могут делать милые короба на колесиках (наши роверы). Такси могут ездить по улицам самостоятельно. Такие применения расширяют возможности и позволяют закрыть недостаток рук в загруженных областях, выполнять какую-то физически непростую работу.
Это я и делал в ШАДе два года. Было сложно: твоя жизнь состоит из интенсивного освоения теории, которую надо переварить и сразу же научиться применять в реальных проектах. Плюс индустрия очень быстро развивается, а это значит, что теория, которую ты получаешь, тоже постоянно обновляется – и вы с преподавателями в постоянном коннекте, обмене. Динамика высокая, но вокруг тебя мощное комьюнити заряженных ребят, которым так же сложно, но которые так же продолжают идти.
Коммьюнити ШАДа, пожалуй, начинается с чатиков по курсам (мимо этого сложно пройти). В них ты всегда можешь написать любой вопрос по теме и наверняка получишь ответ, потому что хотя бы один из 100500 умных ребят его уже зашарил и готов поделиться объяснением. Лично меня такое отношение дополнительно мотивирует, потому что дает важное понимание — я не один.
Помимо учебы в ШАДе можно найти море единомышленников. В целом после выпуска очень часто ловишь себя на мысли, что лица то вокруг все знакомые: на работе, пролистывая статьи, на конференциях (причем не только российских, но и мировых). В какую бы точку на карте ты ни отправился, стоит только написать в чатик выпускников — и обязательно найдешь шадовцев «на базе», чтобы встретиться и пообщаться.
У тебя много увлечений помимо работы. Бывает такое, что твои хобби оказываются полезны в профессиональном плане?
Наверное, явно это никогда не происходит. Обычно такие взаимосвязи замечаешь случайно, как бы неосознанно.
Обучение в музыкальной школе, например, может развить в человеке математические способности. Если серьезно заниматься и не бояться слова «сольфеджио», то возникнет естественное желание что-то посчитать, упорядочить, заметить систему. Плюс, музыка развивает слух, вкус, многозадачность. Все это дает импульс на будущее. И чем выше этот импульс в человеке, тем проще ему ехать в свое светлое будущее.
Из всех своих многочисленных увлечений главное, что я почерпнул, — это то, что нужно уметь балансировать. Жизнь, работа, увлечения — все это должно взаимодействовать так, чтобы ты не выгорал и был счастлив. Если я пойду пострелять в тире, это едва ли пригодится мне в работе с нейросетями, но на мое ментальное здоровье повлияет в лучшую сторону.
Как людям из креативных индустрий можно заколлабиться с ИИ-спецами?
Мне кажется рабочий вариант — ходить на мероприятия по ML. Яндекс и другие компании много таких проводят. Там всегда есть секции со свободным общением, лично я всегда готов обсудить классную идею/приложение и даже поделать что-то «руками» в свободное время, если заинтересует.
Ну и да, linkedin и запрос «ml engineer/ml разработчик» не стоит сбрасывать со счетов.
Что делать тем, кто не занимаются нейросетями, но хотят иметь возможность пользоваться этим новым инструментом? С чего начать?
Будь я неайтишником, наверное, начал бы с применения современных AI-решений в своей текущей области: попробовал улучшить какие-то базовые задачи, которые не хочется делать самостоятельно.
Нынешние возможности автоматизации рутины в digital-профессиях довольно впечатляющие, наверняка получится собрать какой-то прототип буквально за считанные часы. Как раз в процессе можно немного глубже понять, как именно писать запросы к современным сеткам, чуть-чуть погрузиться в «искусство промптинга».
Как первый шаг — просто заходишь и пользуешься теми же «Шедеврумом», «Нейро», «Алисой». Там нет сложных сокращений, все просто и понятно, это отличная возможность начать использовать нейросети.
Отследить все тренды не получается даже у тех, кто варится в этой теме 24/7, настолько все быстро развивается. Обычному пользователю можно просто осваивать те нейросети, которые ему доступны. Все самое важное из мира технологий само вас нагонит.
Как человек, который сам занимается этой сферой, какие тренды ты видишь, о которых скоро будут говорить все?
Их очень много, все не охватить, но я попробую назвать самые яркие.
Главный тренд — это развитие мультимодальных нейросетей.
Сейчас многие модели работают одновременно с аудио, видео, картинками, текстами, Это дает более полную картину мира и влияет на качество результата, который получает пользователь. А тем, кто эти нейронки учит, такие модели позволяют разогнаться в работе — то есть эффективнее обучать нейронки, оптимизировать ресурсы на это.
Второй тренд — это, конечно, оптимизация, которой я и занимаюсь. По информации годовой давности, Open AI тратит только на поддержание своего сервиса 700 тыс. долларов в день. Это огромные затраты, которые любая компания хочет снизить. Над этим работает огромное количество специалистов, создаются целые стартапы, занимающиеся этой темой.
Третий тренд, который я бы выделил, — поиск эффективных сценариев, в которых LLM-ки/нейросети помогают людям решать их задачи в разных сферах жизни и поэтому становятся востребованным продуктом. Огромное число специалистов думает над этим.
У тебя есть мечта, связанная с профессией? Например, реализовать какой-то проект или увидеть в реальности технологии, о которых можно пока только мечтать?
Я бы хотел, чтобы технологии однажды дошли до такого уровня, чтобы виртуальный персональный помощник был доступен в любых обстоятельствах. Без сложных устройств, кучи кнопок и действий, а просто доступен в любой момент. Наверное, лучшее сравнение, которое можно тут придумать, это JARVIS из «Железного человека». Иметь такого Джарвиса, которому ты просто задаешь вопросы и даешь поручения, а он их решает, было бы мегакруто. Увидим, каким именно будет Джарвис будущего.
—
photo : Ник Паустовский @nikpaustovskiy
style : Павел Бабак @pavelshnobel @styling_kit_
style assistant: Яна Гнусова @gn.yana
muah : Дарья Мезенцева @oldvvolna
art dir : Валерия Лехнер
Реклама. ООО «Яндекс» | ERID: F7NfYUJCUneLuWKNm2sB