Из последнего: стартап Osmo, дочернее предприятие Google Research, представил нейросеть-парфюмера, которая может «чувствовать» запахи и создавать новые. Также у корпорации есть PaLM — собственная языковая модель и по совместительству конкурентка GPT-4 от OpenAI, Imagen — нейросеть для генерации изображений по описанию вроде DALL-E 2, а еще MusicLM — ИИ, способный создавать музыку по текстовому описанию и по изображениям. Это лишь часть имеющихся инструментов, но даже по такой выборке видно, что у Google есть нейросети на любой вкус. Однако этого разработчикам оказалось недостаточно, и они запустили еще одну — ту, что называется StyleDrop.
StyleDrop — это инструмент, который позволяет генерировать высококачественные изображения на основе текстовых подсказок в любой заданной стилистике. О том, что это за нейросеть и как она работает, авторы рассказали на GitHub-странице проекта. Вкратце: StyleDrop работает на базе другой text-to-image модели Google под названием Muse. Преимущество нового инструмента в том, что он крайне универсален и внимателен — фиксирует нюансы стиля пользователя: цветовые схемы, шаблоны дизайна, различные эффекты. Благодаря этому StyleDrop может идеально копировать стилистику автора, даже если показать ей всего одно изображение-референс. Кроме того, нейросеть способна улучшать качество картинок с помощью обратной связи от пользователя или автоматически. Все это, говорят в Google, делает ее лучшей среди аналогов вроде DreamBooth и Textual Inversion на Imagen или Stable Diffusion.
В доказательство превосходства StyleDrop разработчики поделились на сайте примерами ее работ. Нейросети давали эталонное изображение, в качестве которого использовали буквально все: от детских рисунков до работ известных художников, от логотипов до абстрактных линий. Затем StyleDrop давали текстовые описания. Ее задачей было и будет создание изображения на пересечении: чтобы оно соответствовало и текстовой подсказке и визуальной стилистике. Так, если показать инструменту цветочки, нарисованные ребенком, каждое его изображение будет будто бы нарисовано акварелью на листке бумаги с неровными линиями и неаккуратными штрихами. А если в качестве примера задать «Звездную ночь» Ван Гога, все сгенерированные картинки будут в сине-желтых тонах с узнаваемыми мазками и округлыми формами.
В Google заверяют, что StyleDrop в первую очередь полезен владельцам бизнесов. Нейросеть можно тренировать на стилистике компании, чтобы она активно генерировала идеи новых логотипов, шрифтов и работала над другими визуальными задачами в фирменном стиле.