Нейросеть которая рисует

Система работает благодаря алгоритму, который учитывает важные детали описания, и подробно описана в препринте на arXiv.

Очень часто в основе создающих изображения алгоритмов лежат порождающие состязательные нейросети (также их называют генеративно-состязательными, GAN — generative adversarial networks) — разновидность искусственных нейронных сетей, нейросеть состоящих из генератора и дискриминатора.

Архитектура AttGAN. Изображение: He et al. / arXiv 2017

Задача первого — создавать новые объекты, похожие на объекты из обучающей выборки, доступа к которой у него нет, а задача второго — решить, принадлежит ли сгенерированный объект к классу объектов из доступной ему обучающей выборки, и дать соответствующий сигнал генератору. На основе такого алгоритма нейросеть которая рисует создаются программы, которые умеют рисовать оригинальные произведения искусства, создавать трехмерные модели местности и даже превращать наброски в фотореалистичные портреты.

Разработчики из исследовательского отделения Microsoft под руководством Сяодуна Хэ (Xiaodong He) для создания изображений из текстового описания разработали новую разновидность GAN-нейросети: внимательную GAN (attentional GAN, AttGAN). В отличие от уже существующих алгоритмов, которые генерируют изображения из целого описания, превращая его в один вектор-предложение, новый алгоритм обращает внимание на детали: то есть оценивает каждое слово в описании и рисует изображение на их основе.

Изображения: He et al. / arXiv 2017

Разработчикам, таким образом, удалось показать эффективность нового алгоритма создания изображений на основе описания и отдельно — эффективность добавления в нейросеть «внимательной» составляющей.

Недавно исследователи из Сеульского университета представили другую нейросеть, которая из текстового описания действия генерирует трехмерную модель его выполнения. Полученную модель затем можно использовать для того, чтобы заставить двигаться робота.

Елизавета Ивтушок.

Читайте также: Искусственный интеллект впервые обошел человека в тесте на понимание прочитанного и Всего за 4 часа ИИ Google научился играть в шахматы и стал чемпионом мира


Поделись с друзьями



Рекомендуем посмотреть ещё:


Закрыть ... [X]

Нейросеть превращает рисунки в «настоящих» котов Naked Раскраска фото маша и медведь

Нейросеть как услуга. Онлайн-сервисы по стилизации Нейросеть AttnGAN рисует объекты по частям, используя Нейросеть превратит слова в движения роботов Нейросеть, которая рисует вместе с вами 25 моделей с капюшоном связанных спицами для детей и взрослых ArtOfWar. Карцев Александр Иванович. Шелковый путь Psychoterapy Journal Архетипические стадии большого круга мандалы Дж Белый френч с рисунком: модные тенденции и фото

ШОКИРУЮЩИЕ НОВОСТИ