Нейромережа навчилася робити реалістичні фото за простими малюнками

З 18 по 21 березня в Каліфорнії проходить конференція GTC 2019, організована компанією Nvidia. На ній представники американського виробника графічних процесорів продемонстрували штучний інтелект, який опрацьовує за секунди схематичний начерк і перетворює його в фотореалістичне зображення.

Нейромережа носить назву GauGAN, яке вона отримала в честь художника Поля Гогена, чиї роботи відносять до напряму постімпресіонізму. Вона являє собою генеративно-змагальну мережа (GAN). У неї входить дві мережі, які називають генератором і дискримінатором. Генератор створює зображення, а дискримінатор, навчений на реальних фотографіях, підказує, як його виправити.

Інтерфейс програми складається з трьох інструментів: пензля, олівця і заливки. Крім них, доступні різні текстури — від неба до каменів і дерев. Досить вибрати потрібну текстуру, задати форму, залити, і нейромережа сама створить на її місці реалістичний об'єкт.

Для тренування штучного інтелекту (ШІ) використовували один мільйон фотографій, більшу частину яких взяли з порталу Flickr. Віце-президент з прикладних досліджень в області ШІ Брайан Катандзаро (Bryan Catanzaro) запевнив, що вони дотримувалися авторське право.

Творці відзначають, що нейромережа здатна змінювати час доби і пори року. Наприклад, якщо вказати зиму, то зміниться не тільки ландшафт, який тепер покриється снігом, але і небо — воно буде хмарним і сірим. Те ж стосується і дерев, які скинуть листя. При цьому GauGAN розуміє, коли об'єкти стоять перед водною гладдю, і відображає їх там. Алгоритм мультимодальний: навіть по двом однаковим ескізами він створить два відрізняються зображення.

Під час демонстрації програма виробляла всі процеси за секунди в режимі реального часу. Брайан Катандзаро сказав, що такі результати вийшли завдяки графічного процесора Titan. Однак, за його словами, з деякими доробками алгоритм зможе працювати практично на будь-якій платформі, але процес перетворення займе більше часу.

Поки GaGAN працює тільки з об'єктами природи, але автори не виключають можливості натренувати алгоритм відображення будівель, доріг, людей і інших елементів реальності. На думку Катандзаро, цей інструмент стане в нагоді ландшафтним дизайнерам, архітекторам і всім тим, хто пов'язаний зі створенням віртуальних світів. Він сподівається, що демоверсія скоро з'явиться на сайті Nvidia — AI Playground, який компанія також представила на GTC 2019.

Ви можете пройти тест, який перевірить, чи здатні ви визначити, де згенерований портрет, а де — фотографія реального людини.

Категория: Разработки