12:56
+3 C°
Пробки:   5
$
63.7185
70.7594

Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию

28 июня 2019 года
3771
Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию

Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, которая способна генерировать изображения с несколькими объектами на основе текстового описания. В отличие от более ранних подобных алгоритмов text-to-image, способных воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный исследователями Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. Технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.

Алгоритм ObjGAN находится в открытом доступе на GitHub.

 

Пресс-релизы компании

Смотреть все
Тимур Бекмамбетов и Microsoft договорились о стратегическом сотрудничестве по цифровизации кинопроизводства
15 октября 2019 года
2119
Кинокомпания Тимура Бекмамбетова Bazelevs и Microsoft договорились о стратегическом сотрудничестве в сфере цифровизации кинопроизводства. Соответствующий документ был подписан сторонами в лице Тимура Бекмамбетова и Кристины Тихоновой, президента
Искусственный интеллект поможет подобрать интерьер с фотографий и видео
29 августа 2019 года
2622
Разработчик ИИ-решений Sarafan Technology Inc., партнер Microsoft, представил не имеющий аналогов в России сервис по поиску предметов интерьера на фото и видео. Первым эксклюзивным медиапартнером интеллектуального сервиса стал бренд «Домашний о
Выпущены обновления безопасности Microsoft за май 2019
17 мая 2019 года
4666
Компания Microsoft выпустила обновления безопасности для следующих продуктов: Windows, Windows Server, Microsoft Edge, Internet Explorer, Office, SharePoint Server, SQL Server, Visual Studio, Team Foundation Server, Azure DevOps Server, Dynamics CRM/
Финальный сезон «Игры престолов» доступен к просмотру на Xbox One
23 апреля 2019 года
1947
Команда Xbox Россия и онлайн-кинотеатр Okko объявили о выпуске приложения Okko для Xbox One. Пользователи Xbox получат доступ ко всем возможностям сервиса, включая просмотр на любых устройствах под одной учетной записью, возможность приобретать не то
ИИ-виджеты Sarafan.AI теперь доступны в облаке Microsoft Azure
19 марта 2019 года
1673
Виджеты нативной рекламы от компании Sarafan Technology Inc. стали доступны для всех участников облачной экосистемы Microsoft на платформах AppSource и Azure Marketplace. Медиаплощадки и онлайн-издания могут оставить заявку на их бесплатное подключен

Свежие пресс-релизы

Смотреть все
Спецпредложение «Новогодний пакет»
1 ноября 2019
9569
1. «Новогодний пакет Cтандарт» Номер категории «стандарт» на двоих с 31.12.2019 по 02.01.2020 Ранний заезд 31.12.2019 Новогодний банкет и развлекательная программа в ресторане отеля. Стоимость пакета 14 000 рублей Брониро
Мегаплан—система управления бизнесом
7 октября 2019
19004
После кропотливого анализа предложений перед руководителем возникает дилемма, что эффективнее: довериться одной из готовых CRM-систем или разработать собственную.  Достоинства разработки CRM с нуля  - Возможность настройки практически под
Тинькофф Бизнес - экосистема банковских продуктов для предпринимателей
14 октября 2019
15561
Компания ГлобалМедиа — партнеры Тинькофф Банка, и можем предложить вам отличные условия для открытия и ведения счета для бизнеса. Тинькофф открывает счет за 5 минут, сразу можно получать деньги. На следующий день приед
Компания «Моё дело» запустила первую франшизу в Санкт-Петербурге
15 октября 2019
11964
20 марта 2019 года интернет-бухгалтерия «Моё дело» объявила об открытии первой франшизы с компанией «Поляков, Сухарев и Партнеры». Переговоры о покупке доли в одной из ведущих бухгалтерских фирм Санкт-Петербурга велись более п
В приложении «Сбербанк Онлайн» теперь можно пополнить свой индивидуальный пенсионный счет, открытый в НПФ Сбербанка
10 декабря 2019
129
Клиенты Сбербанка теперь могут пополнять свой пенсионный счет по договору индивидуального пенсионного плана в НПФ Сбербанка в мобильном приложении «Сбербанк Онлайн». Функция доступна в разделе «Инвестиции и пенсии» — &la
Лучшие пресс-службы
Ингосстрах
Новостей: 371
ВТБ
Новостей: 298
Tele2
Новостей: 118
Сбербанк
Новостей: 91
Ростелеком
Новостей: 71
Промсвязьбанк
Новостей: 70
Почта России
Новостей: 68
ESET
Новостей: 61
ИТ-ГРАД
Новостей: 55
Следуйте за нами