Jan 09, 2021 • 09:57

Нейросеть научили рисовать изображения по их текстовому описанию

Jan 09, 2021 • 09:57

Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →

Исследователи из OpenAI представили две новые нейросети — DALL-E и CLIP. Первая создает иллюстрации, фотографии и рендеры на основе простого описания. Вторая может определять предметы и классифицировать их, полагаясь на описание. Программу назвали DALL-E — это анаграмма из имени знаменитого художника Сальвадора Дали (Dali) и не менее знаменитого робота WALL-E, героя одноименного мультфильма. То есть что-то среднее между роботом и человеком.

Нейросеть DALL-E создаёт изображения из текста. Она не находит их в открытых источниках, а генерирует самостоятельно. Например, она может создать коллекцию картинок по запросу «пятиугольные зелёные часы» или «куб с текстурой дикобраза».

Для графических представлений подписей компанией OpenAI обучено программное обеспечение Dall-E. Для обучения через нейросеть прогнали набор данных из 12 млрд изображений и их подписей, которые были найдены в Интернете. Результат обучения впечатлил даже создателей.

Нейросеть способна не только определять по одному слову, что нужно нарисовать, но и формировать определенные ассоциации из словосочетаний. Тем не менее чем сложнее описание, тем хуже работает нейросеть.-