Источник: cunicode
Бернат Куни, исследователь в области цифрового дизайна и экодизайна, работающий в студии cunicode, обучил нейросеть на иллюстрациях жуков, которые он взял из энциклопедии. После этого машина смогла сгенерировать собственные изображения.
Как пишет Бернат Куни, ранее он уже экспериментировал с различными нейросетями, включая DeepDream, созданную инженером Google Александром Мордвинцевым, и StyleTransfer. Однако позже он обнаружил материал под названием «Машинное обучение для художников» (Machine Learning for Artists) и решил поработать с генеративно-состязательной сетью (GAN) с использованием зоологических иллюстраций.
Дизайнер воспользовался материалами сайта Biodiversity Heritage Library, где он обнаружил книгу «Биология Центральной Америки: зоология, ботаника и археология», размещенную на archive.org и содержащую, по его словам, фантастические иллюстрации жуков, которые можно было свободно использовать. С помощью инструментов OpenCV и ImageMagick ему удалось извлечь каждую отдельную иллюстрацию и создать центрированные квадратные изображения.
Сначала Бернат Куни попробовал сгенерировать новые изображения на основе извлечённых из энциклопедии с помощью нейросети Convolutional Generative Adversarial Network (DCGAN), воспользовавшись лекцией The Neural Aesthetic (Lecture 6: Generative models). Результат его не устроил. По словам Берната Куни, несмотря на множество настроек и потраченное время, сгененированные жуки получились «безобразными, как тараканы».
Тогда он решил отказаться от DCGAN и попробовать нейросеть StyleGAN. Куни натренировал инструмент на изображениях размером 128х128 пикселей. Результаты, по его словам, получились намного лучше, но искусственные жуки оказались совсем крошечными.
«Результаты были интересными и завораживающими, но жуки размером 128 пикселей были слишком малы, поэтому проект несколько месяцев находился в толстой папке IdeasForLater на моем ноутбуке. Параллельно я экспериментировал с приложением Runway, фантастическим инструментом для творческих опытов с машинным обучением. Я загрузил в него датасет картинок с жуками и обучил нейросеть на картинках со стороной 1024 пикселя. Для обучения потребовалось три тысячи изображений, и результаты были очень хорошими», — пишет дизайнер.
Он отметил также, что GAN может генерировать огромное количество жуков. Некоторые результаты своих работ он опубликовал в Makersplace как предметы коллекционирования. Стоимость одной коллекции жуков составляет от $65 до $409. Также он извлёк несколько кадров из видеороликов, демонстрирующих работу нейросети, и сделал из них постеры.
«Эти кадры выглядят замечательно в качестве принтов и постеров в рамке», — считает Бернат Куни. Принты и постеры со сгенерированными нейросетью жуками сейчас доступны на сервисе Society6 в шести размерах, в рамках белого или черного цвета. Цена на них варьируется от $53 до $184 в зависимости от размера. Также жуков можно приобрести на сайте по продаже хендмейда Etsy.
Помимо этого, Бернат Куни опубликовал на своей странице ссылку на модель, с помощью которой каждый желающий при использовании Runway сможет сгенерировать жуков самостоятельно.
