Image-to-Image — нейросеть, которая превращает каракули в «фотографии» котов, домов, ботинок и сумок
Не проходит и недели, чтобы кто-нибудь не придумал очередной трюк с новомодными глубокими нейросетями — в качестве серьезного исследования или просто ради забавы. На этот раз нам предлагается нарисовать один из предметов, чтобы посмотреть, как компьютер превратит его в нечто вроде очень странной фотографии, собранной нейросетью по кусочкам из реальных снимков.
Перед нами четыре поля для рисования, каждое из которых скармливает накарябанную мышкой картинку нейросети, натренированной на определенном датасете. Это могут быть фасады домов (facades), кошки (edges2cats), ботинки (edges2shoes) и сумки (edges2handbags). Очисть поле кнопкой Clear, нарисуй что-нибудь и жми Process.
Конечно, первым делом хочется попробовать нарисовать кота. Я окрестил свое первое творение «Кот Свиборга».
С ботинком получилось менее занимательно.
Что ж, это и правда напоминает башмак, приснившийся измученному компьютеру.
Больше всего мне понравилось рисовать фасады. Их нужно не выводить карандашиком, а составлять из заранее условленных блоков: стены, двери, окна, подоконники, наличники, ставни, балконы и так далее. Идеально, чтобы делать криповатые дома!
Автор проекта — Кристофер Гессе, известный как основатель стартапа Pushbullet. Для реализации своей идеи он использовал гугловскую библиотеку TensorFlow и программу pix2pix, которые, собственно, и делают всю работу. Готовая конфигурация с некоторыми изменениями называется pix2pix-tensorflow и опубликована на Гитхабе Гессе. Доступен также готовый Docker-контейнер с уже установленными и настроенными программами.