Люди без проблем находят стилистическое сходство между совершенно разными предметами. Это базовое свойство, на котором основан, например, дизайн интерьеров. Опытный дизайнер сразу скажет, какая мебель вписывается в общий стиль комнаты, а какая не вписывается. Даже если предметы выполнены из разных материалов, люди всё равно чувствуют, что эти предметы принадлежат одному стилю.
Теперь и компьютер научился «чувствовать» такие вещи.
На конференции SIGGRAPH 2015 группа учёных из Массачусетского университета под руководством Евангелоса Калогеракиса (Evangelos Kalogerakis) представила новое программное обеспечение для 3D-моделирования с учётом стилистического сходства. Оно использует сложные методы геометрического сравнения и машинного обучения для успешного подражания человеческому «чувству стиля». Таким образом, теперь у людей появился новый инструмент для выбора обстановки в квартире, манипулируя с 3D-моделями. Каждый будет сам себе дизайнером.
Научная работа опубликована на сайте университета.
Авторы программы объясняют, что стилистическое сходство объектов выходит за рамки простого сходства в структуре. Например, на иллюстрации в верхнем ряду комод B больше подходит по стилю для кровати A, чем комод C. Среди зданий в нижнем ряду стилистическое сходство, по версии программы, проявляют здания A и C.
Программа учитывает три свойства объектов: форму, пропорции и очертания.
На основании этих параметров вычисляется коэффициент сходства между парами объектов. Например, вот как происходит сравнение по форме.
Учёные говорят, что это первая программа такого рода. Для первоначального сбора данных они обратились к краудсорсингу. Картинки в семи категориях — здания, мебель, лампы, кофейные столики, архитектурные элементы столбов, столовые приборы и тарелки — оценили 2500 человек, в том числе дизайнеры и простые пользователи через сервис Amazon Mechanical Turk. Всего было получено более 50 000 ответов. Люди соглашались друг с другом в оценке стилистического сходства в 85% случаев. С результатом компьютерного анализа люди соглашались в 90% случаев, то есть программа не уступает по «чувству стиля» человеку, и даже превосходит его.
Калогеракис с коллегами надеются, что разработанные алгоритмы найдут применение в других графических редакторах и программах 3D-моделирования. Возможно, дома и квартиры от этого станут красивее и гармоничнее.
Алгоритмы можно использовать в интернете — в поисковых системах по изображениям. Как сейчас они находят «похожие изображения» по фону и очертаниям, так смогут находить картинки и трёхмерные объекты «в том же стиле». Кроме того, программа обрабатывает и текстовые запросы, такие как [найти фотографии готической церкви].
Программой могут заинтересоваться люди из кинематографа (для создания гармоничных сцен), индустрии компьютерных игр, приложений виртуальной реальности.
Результаты тестирования алгоритма
P.S. Ссылки на код программы, архив с экспериментальными данными, презентацию, научную работу и сопроводительные материалы.
