Как стать автором
Обновить

Общий обзор архитектуры сервиса для оценки внешности на основе нейронных сетей

Время на прочтение 6 мин
Количество просмотров 8.8K
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 30

Комментарии 30

Если на двух приведенных картинках 7.71 и 5.46 это показатель няшности, можно запостить несколько примеров с оценкой >9.5 и <2.5?
Тоже стало интересно, поэтому загуглил «самая красивая девушка» — нашёл мисс вселенную и загуглил «самая страшная девушка» — нашёл рекордсменку из книги рекордов Гиннесса (но это не точно).
Ну вы наверно уже сами догадались насколько круто и точно работает алгоритм



UPDATE: ааа, я понял, простите, что не сразу догадался
#BlackLivesMatter


трансвистит


Тестируем дальше:
путин женщина мем
8.38

медведев-женщина фейс ап
6.93
Первая картинка ~200x200, кроп лица еще меньше. Попробуйте загрузить изображение с приемлемым разрешением.

Начет второго — боюсь, в таких случаях сетка и правда может работать не совсем корректно, т.к в обучающей выборке были лица «обычных» людей. Тем не менее, 5.41 — это меньше, чем 10-й перцентиль по обучающей выборке (распределение оценок при этом гауссово, но немного «сдвинуто» вправо).

Третье, с вашего позволения, комментировать не буду :)
Ок, взял фотку с википедии побольше.
оценка стала лучше аж на ... на 10%!


Есть подозрение, что более высокую оценку получают более «глянцевые» фотки, а не более красивые лица.
Ну теперь то у мисс мира хотя бы выше чем у официально самой страшной, было же меньше :)
Это просто у самой страшной теперь разрешение фотки ниже :)
нашёл большее разрешение... угадайте оценку :)

Алгоритм ширину фотки в пикселях на 100 делит?
Но все еще уступает по няшности Валуеву. Он, конечно, красавчик, но любим все таки не за это. Опять же если мисс мира не дотягивает внешностью до боксера-тяжеловеса, это какой-то альтернативный конкурс красоты.
Хотя, Валуев тут конечно - шикарен

Но здесь, на конкретно этом фото, дейтвительно, если скропить только лицо и убрать серьги, то эта «мисс» сильно похожа на мужика.
Что даёт к её привлекательности минус 100500%
Трансвестит, ну если не знать, кабы не симпатишнее мисс мира (кто ее выбрал?). К слову самой страшноватой красавицей пока признан паренек в боковом мониторе слева от трансвестита, по шкале женской сипатишности ему дали 4.
Причём если просто мужиков загружать, то оценка не выставляется. А здесь его на стене нашло и оценило :)
На самом деле сетка и мужчин оценивает. В обучающей выборке у мужчин и женщин равная доля. Вероятно, в вашем случае просто face detection не сработал.
Не-не-не, если не оценило то просто качество низкое. Вот у меня брутального Карелина посчитало нечеловечески (Übermensch?) брутальным, вот а Валуева выше вполне себе сьела, больше чем Мисс-Мира баллов получил.
Брутальный Карелин

Итоги моего эксперимента.

Алгоритм на первое место ставит толирантность и политкорректность:
самая страшная женщина мира — 9,15
трансвистит — 8,47
чернокожая женщина — 7,21
мисс вселенная — 5,78

PS: зато не засудят :)
PPS: за статью всё равно спасибо, особенно за телеграмм-бота. Всем бы так делать демки. Ловите 3 плюса.
Может это не оценка, а штрафные балы? Или там гандикап, который надо прибавлять к объективной оценке выданной безжалостным искусственным интеллектом?
чернокожая женщина — 7,21

Не думаю, что алгоритм обращает внимание на цвет кожи — скорее всего, картинки перед «оценкой» становятся черно-белыми.
Вообще не понятно, на каких данных учили, как размечали и что эти оценки значат? Возможно тут классический garbage in — garbage out.

Да. Намного интереснее было бы почитать о том, как датасет собрали, чем почему docker-swarm вместо k8s и подробные штуки.
Задача ведь реально нетривиальная. База условного тиндера с фотками и историей лайков была бы кстати, но фиг достанешь (хотя, хз, может в слитых базах Ashley Madison и были фотки).
Наверное, сразу ещё приходит мысль инстаграм парсить, но, тоже, очень сомнительная тема. Там лайкают далеко не за идеальность лица

Наверное, сразу ещё приходит мысль инстаграм парсить
И тогда самой красивой девушкой будет тарелка борща или чашка кофе с круасанами :)
Самой красивой девушкой тогда будет кот же!
Не, кот будет, если обучать на видео с ютуба.
Ответил на вопрос о структуре обучающей выборки в другой ветке.
Интересна другая сторона сервиса)
Как отреагируют некоторые слои населения на то, что нейросеть поставила низкие оценки их внешности и позволят ли это выкатить на рынок?
В телеграме это, конечно, возможно, но скорее всего многие активисты не оценят такую инициативу)

Да, это боль последних лет. Общество неблагодарно. Делаешь бесплатную фичу по распознаванию фоток и их описанию, описываешь людям сотни миллионов фоток, но стоит на одной фотке афроамериканцев дать описание "гориллы", как тебя заваливает говном пол интернета

Не совсем понятно, как делалось обучение сети. Как делалась изначальная разметка данных? Привлекательность — это ну очень субъективный параметр, один человек скажет 4, другой 8, кто прав?
Хотел уделить время на описание таких подробностей в следующей публикации, но что-то уж слишком много вопросов по даней теме.

Обучающая выборка основана на кропах лиц из публичного некоммерческого датасета “SCUT-FBP5500”, который был обогащен дополнительными данными для привидения распределения оценок к нормальному. Дополнительные данные были получены, в основном, при помощи Semi-supervised подхода (обучаемся на датасете -> скорим картинки без рейтинга -> самые адекватные добавляем в обучающую выборку -> замеряем метрики на тестовой выборке -> если необходимо, повторяем цикл)

Насчет субъективности — вы абсолютно правы, но все-таки есть определенные “стандарты красоты”, навязываемые обществом. Например, датасет, о котором я писал выше, основан на перекрестной оценке (N разметчиков разных полов, каждый из них оценивает каждое фото в выборке) и позволяет увидеть следующую картину:
image
5500 фоток всего, из которых 4000 это азиаты, — да, ниочем. Понятно, почему результаты столь слабые
Спасибо за развёрнутый ответ.
Хороший, добрый бот…
5.11 — обычная внешность:

Довольно странные критерии оценки у бота: если модель наклонила голову — оценка будет меньше. Проверьте на заглавном фото из этой статьи.

Зато «симулякр» с симметричными чертами лица, который держит голову максимально ровно, способен получить балл даже выше максимального!
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории