Comments 8
На всякий случай, TL;DR, пример трейнинг сета:

Содержит исключительно живые фотографии, отображая всю сложность реального мира :)
Финальный набор будет в свободном доступе.
Это вы так говорите, поскольку уже пробовали? :)

На самом деле не всегда халява, поскольку цвет десны и языка часто оказывается близок.
Пример сложнее:

Кораблик уже интересней, хотя совсем не понятно откуда такая плохая сегментация мачты.


Это вы так говорите, поскольку уже пробовали? :)

Вроде того. Накрашенные губы + макияж это наверное лучшее что можно придумать для сегментации, на самом деле. Естественная разметка, так сказать, вместе с очень удобным фоном. Нейронкам должно очень хорошо заходить, т.к. они легко учат текстуру. У вас где-то в видео, кстати, был забавный пример, где сегментация цепляет ботинки, т.к. они одного цвета со штанами.
Самая большая проблема это обветренные мужские губы с большим диапазоном движений (крики, закусывание губы и т.д.). Практически нереально разметить консистентно, т.к. зачастую не видна граница между губой и кожей + не очевидно где кончается губа, и начинается ротовая полость. Отдельно — проблемы из-за оттока крови на некоторых эмоциях.
Видео несколько спасает, но требуется очень большой фпс и отличный свет, чтобы избежать motion blur.

Кораблик уже интересней, хотя совсем не понятно откуда такая плохая сегментация мачты.

Узка мачта слишком. Кстати, это именно та проблема, которая сильно мешает с насекомыми :) Все примеры в статье и вообще — исключительно алгоритмическая сегментация. Функция принадлежности реализована как усложненная delta E. Тем не менее, чем «проще» цвет — тем лучше результат. Собственно, это и объясняет «артефакты» с близкими по цвету предметами. Если сцена позволяет, можно и так:

Результаты оч. красивые, вопросов нет, но как я уже и сказал — это относительно простые случаи.
В любом случае с нетерпением жду статьи с обзором метода, думаю будет очень интересно

Я даже больше скажу, это действительно простые случаи. Точнее, контролируемо простые. Основная идея подхода — уйти от ручной разметки фотографий и использовать видео, получив лучшую «вариативность».

1. Алгоритмическая сегментация -> 2. Тренировочный набор -> 3. Универсальная модель.

Первый шаг, вполне ожидаемо, потребует выполнения некоторых условий (контраст, цвет и т.д.). Кроме того, губы это только первый результат :) Действительно проще, чем все остальное, но даже с «простыми» случаями есть масса нюансов, которые касаются стабильности, деталей и т.д. Например:

Only those users with full accounts are able to leave comments. Log in, please.