Комментарии 5
Если что, то оптические EyeTracker по вебкам (да даже по среднем камерам типа RealSence) очень нестабильные и хреновенькие. Если вы попробуете из положения глаза вычислить куда они смотрит — то получите ошибку в лучшем случае ~5 градусов (если учтёте все 3д параметры головы). А обычно хуже, градусов 10-15.
Монитор на стандартной дистанции это примерно 40 градусов. Для остальных применений web-камера вообще не пригодна.
Если вы посмотрите как делают хорошие производители (например tobii — www.tobii.com ) — это обязательно 3D сборка (2 камеры, чтобы точнее ориентацию головы определить), обязательно работа в активном ИК спектре около 700-800nm, чтобы зрачки отражали ИК освещение и были ярко светлыми (повышает качество детекции, добавляет контраста с радужкой, позволяет работать при плохом освещении). И обязательно узкое поле камер (сильно уже чем у вебки), чтобы добавить разрешения.
Там точность для консюмерских устройств уже одного градуса, что неплохо.
Только вот для использования на практике (контроль выкладыки на полках, внимание операторов) всё равно делаются сильно более сложные устройства.
В целом не советую использовать ML там где есть явные физические ограничения. Лучше сначала оценить теоретический предел точности, а потом уже искать более большие датасеты.
Ну и да, даже если точности хватит, то я бы при обучении пробовал использовать ориентацию головы, а GT лейблить не разметчиками а через тот же tobii.
Монитор на стандартной дистанции это примерно 40 градусов. Для остальных применений web-камера вообще не пригодна.
Если вы посмотрите как делают хорошие производители (например tobii — www.tobii.com ) — это обязательно 3D сборка (2 камеры, чтобы точнее ориентацию головы определить), обязательно работа в активном ИК спектре около 700-800nm, чтобы зрачки отражали ИК освещение и были ярко светлыми (повышает качество детекции, добавляет контраста с радужкой, позволяет работать при плохом освещении). И обязательно узкое поле камер (сильно уже чем у вебки), чтобы добавить разрешения.
Там точность для консюмерских устройств уже одного градуса, что неплохо.
Только вот для использования на практике (контроль выкладыки на полках, внимание операторов) всё равно делаются сильно более сложные устройства.
В целом не советую использовать ML там где есть явные физические ограничения. Лучше сначала оценить теоретический предел точности, а потом уже искать более большие датасеты.
Ну и да, даже если точности хватит, то я бы при обучении пробовал использовать ориентацию головы, а GT лейблить не разметчиками а через тот же tobii.
Собирается самим без проблем
вариант ( подошел мне даже для ваковской публикации) 1. www.dmardanbegi.com/haytham/get_started.html (accuracy+- 0.7 угл град, precision< 1 угл.град)
вариант 2. оптимальный github.com/pupil-labs
из вебок берите старые там хот мирор модульный, извлекаем просто. IR led подсветку делаем сами
Хотя конечно имеете 2000 евро лучше у купить pupil-labs.com самый дешевый на рынке
вариант ( подошел мне даже для ваковской публикации) 1. www.dmardanbegi.com/haytham/get_started.html (accuracy+- 0.7 угл град, precision< 1 угл.град)
вариант 2. оптимальный github.com/pupil-labs
из вебок берите старые там хот мирор модульный, извлекаем просто. IR led подсветку делаем сами
Хотя конечно имеете 2000 евро лучше у купить pupil-labs.com самый дешевый на рынке
double capture не обязателен модель 3d eye для проекции image имеется в dll основных open source headmounted eye trackers
openaccess.thecvf.com/content_cvpr_2017_workshops/w41/papers/Bulling_Its_Written_All_CVPR_2017_paper.pdf'
Рекомендую данную статью, делал сам модель которая предсказывала одновременно и положение головы, глаз и классификацию открытые\закрытые(multitask learning), для глаз полагался на эту статью, использовал только 2 точки — x,y — общий вектор направления на 2 глаза. Работает это все кул кроме вариантов когда человек смотрит вверх и закатывает глаза, видимо нужно все же 3д координаты и большая вариативность датасета
Рекомендую данную статью, делал сам модель которая предсказывала одновременно и положение головы, глаз и классификацию открытые\закрытые(multitask learning), для глаз полагался на эту статью, использовал только 2 точки — x,y — общий вектор направления на 2 глаза. Работает это все кул кроме вариантов когда человек смотрит вверх и закатывает глаза, видимо нужно все же 3д координаты и большая вариативность датасета
Навскидку эта задача нормально решается только аппаратно: чернобелая матрица с глобал-шаттером и ИК-подсветка. Без этих компонентов — в реальной жизни будет сплошное разочарование.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Мобильный eye-tracking на PyTorch