Pull to refresh

Comments 17

Подскажите, на каком максимальном расстоянии этот трекер может эффективно распознавать глаза?
Сейчас специально замерил — с моими глазами хорошо работает где-то до 90 см. При 120 см ещё работает, но уже нестабильно.
я так понимаю, что этот трекер отличается от просто веб-камеры дополнительным ик светодиодом?
Насколько мне известно, в современных трекерах светодиоды синхронизированы с кадровой развёрткой камеры: один кадр подсвечивается левым светодиодом, второй кадр — правым. Так проще разделять блики на зрачках. Плюс, обработка картинки (поиск зрачков, бликов на зрачках, вычисление углов, под которыми свет ИК-светодиодов падает на зрачки с учётом кривизны зрачка, измеренной при калибровке, отсечение бликов от очков и контактных линз) может осуществляться как в самом айтрекере (встроенным компьютером), так и быть возложено на компьютер, к которому он подключён. В этом трекере большая часть обработки происходит внутри, и компьютер сильно не нагружается.
Тот редкий случай, когда есть смысл поспамить ссылкой на статью на Хабре на различных специализированных форумах и группах в соц.сетях.
Очень подробное описание, даже достаточно далекие от ИТ люди смогут разобраться! Вы молодец! ;)
Вы частично повторили то что делает TobiiDynavox www.tobiidynavox.com/products/software
Можно сказать Communicator своими руками. Очень приятно что люди этим занимаются и выкладывают в опенсорс. С детального описания складывается мнение что вы пользовались или разрабатывали Communicator.
Когда я начинал работу над этой программой, не было TobiiDynavox. Были отдельно Dynavox со своим EyeMax, и отдельно Tobii. А ещё были Sensomotoric Instruments, TheEyeTribe, LC Technologies, EyeTech, Gazepoint и другие. У всех было нечто для взаимодействия с компьютером. Идеи витали в воздухе, и все друг у друга их заимствовали. Так что вы найдёте много похожего в продуктах этих компаний, хоть некоторые из этих компаний уже не существуют. Из последних поглощений: TobiiDynavox поглощает Smartbox — производителя софта для рисования озвучиваемых таблиц на экране, вроде той, что я здесь описал, но с функционалом покруче.
Неужели разрешения обычной вебкамеры недостаточно для распознавания направления взгляда? Или точность низкая? Вроде же картинки крупные используются.

На досуге как-нибудь попробую с OpenCV.
Там глаза специально подсвечивают ик-светодиодом, чтобы выделить зрачки (они очень хорошо ик отражают). Затем на камере стоят фильтры. В итоге на изображении остаются два ярких пятна. По отклонению которых от окружности можно судить о направлении. А без этого скорее всего слишком шумно будет — разрешение сильно пострадает. И к тому же, как писал автор выше, эта штука сама занимается трекингом зрачков, что не будет процессор грузить.
Если я правильно понял, Tobii «заточен» под игры, и точность трекинга там нужна высокая. А если на экране всего 4-10 огромных иконки, то все должно быть гораздо проще.

В статье совсем не раскрыты возможности их SDK, сложно понять что же в итоге сделал автор кроме подмены DLL :)
В качестве проекта выходного дня можно попробовать. Можно раздербанить пульт от телека. Особенно классно, если в нем есть крышечка-фильтр (вроде такого). Взять оттуда светодиод и фильтр. Фильтр нацепить на вебку, а светодиод через резистор к транзистору. Запитать от usb, а транзистором управлять можно от звуковухи. Вычитаем подсвеченное и неподсвеченное изображения и должны получить зрачки. потом контуры выделяем по ним строим окружности. и почти все готово.
Попробовал с обычной web-камерой и готовым кодом с классификатором хаара под opencv. Да, не работает. Лево-право движение глаза еще как-то распознает, вверх-вниз практически нет.
У Tobii очень много разных айтрекеров заточенных под разные потребности. От простых дешевых с 30 фпс с апрограмным контроллером до очень дорогих с 1000 фпс с апартным модулем обработки. Также выпускают айтрекеры встроенные в оправу очков и работают над VR шлемами.
Может для человечества ещё не всё потеряно, раз есть люди готовые помогать таким образом другим людям, а не тупо извлекать коммерческую выгоду.
Автор молодец!
UFO just landed and posted this here
Это, действительно, важно знать, спасибо.

Однако, когда я последний раз смотрел на то, что они сделали, программа была сыроватой:

— не было поддержки русской (кириллической) клавиатуры

— кнопки были маленькими, при нестабильном определении направления взгляда
пользоваться такой клавиатурой было крайне сложно:



Интересно сравнить с моей программой образца 2014 года: клавиши гигантские, есть режим увеличения куска клавиатуры, если трудно попасть взглядом в кнопку («клавиатура в 2 шага»), ну и ряд других тонкостей, которые появились, как ответ на замечания от реальных людей (например, режим «спать», когда парализованный человек устаёт от светящего на него экрана и хочет его сделать тёмным, но выключить его руками не может).

Забавно, что в справке к программе от Microsoft они написали фразу «Привет! Как дела?» (см. рисунок выше), прямо как писал я в давней статье, хотя русской клавиатуры у них нет.



Но ничто не стоит на месте, надеюсь, что доведут до ума.
Sign up to leave a comment.

Articles