Распознавание алфавита глухонемых с помощью нейронной сети

[perfect_genius]

буквы «ё» вообще нет в алфавите

Потому что картинка и алфавит явно советского периода.

По идее, можно ведь и как с И и Й - крутить "колодец".

Может, кто-то пробовал делать перчатку, которая распознаёт эти движения?

[nulovkin]

Забавно, это был мой школьный проект в восьмом классе. Начиналась идея как волшебная палочка (то есть гарнитура, использующая в основном жесты и сложные движения), а закончилась как строительная перчатка с двумя акселерометрами, которая может записать координаты и зажечь светодиод, если рука к ним вернется.
Но вообще затеи с перчаткой это отстой. Весь смысл в том, я полагаю, чтобы совершать поменьше телодвижений. А любой, кто может надеть перчатку, с таким же успехом мог бы дотянуться до клавиатуры для решения любой задачи.

[LEbEdEV_AU]

Я бы попробовал, была бы перчатка ;)

[oleg_rico]

Буква ё есть, обозначается как е, поворачивая знак из стороны в сторону.

Сама тема распознавания жестов интересная, но язык глухонемых использует показ отдельных букв очень ограничено. В основном только чтобы какой-то непонятное слово указать или имя своё.

Немного в сторону от темы-большинство людей не понимают, как прогресс помог людям не умеющим говорить и слышать.

Летел как-то в самолёте и соседом был глухонемой парень который с огромной скоростью "болтал" по видеосвязи с кем-то.

После этого я даже увлёкся изучением языка жестов и выучил пару сотен понятий

[pocheketa]

Кстати, да: в языке жестов кодируются слова и целые понятия.
В сочетании с мимикой, формой или движением рта и губ, а также в сочетании с положением корпуса тела.
И языков этих много.... https://ru.wikipedia.org/wiki/Жестовые_языки

[oleg_rico]

Поэтому распознавание языка жестов значительно более сложная задача, чем распознание речи, которая сейчас стала практически обыденной вещью.

[LEbEdEV_AU]

Потому, что голос - один массив данных, а жесты - две руки, туловище, губы и лицо…

[LEbEdEV_AU]

Это все можно сканировать и распознавать ;)) я бы взялся, но я не носитель языка

[velon]

В полёте болтал? А как же "отключите сотовые телефоны и другие устройства или переведите их в режим полёта"?!

Хотя,... наверно он об этом не слышал.

[Shura_m]

У глухонемых есть два вида языка: Дактиль ( когда жестом обозначается каждая буква), и жестовая речь, когда жест обозначает целое слово или понятие.

Я так понимаю, Ваша система распознает только дактиль?

[LEbEdEV_AU]

Да, только буквы. Для полного жестового языка нужно датасет писать. Я еще не смотрел датасет на котором сбердевайсы учились, но в планах это есть ;))

[AndroidKotlin]

Достойная статья. Вроде бы была новость, что самый крупный банк сделал похожее, а тут один человек. Автор, а вы можете сравнить ваше решение с тем, что было в новосятх?

[LEbEdEV_AU]

Знаю только про Сбер ;) они видео обрабатывали. В принципе, если найду нормальный контакт с обществом глухонемых или носителем языка - готов продолжить работу. А может, посмотрю их датасет ;)))

[drakar1993]

Классно! Есть идеи насчёт распознование жестов?

[LEbEdEV_AU]

Lstm и сканирование всего человека в массив (координат 300)…

[RGrimov]

Для тех кто интересуется распознаванием языка жестов рекомендую посмотреть подходы в соревнованиях на Каггле: https://www.kaggle.com/competitions/asl-signs и https://www.kaggle.com/c/asl-fingerspelling и почитать серию статей от Сбердевайсов про жестовый язык и их датасет Slovo тут на Хабре https://habr.com/ru/companies/sberdevices/articles/737018/