Комментарии 28
На самом деле отличная идея, я даже удивлен что подобного устройства до сих пор нет в массовом использовании.
Подозреваю, что через год-два различные варианты появятся от разных производителей.
А я, честно говоря, уже не особо верю. Пять лет назад видел ребят, которые разработали аналогичную штуку. Чуть на другом принципе, тут манжета с датчиками, считывающими тонус мышц, там была перчатка с акселерометрами. Но идея та же самая — трансляция языка жестов в текст и речь. Получили грант от Майкрософт. Похвалили в прессе, похвалили на конференциях. И… забыли. Никому не надо, ни спроса, ни инвесторов.
Ну, как идея, подобная перчатка давно была «изобретена» фантастами.
Конго (1995)

НЛО прилетело и опубликовало эту надпись здесь

Парень молодец, однозначно.
Только есть небольшая проблема с изобретениями "спасающими мир". Они выигрывают конкурсы, соревнования, получают призы, огласку… Но когда доходит очередь до инвестиций, массового производства и т.д. — вдруг все дяденьки, хлопавшие в ладоши, куда-то исчезают. А все поиски инвесторов заканчиваются на "маленький и невыгодный рынок ".
А потом дяденьки устраивают следующий конкурс, надо же спасать мир. На конкурсах.

НЛО прилетело и опубликовало эту надпись здесь
Проблема в том, что всегда кто-то должен быть первым.
Первый пройти всю дорогу, первым показать на своем примере, что рынок делается, а не дается на блюдечке.

Удачи парнишке и желающим ему помочь в реализации.

Мне кажется цель таких конкурсов, в первую очередь, финансово мотивировать способных людей. Все понимают, что подросток серьёзный проект вряд ли потянет.

Как я понял эта штука помогает изучать язык жестов самостоятельно — и они смогут общаться с другими глухими.
Только если человек стал глухим в процессе жизни. Если родился таким, то обратной связи нет, и научится правильно и внятно говорить нереально.
НЛО прилетело и опубликовало эту надпись здесь
Я полагаю, таких единицы из тысяч, можно этим пренебречь. В общем случае если человек не успел научиться говорить к тому моменту, как потерял слух, то уже и не научится.
НЛО прилетело и опубликовало эту надпись здесь
А так и есть, технически.
На практике глухой с рождения ребенок неспособен подражать звукам, и просто не может научиться говорить.
А у той женщины, которая вроде как парня вдохновила на изобретение, получается, был следующий уровень дерьма: будучи глухой с рождения, она не умела говорить, и ее дочери от общения с ней тоже не могли научиться.
Глухим с рождения крайне сложно научиться говорить.
Для начала они вообще гораздо позже начнут говорить, потому что просто не понимают что это и зачем, а это означает что первые несколько лет жизни — вообще не нарабатывается моторика языка и горла, которая нужна для адекватного произношения.
Ну и проблемы с произношением будут всегда, плюс проблемы с громкостью.
А разве речевые синтезаторы для немых (проблема, описываемая в статье, больше подходит для немых и глухонемых, у слабослышаших и оглохших в постлингвальном периоде проблем с выражением своих мыслей меньше) не изобретены давно? Собственно говоря, парень изобрёл следующее устройство — человек производит действия руками, машина преобразовывает эти действия в звуки или символы на экране. Что может помешать немому, владеющему языком жестов, набрать требуемое на клавиатуре либо специализированного устройства, либо на смартфоне с «говорилкой»? Если только он не знает алфавита, но при этом знает язык жестов… Либо если язык жестов для немого комфортнее, чем набирать текст/слоги на речевом синтезаторе.
А главное достоинство этого парня-изобретателя не в том, что он придумал что-то новое, до чего не додумались медицинские компании, а в том, что он смог сделать сложное (сложное ещё и потому, что схему устройства надо было придумать и создать самому, а не собрать по инструкции) устройство своими руками из относительно доступных простому человеку вещей. И то, что свой творческий потенциал он направляет на помощь людям. Таких людей, по-настоящему — единицы, это как Чистомэн — ругаться по поводу мусора могут миллионы, а просто пойти и почистить лес — единицы.
P.S. У данной конкретной идеи может быть одно отличное практическое применение. Создание программы на смартфон, способной перевести язык жестов в текст. Нужное в первую очередь для тех, кто столкнулся с глухонемым и не знает языка жестов, скачал программу, и программа через камеру распознаёт язык жестов и возможно, даже способна перевести обратно (показывая жесты на экране, на случай, если немой не знает письма) на язык жестов речь… ну, например, продавца или сотрудника социальных служб, столкнувшихся с необходимостью общения с немым.
>Создание программы на смартфон, способной перевести язык жестов в текст.

Армслен и подобные языки
— имеют кардинально отличную от звуковых лингвистическую структуру.
— сильно контекстно кодированы
то есть используется 3D+T кодирование с уникальной референтной схемой

Если кто-то сделает лингвистический транслятор, то это будет весьма сильный AI

Что может помешать немому, владеющему языком жестов, набрать требуемое на клавиатуре либо специализированного устройства, либо на смартфоне с «говорилкой»
Это удобно при кратком общении (вроде спросить «как пройти в библиотеку?»), когда текст написал, показал, да и всё, но очень неудобно при диалоге. Посмотрите сурдопереводчиков, с какой скоростью они жесты показывают. Печатать с такой скоростью крайне сложно.
Сурдопереводчики, кроме жестов, крайне активно жестикулируют и губами и языком. Одними руками там не обходится.
Есть определенные жесты, когда ты по буквам называешь имена собственные. А в остальном — язык жестов достаточно обобщенный, и без визуального контакта с лицом там очень много «омонимов».
Спасибо Носкову Владиславу Юрьевичу (Google Scholar, v.j.noskov[собакен]urfu.ru), за неоценимые советы по разработке общей структуры программно-аппаратного комплекса, советы по отладке отдельных частей системы к тому виду, в котором она функционирует сейчас.
Надо преподавателя премировать за умение объяснить и показать как надо.
После школы я хотел бы поступить в университет международного уровня, что бы иметь возможность продолжать свои исследования, сотрудничая с другими молодыми инженерами и учёными со всего мира, в чём мне, возможно, также поможет участие в этом конкурсе!
Выиграть у других помог препод из УПИ. Я надеюсь он его называет теперь универом международного уровня.
Для получения данных о положении руки, в работе используется плоскостная электромиография: отслеживание биопотенциалов, характерных для активности мышц предплечья. Для классификации: специально обученная глубокая нейронная сеть Inception v3. Суть работы в создании программно-аппаратного комплекса для перевода жестов в слова на основе получения и анализа ЭМГ-сигнала. Устройство для получения и обработки электромиограммы построено на основе микроконтроллера PSoC 5LP, классифицирующая нейросеть обучена и развёрнута на облачном сервере.
Итого:
— технический английский на уровне чтения текстов по электромиографии и радиоэлектронике;
— радиоэлектроника (аналоговая и цифровая — датчики там явно не напрямую к мк идут);
— архитектура ARM и я так полагаю, что C/C++;
— цифровая обработка сигналов;
— глубокие нейронные сети + их обучение;
— использование облачных вычислений.

Может стоит вернуться в школу?
Красавчик! Не важно, найдется инвестор и где автор будет продолжать обучение. Важно, что парень в 10 классе не думает о том, как нарулить пивка и сигарет чтобы казаться взрослее и «круче». Вместо этого он тратит свое свободное от уроков и прочих ЕГЭ время на освоение программирования, нейронок, английского и всего что вокруг этого. Я вижу множество людей (много старше), которые и близко не стоят по уровню развития с этим школьником. Родителям и преподавателям спасибо за то, что (пока еще?) в нашей стране живет и развивается толковый технический специалист способный решать инженерные задачи будучи учеником 10 класса.
Есть только один вопрос: парня теперь будет спонсировать Google (оплачивать обучение). А почему не Минобр? Почему этот грант не от МГУ? Понятно же, что дальше Google скорее всего будет тащить этого парня к себе. А нам что, не нужны такие специалисты?..
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.