Комментарии 37
Если честно, то это офигенно! Вот оно будущее, а ни эти ваши айфоны. Надеюсь, что такие технологии пойдут для развития человечества, а не его дрессировки.
Так первая потребительская технология и появится в айфоне. Будете подтверждать операции интенсивно думая "оплатить".
Очередной приступ датасотонизма с натягиванием совы на глобус.
Речь не идёт о реконструкции изображения, а об определении его категории, причём не на основе самого изображения, а некоторых его свойств.
Ибо есть специфические отклики, на лица, на движение, контрастные линии, итд.
Кроме того, на низкочастотные колебания общей яркости, контраста, фокуса, так же регистрируются ВП.
И здесь интересно разве что применение генеративных методов, чтобы выявлять такие моменты.
Но реконструкция изображения, это знаете ли, как в том анекдоте про нейросеть неразличавшую танк и трактор, ибо критерием оказался цвет фона...
1.Гонки на любом устройстве в любой среде гражданином почти всегда воспринимаются через призму вождения автомобиля.
По-видимому, гражданин примеряет гонку на свой автомобиль.
2.Гражданин в этом автомобиле всегда ожидает увидеть зеркало заднего вида, хотя в исходном материале его нет.
По-видимому, гражданин редко в него смотрит, оно просто ему постоянно мешает чёрным пятном.
3.Всё незанятое время — когда гражданин отказывается воспринимать видеоряд — он увлечён «машиной Руди Голдберга» и сосредоточен на ней.
4.Если он обращает внимание на людей, то почему-то упорно думает о брюнетке с короткой стрижкой.
Это не гражданин примеряет гонку на свой автомобиль, а нейросетка.
Тоже самое и с брюнеткой.
Хорошо, что на ютуб зашел почитать комментарии о том, что видео не соответствует реконструкции. Оказывается нейросеть определяет на какое из 5 видео похожа энцефалограмма и подставляет любое. Если хотите это можно назвать обманом ну или очень серьезной недоговоркой.
вот это больше похоже на правду. напоминает старый прикол с показом в браузере локальной директории на компе, который выдавался за хакерский взлом
Короче — расходимся!
Чуваки обучили автоэнкодер и сетку, которая мапит выход ЭЭГ в пространство декодера. Да, декодер обучали на ограниченном датасете. Но и ЭЭГ, по словам авторов, может выдать максимум 6 категорий. Подход совершенно масштабируемый в двух направлениях:
1. Нужно обучать более сложную генеративную модель, пространство параметров которой сожет кодировать более широкий спектр «концепций» из реального мира.
2. Нужно создавать девайсы, которые будут получать от мозга данные в большем «разрешении».
При наличии новых достижений по этим двум направлениям подход из статьи с большой долей вероятности будет отлично масштабироваться вплоть до настоящего «восстановления» изображений из «мыслей».
По сути, примерно тоже самое — разместить антену вблизи разъема pci-express и попробовать восстановить поток видеоизображения индицируемого на мониторе
А вот уже выдача «зрения» искусственной нейросети кое-как запомнившей за время тренировок несколько роликов и научившейся подставлять из них наиболее подходящий к ситуации за якобы раскодированное изображения снятое с живого мозга — да, неслабый такой обман и кликбейт.
Честно было бы сделать простой кассификатор (которым по сути результат и является) — выдавать по снимаемой ЭЭГ категорию видео на которое смотрит человек (лицо/человек/езда/механизм/текст и т.д.) и привести % правильного угадывания категории.
Статья с названием, фактически ничего общего не имеющего с содержанием.
Дожить бы до появления подобной технологии. Уж я бы отсканировал ))
Меня одного смущает, что подопытному демонстрировали реконструированное нейросетью изображение? Не оказывало ли это изображение влияние на результаты эксперимента?
Как я понял, сначала они натренировали автоэнкодер, потом натренировали вторую сеть переводить ЭЭГ в latent space автоэнкодера. А автоэнкодер, в свою очередь, генерирует какое-то изображение.
— Хмм, ну и лаги.
— Картинка с ралли показывает, что ЭЭГ видит отличие светлых областей от темных, пожалуй и все.
— Машина Голдберга показана в правильных цветах, но пятна совсем хаотичные. Интересно, при таких ФПС, как у этой картинки в реальном времени, учитываются саккадные движения глаза для построения изображения? Может, фреймы выхватываются в неудачные моменты, когда глаз направлен не в центр изображения, и суммарное изображение такое грязное?
— Лицо — ну да, как и ралли. Светлое отличается от темного. Стоп, что?? Один фрейм выглядит как реалистичное женское лицо! Так, подождите! Смена усатого мужика на блондинку не дала вообще никакой разницы, а при этом один из кадров лица был очень детализированным! Что-то нечисто…
— Водный мотоцикл лагает картинкой лица, а потом четко переключается на ралли! Нет, это не распознавание ЭЭГ в реальном времени, это распознавание заданного пресета из видеороликов. Наверное, нейросеть генерирует их на основе входных пресетов-роликов и данных ЭЭГ?
— Ну да, снегоход — это ралли, машина Голдберга — тоже. Кликбейт такой кликбейт.
*дропнул видео на 1:50*
*полез в каменты — с облегчением увидел, что люди это тоже поняли*
Всегда интересовало, какой же там «протокол». Какая «модуляция».
Как электрически сформировать сигнал и подать его на глазной нерв, чтобы мозг увидел видео?
Подавать, видимо, придётся сразу по каждому нерву из пучка, идущего от глаза, свой кусочек общей картины.
А что передаётся по каждому из нервов пучка? Там аплитудная модуляция по яркости? Тогда почему мы не видим световые шумы от электромагнитных полей и не слышим радиоволны, они же должны наводиться на нервы?
Получается, что подавать изображение можно только после блока первичной обработки изображения, где оно используется в понятном виде.
Надеюсь, что технология никогда не стрельнет, а то придется медитировать при виде встрече с копами) и так это осталось единственным местом, где, принекоторой сноровке, можно остатся без назойливого внимания корпораций и государств.
1) Взять 100 фраз
2) Посчитать md5
3) Взять один из md5
4) Добавить шума и искажений
5) Посмотреть на какой из 100 он похож больше всего
6) Сделать вывод, что мы теперь можем расшифровывать md5
Идея классная, но нужен датасет пожирнее
Российские ученые восстановили образы из мыслей человека по электрической активности мозга