Comments 34
Вау, сила! Одел очки с хитрым узором и стал страусом.
Что-то мне Пелевинские «Зенитные кодексы Аль-Эфесби» вспомнились. Там слегка другая атака была, но похоже…
Да, новая стелс-технология: принимать радиолокационное изображение вражеского самолета за страус. Летящий на двух Махах.
Разводка ради бюджетов. Неустойчивость одной переобученой сети к максимизации ошибки давно известный феномен, тем более простой чем больше входных фич. Абсолютно бесполезно если вы не контроллируете сеть полностью. Абсолютно бесполезно если решение сети стакается из нескольких, из которых хотя бы одну вы не знаете. Абсолютно бесполезно если сеть сама стакается с собой добавляя к сети рандомизированные дисплейсменты и так далее.
Зато круто для статьи и гики ведутся. :\
Зато круто для статьи и гики ведутся. :\
Судя по всему Вы не правы. Посмотрите оригинальную статью — https://arxiv.org/pdf/1602.02697v2.pdf
Так что хоть несколько сетей вместе в виде «черного ящика», хоть шум на вход сети добавлять, все равно атака работает.
Adversarial examples are known to transfer from one model to another, even if the second model has a
different architecture or was trained on a different set. We introduce the first practical demonstration that this
cross-model transfer phenomenon enables attackers to control a remotely hosted DNN with no access to the model, its parameters, or its training data.
Так что хоть несколько сетей вместе в виде «черного ящика», хоть шум на вход сети добавлять, все равно атака работает.
в цитате нет того, что вы ей приписываете, а именно, рассказа о ансамбле моделей, вашего «Так что хоть несколько сетей вместе в виде «черного ящика»», ни о «хоть шум на вход сети добавлять, все равно атака работает».
А это не важно, ибо даже самые упёртые заводчики чёрных ящиков, стекают их отнюдь не просто так, от балды.
И самым опофигеем ИМХО является натаскивание одного чёрного ящика, на ошибки другого, это тупо, но при правильной размерности это работает…
… и вообще, у ансамблей есть вполне конкретные математические смыслы если их по искать, но не мне палить контору, разумеющий да уразумеет…
И самым опофигеем ИМХО является натаскивание одного чёрного ящика, на ошибки другого, это тупо, но при правильной размерности это работает…
… и вообще, у ансамблей есть вполне конкретные математические смыслы если их по искать, но не мне палить контору, разумеющий да уразумеет…
Мне трудно поверить, что это не очень частные случаи, потому что это очень-очень сильно противоречит моим представлениям о том, каков математический смысл ошибок на линии максимальной произовдной по ошибке в очень многомерном пространстве фич. Если они правы, их искажение заставит картинку неправильно детектироваться даже если её повернуть, например, на 5 градусов по часовой стрелке (паралельные преобразования не в счёт), тогда я полагаю очень скоро мы услышим подтверждения других авторов, которые повторили эти результаты.
И если такие подтверждения будут мне потребуется серьёзно переучиваться.
И если такие подтверждения будут мне потребуется серьёзно переучиваться.
Более того, не обязательно иметь возможность попиксельной модификации изображения (на стадии после захвата изображения). Ссылка на публикацию.
Т.е. можно добавлять модификацию к физическому объекту, и они также будут приводить к ложной классификации. Учитывая факт, что разные модели имеют общие adversarial expamples ничто не мешает обучить свои модели, подобрать эти примеры для дорожных знаков/дорожной разметки и нанести их на объекты. Вполне реальная атака.
Т.е. можно добавлять модификацию к физическому объекту, и они также будут приводить к ложной классификации. Учитывая факт, что разные модели имеют общие adversarial expamples ничто не мешает обучить свои модели, подобрать эти примеры для дорожных знаков/дорожной разметки и нанести их на объекты. Вполне реальная атака.
UFO just landed and posted this here
Сама идея «решения без понимания» ущербна, а нейросети как раз эту идею и воплощают.
Вообще-то большинство решений люди тоже принимают без понимания. И я даже не про рефлекторные действия говорю. Например, для 99.9% пользователей компьютер является чёрным ящиком
Странно сравнивать в этой ситуации людей и нейросети. Отсутствие прозрачности процесса принятия решений создаёт определённые проблемы даже с нынешними алгоритмами. Чего уж говорить о будущих системах ИИ, превосходящих людей во всех областях знаний и умений.
С каких это пор машины не могут наезжать на панд, но могут на гиббонов? А если не могут и на тех и на других то не пофиг ли как именно воспринимается препятствие, в которое врезаться нельзя?
При этом большая часть подобных проблем в корне устраняется включением машин в самоорганизующуюся децентрализованную сеть, в которой автомобили будут рассказывать друг другу про каждую колдобину и за считанные секунды сдавать ГАИ каждого нарушающего правила-кем бы он ни был.
При этом большая часть подобных проблем в корне устраняется включением машин в самоорганизующуюся децентрализованную сеть, в которой автомобили будут рассказывать друг другу про каждую колдобину и за считанные секунды сдавать ГАИ каждого нарушающего правила-кем бы он ни был.
Когда у машины есть выбор — наехать или на гиббона или на панду — она должна выбрать гиббона, потому что панды — миленькие и их все любят
Вспоминается старый анекдот
«На экзамене в грузинской автошколе инструктор спрашивает курсанта:
— Вот вы едете по узкой горной дороге. Слева стоит старуха, справа — красивая девушка. Кого давить будешь?
— Конечно, бабушку!
— Дурак! Тормоз давить будешь! „
И это верный вариант, единственно разрешенный ПДД.
«На экзамене в грузинской автошколе инструктор спрашивает курсанта:
— Вот вы едете по узкой горной дороге. Слева стоит старуха, справа — красивая девушка. Кого давить будешь?
— Конечно, бабушку!
— Дурак! Тормоз давить будешь! „
И это верный вариант, единственно разрешенный ПДД.
разрабатывают планы защиты от потенциальных атак на ИИ.
То-есть, если чисто теоретически, ИИ может стать опасным для человечества, то оно само уже и защиту от себя придумывает… В общем глобальная Премия Дарвина.
Ну а если серьёзно, то люди давно делают то, что потенциально может их убить: от химико-биологического и ядерного оружия, до просто автомобилей. Но раз этого не произошло всё ещё, то думаю и с ИИ, когда создадут, справятся.
Но раз этого не произошло всё ещё, то думаю и с ИИ, когда создадут, справятся.
Ошибка выжившего ведь
Походу глазом заметно картинку фоновую которую добавляют. Значить нейросеть переводит для изучения оригинал фотографии в подобный вид и работает уже с ним. Отсюда возможность подать более яркие сигнальные (ключевые) моменты в исходную фотографию. Все же нейросеть не умеет видать обрабатываь картинки по другому. Она аоходу вычисляет в начале ключевые контуры и только потом пытается сообразить на что это похоже.
Какому-то глазастому Походу может и быть заметно, а для людей и роботов добавляемая картинка (для «панда в гиббон») умножена на 0.007 (меньше процента).
В том то и дело, что глубокая-свёрточная, она по принципу сетчатки, устроена и на такой развод не поведётся…
… а вот какой-нибудь натасканный на обучающее множество, пусть глубокий, но тупой персептрон, из которого можно тупо взять веса, и малыми изменениями исходного изображения получить его «ошибочное» срабатывание…
… весь смысл выявления фичь вообще, и глубоких-свёрточных сетей в частности, в том что бы такой шляпы не было, и если сети предъявляют треугольник, то хоть его размой, хоть искази в пределах разумного, он остаётся треугольником, а не квадратом, жирафом или пандой, по чисто человеческим критериям…
… а вот какой-нибудь натасканный на обучающее множество, пусть глубокий, но тупой персептрон, из которого можно тупо взять веса, и малыми изменениями исходного изображения получить его «ошибочное» срабатывание…
… весь смысл выявления фичь вообще, и глубоких-свёрточных сетей в частности, в том что бы такой шляпы не было, и если сети предъявляют треугольник, то хоть его размой, хоть искази в пределах разумного, он остаётся треугольником, а не квадратом, жирафом или пандой, по чисто человеческим критериям…
Я давно писал о том, что обработка векторного изображения в битах и подача на нейронку не верный подход!
Необходимо чтобы нейросеть преобразовывала двухмерную картинку в трехмерные векторные объекты без опоры на битовые данные растра и их сочетания. Именно поэтому нейросети не «видят», а только номера складывают.
Необходимо чтобы нейросеть преобразовывала двухмерную картинку в трехмерные векторные объекты без опоры на битовые данные растра и их сочетания. Именно поэтому нейросети не «видят», а только номера складывают.
А преобразование в трехмерное вы как будете делать?
Например так-же как это делает человеческий глаз, там правда смысл этого мероприятия несколько иной, поднять разрешение, у свёрточных сетей его с избытком, но можно например не только таскать но и крутить и\или масштабировать, вот и получается инвариантность к повороту\масштабу\положению из говна и палок :-)
Не ребята, это немного из разряда «учёный изнасиловал журналиста». Глубокими, свёрточными сетями тут и не пахнет, тк они в первых же слоях, превращают изображение в набор весьма тупых фич, а тут искажения не заметны на глаз, так-что по всей видимости учёные надругались над вызубрившим примеры песептроном, который и от элементарного шума такими глюками разойдётся, что и Путин и Трамп ему вполне сойдут за жирафа, хотя в этом наверное есть смысл ибо как сказал поэт Жираф большой, Ему видней :-)
Люди тоже подвержены таким атакам. Многим мерещится знаменитое «лицо на Марсе»
Какие-то гипнотические методики тут замешаны. Смотрела-смотрела, но никак мне автобус страуса не напомнил))
Sign up to leave a comment.
Как ввести в заблуждение компьютер: коварная наука обмана искусственного интеллекта