Как стать автором
Обновить

Насколько неуязвим искусственный интеллект?

Время на прочтение9 мин
Количество просмотров9.6K
Всего голосов 13: ↑12 и ↓1+11
Комментарии12

Комментарии 12

Возможно, потому что название «искусственный интеллект» в данном случае это скорее красивое маркетинговое название перцептрона. Поэтому и ошибки там больше похожи на ошибки анализатора изображения, а не интеллекта.
Условно, Вы, конечно, правы. Все нейросети можно, в целом, представить как многослойный перцептрон, и многие из них используются для обработки самых разных сигналов, в том числе, изображений.

Вот только все широко используемые методы машинного обучения — это детерминированные от входа функции, и для всех них используются ограниченные выборки, а значит, перечисленные атаки опасным для них всех. Дело лишь в простоте подбора и очевидности таких атак.
Безусловно, это самообучающийся автомат притом даже без понятия о «зашумленности» и интеллекта нету совсем, да и невозможен интеллект без понимания окружающего мира.
Про зашумленность, если она бывает, автомат знать должен, иначе обучающая выборка у вас была нерепрезентативная. Понимание окружающего мира, вероятно, необходимо для человека (хотя не факт, спросите нескольких знакомых, что нынче творится в мире и вряд ли услышите одинаковые ответы), но точно не обязательно в искусственном интеллекте, направленном на решение конкретной задачи.
Отравленные данные для человека:
image
Пожалуйста, уберите под кат.
Лучше сразу обратно на Пикабу убрать.

Ребята, это пример poison data для человека. Подкат не могу сделать.

Автору спасибо. Но у меня пришла мысль с другой стороны — а есть какой-то сервис, позволяющий отравлять собственные частные фотографии? Например, закидываемые во всякие соцсети. Где автор не хотел бы, чтоб их использовали в для тренировки нейросетей — но ведь будут.
Нет, и вряд ли будет, так как сети будут обучать дальше, увидят ваши свежие «отравленные» фото и тогду уже и на них обучат. К тому же, вот вы, допустим, на все свои фото добавили какой-то триггер (например, штамп на лбу), мешающий классификации, а другой человек такой же триггер добавил лишь на часть своих фото, и вот уже сеть знает, что триггер не важен.
А не является ли данная проблема следствием растрового формата изображений? Ведь, по сути, нейронной сети дают на вход массив пикселей, а она должна сама «разобраться» что там где. Может быть было бы более целесообразно переводить изображения в вектор? Или поместить на входе еще одну нейронку, которая занималась бы поиском форм и контуров.
Да, в какой-то мере это является следствием растрового формата. Тем не менее, в векторе или же при предобратке картинок/звуков/чего угодно чем-то проблема, вероятно, сохранится.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий