Будущее здесь
Искусственный интеллект
Машинное обучение
Научно-популярное
Комментарии 97
-5
Целая статья построена на сомнительной тождественности понятий «нейросеть» и «ИИ».
И да, автор «профессор компьютерных наук». Хм…
+1
Целая статья построена на сомнительной тождественности понятий «нейросеть» и «ИИ».

Где вы в статье нашли утверждение или предположение о такой тождественности?


И да, автор «профессор компьютерных наук». Хм…

"Professor of Computer Science", пламенный привет переводчику.

+2
Примеры «провалов» относятся к нейросетям, а рассуждения о причинах этих провалов основываются на свойствах иного порядка, таких как понимание, здравый смысл, интеллект, которые к нейросетям никак не относятся (на данном уровне их развития по крайней мере).
0
Примеры «провалов» относятся к нейросетям

Приведенные примеры слабостей относятся к тем областям, в которых недавно были достижения, нейронные сети прямо не упоминаются. Если во всех этих отраслях причиной достижения были нейронные сети (в чем я, кстати, не уверен) — это еще не означает ни тождественности, ни импликации тождественности. А если вы можете привести пример альтернативной системы, которая решает ту же задачу не хуже нейронных сетей, и при этом лишены описанных слабостей — так я с удовольствием послушаю.


рассуждения о причинах этих провалов основываются на свойствах иного порядка, таких как понимание, здравый смысл, интеллект, которые к нейросетям никак не относятся

Ну так статья, вроде бы, ровно о том, что не относятся. Не очень понятно, с чем вы пытаетесь спорить.

0

Насчёт альтернативных систем — для алгоритмов типа бустинга особо не получается делать adversarial examples. Впрочем, это скорее связано с тем, что вне компьютерного зрения (и ещё парочки подобных областей) в принципе сложно определить понятие adversarial attack.


В целом, конечно, не понимаю комментатора выше, которому говорят "ИИ", а он слышит "нейросети" и радостно набрасывается на автора.

0
Насчёт альтернативных систем — для алгоритмов типа бустинга особо не получается делать adversarial examples

А задачи компьютерного зрения на них можно решать с той же успешностью?

0
Нет, но справедливости ради статья тоже не про computer vision, а про разные применения AI.
0

Ну так там и примеры из разных областей применения.


Вот, скажем, там ссылаются на adversarial examples в задачах понимания текста (кстати, как раз к разговору о "барьере понимания"): так вот, если я правильно понимаю, там есть решения и на базе сетей, и на базе "традиционных" моделей, типа логистической регрессии — и они все подвержены этой проблеме (кстати, к разговору о "примеры «провалов» относятся к нейросетям").

+1
Так назовите нам ту технологию, в которой нет описанной автором проблемы, надеемся и ждём.
+1
вчера была похожая статья — тоже об ИИ, и тоже по сути ниочем.
такое себе очередное вступление в ИИ, динамика развития сейчас, дающая основания бояться его потом и констатация того, что мы ничего не знаем про интеллект ни человека, ни на другой елементной базе.
0
Всё-таки «преодолеть барьер понимания» это неправильное выражение. Понимание не может быть барьером в данном случае. Барьером может быть непонимание, но «барьер непонимания» уже используется как некое препятствие между двумя осознающими себя интеллектами.
Можно сказать что «барьером является отсутствие понимания», но наверное лучше, что «барьером является отсутствие осознания» или даже просто просто «отсутствие сознания».
0
А почему нейронные сети должны реагировать как люди? Никого же не смущает, что, например, червяк реагирует не так, как собака
0
Потому что «разумен» с точки зрения человека тот, кто мыслит как человек.
0
Навигация муравьев однозначно превосходит все автопилоты, хотя по признакам не потеряться в лесу превосходит даже среднего человека.
0
Да что вы говорите? Как это вообще предлагается измерять? Учитывая что червяк испольузет мозг, химический конструкт с аналоговыми сигналами ничем не похожий на математические нейросети. Даже близко сравнить нереально.
0
А описанное сравнение с человеческим мозгом вас не напрягает?
0
Понимание это должным образом выстроенные связи с другими понятиями, представлениями, объектами, и т.д. Так что «мощность» понимания напрямую связана с мощностью памяти и адекватностью выстроенных связей. Конечно, у нынешних ИИ проблемы с пониманием — они тупые как пробка, а понимания от них требуют, как от экспертов.
+1
Прекрасный пример говорящий о том, что сильный ИИ возможен это существование человека, который при всех своих способностях к логике ее не везде применяет) Существование человека является прямым доказательством возможности создать интеллект.
Барьер может быть только один — вычислительные ресурсы, но даже на нынешнем этапе при большом желание можно построить компьютер с вычислительными ресурсами равными мозгу человека. Но настанет день когда это будет не вопрос большого желания, а будет насущной реальностью где сильный ИИ соседствует с человеком.
0
Барьер может быть только один — вычислительные ресурсы

Разве кто-то доказал что ИИ в принципе можно реалзизовать на тьюринг-машине? Вполне может быть что это просто невозможно. Я уверен что проблема не только и не столько в вычислительных ресурсах, то есть даже увеличив в сотни миллиардов раз количество памяти, процессоров и связей между ними, мы не получим желаемого.
0

Об архитектуре итогового решения никто и не говорил, это может быть что угодно. Суть факт в том что такое решение есть и мы его демонстрация.

-9
Искусственный бырыльник упёрся в барьер ферования.
Профессорша не понимает ни что такое «настоящий ИИ», ни что такое «понимание», ни как одно может «упереться» в другое. Но уверена, что это случилось. А почему? А потому, что она профессорша целых компьютерных(!) наук и еще куда-то приглашена. А ее книга про мыслящих людей будет опубликована Фарором, Стросом и Жиру. А ты кто?…
И еще она записала десятки разрозненных фактов относящихся к недо-ИИ, но никак не относящихся к полноценному ИИ о котором пытается писать. А ты же то кто?
ПРЕДЛАГАЮ
Перед переводом подобных словоблудных статей приглашенных профессорш переводить последние 1-2 предложения в статье и проводить голосования под такими предложениями, хочет ли читатель тратить время статью с таким пустым выводом. Для тематики ИИ это становится важным.
Преодоление барьера понимания ИИ, вероятно, потребует шага назад — от всё более крупных сетей и наборов данных обратно к корням отрасли как междисциплинарной науки, изучающей самую сложную научную проблему: природу интеллекта.
+1
А потому, что она профессорша целых компьютерных(!) наук

Вам незнаком термин Computer Science?

0
В мое время Computer Science переводили как Мат. обеспечение [ЭВМ]. Сейчас это вроде как информатика.
+2
Может уважаемому профессору просто стоит признать, что никаким интеллектом в нейронных сетях и не пахнет?
Что это просто невероятных размеров вероятностный классификатор, основанный на зубрежке?
+1

Нейросети — типичный слабый ИИ. Только почему-то при словах "искусственный интеллект" у всех возникают ассоциации не со слабым ИИ, а со Скайнетом.

+1
Сегодняшние программы могут распознавать лица и записывать речь. У нас есть программы для обнаружения тонкого финансового мошенничества, для нахождения релевантных веб-страниц в ответ на неоднозначные запросы, для прокладки оптимального маршрута практически в любом месте, эти программы побеждают гроссмейстеров в шахматы и Go и переводят между сотнями языков.

Прочитав до этих строк проделал
любимый тест
Перевел в гугле приведенную цитату на английский:

Today's programs can recognize faces and record speech. We have programs for detecting subtle financial fraud, for finding relevant web pages in response to ambiguous requests, for laying the optimal route almost anywhere, these programs defeat grandmasters in chess and Go and translate between hundreds of languages.


А потом назад:

Сегодняшние программы могут распознавать лица и записывать речи. У нас есть программы для обнаружения тонкого финансового мошенничества, поиска соответствующих веб-страниц в ответ на неоднозначные запросы, для оптимального маршрута почти везде, эти программы побеждают гроссмейстеров в шахматах и идут и переводят сотни языков.


Не совсем плохо. Но заметная часть смысла испарилась. Ниже в статье приведены более яркие примеры машинного перевода, но их можно заподозриь в специальном подборе, а я случайно выбрал первый попавшийся кусок.
Поэтому согласен с автором:

Как человек, работающий в области ИИ на протяжении нескольких десятилетий, я стала свидетелем провала множества подобных предсказаний. И я уверена, что последние прогнозы тоже не оправдаются. Проблема создания человеческого интеллекта в машинах остаётся сильно недооцененной. Сегодняшним системам ИИ катастрофически не хватает сущности человеческого интеллекта: понимания ситуаций, которые мы переживаем, способности понять их смысл.

А здесь сам ранее убедился, что: добавление небольшого количества «шума» к изображению серьёзно мешает работе современных программ распознавания. (В статье про распознавание лиц, но ИМХО справедливо и для других изображений).

Ранее написал:
робот, зараженный вирусом, может совершать крайне неадекватные и опасные действия

Интересно было увидеть сходную мысль:
Еще более тревожны недавние демонстрации уязвимостей ИИ перед так называемыми «враждебными» примерами. В них злонамеренный хакер может вносить определённые изменения в изображения, звук или текст, которые незаметны или незначительны для людей, но могут привести к потенциально катастрофическим ошибкам ИИ.

Т.о. согласен с авторм в том, что цель — развитие надёжного ИИ.
0
PS Спасибо переводчику. ИМХО хороший перевод. Единственное, что на мой взгляд стоит отметить: для термина CS точного перевода нет, обычно используют термин «информатика».
+2
Мне кажется, что некоторые люди тоже упёрлись в барьер понимания.
-1
Ну можно сказать, что ИИ сегодня это просто поделия для интерактива и в примере с алисой для помощи пользователю на заранее заданных кейсах. Меня удивит если в скором будущем ИИ будет так же быстро получать данные из БД их анализировать (на их основе обучать Нейросеть) и на их основе будет Анализировать полученные интерактивные данные. Даже в CS:GO прослеживается, что ИИ не обучается на старых ошибках, и чужих тоже, а просто метит прямо в лоб когда к ниму из-за спины подкрадываешся.
0
Интересно мнение тех, кто теме, можно ли покрыть все примеры с обманом нейросетей аугментацией зашумленными данными?
0
Нельзя, если атакующему известно внутреннее содержимое нейросети. Например, сеть, которая берет изображение и определяет, кошка там или собака. По сути, она берет многомерный вектор, прогоняет его через некоторую функцию и выдает ее значение в ответ — если больше нуля — собака, меньше — кошка. Мы можем взять изображение кошки и посчитать производную это функции по каждому из коэффициентов вектора (то есть, пикселей изображения). После чего берем и изменяем те пиксели, производная которых самая большая. Таким образом, небольшими модификациями изображения (незаметными ни человеку, ни другой нейросети, даже обученной на тех же данных) мы получаем неверный ответ.
0

Вот что мне непонятно, так это почему на вход определителя подают исходное изображение, и пытаются построить функцию от яркости пикселей. Понятно же, что если изменить яркость пикселей, то и результат функции изменится. Подавать надо только данные о форме, которые уже инвариантны к цвету, повороту и масштабированию. Если и делать обучение до этого этапа, то только "изображение — линии формы", но никак не "изображение — кошка/собака".

0
Подавать надо только данные о форме, которые уже инвариантны к цвету, повороту и масштабированию
А эти данные вы откуда возьмете? Ведь из изображения же. То есть, это тоже некоторая функция, которая из изображения в промежуточное представление переводит. А композиция двух функций — тоже функция. Дальше — как описано выше, дифференцируем, двигаемся в сторону градиента.
0

Так оно же независимое получается. Двинемся в сторону градиента на первом этапе — получим отсутствие нужной линии на втором. То есть чтобы на втором этапе появились линии, которые вместо панды дадут гиббона, надо на первом нарисовать гиббона. Факт в том, что мы гиббона не видим, значит это возможно.


Скрытый текст

0
Первый этап делает преобразование y=f(x), где x — изображение, а y — промежуточное представление. Второй делает z=g(y), где y — промежуточное представление, а z — ответ. Я предлагаю двигаться по направлению градиента функции h(x) = g(f(x)), а не по направлению градиента f или g.
Так-то первые слои нейронной сети как раз и делают примерно то преобразование, о котором вы пишете.
0

Как я понимаю, у отсутствия сигнала градиент 0. Куда двигаться? Клетка узнает конкретный паттерн, а на все остальные никак не реагирует, неважно какие пиксели там изменены.


Если бы в нейросетях было так, изменение отдельных пикселей не влияло бы на контур.

0
Нейросети, работающие с изображениями, часто строят на основе ReLU. У неактивированного нейрона тоже будет градиент ноль. Ничего, активированных достаточно. Ответ не может не зависеть вообще ни от одного пикселя изображения.
0
Он конечно зависит, только изменение отдельных пикселей ни на что не повлияет. Чтобы изменился результат, нужно будет изменить значительную часть исходного изображения. Например сделать полупрозрачное наложение фотографий панды и гиббона, или заменить несколько квадратиков, как в мозаике.
0

Почему не поверю, в этой ветке речь идет именно об этом. В нейросетях делается неправильно, поэтому изменение отдельных пикселей влияет на результат.

0
Если в нейросетевом классификаторе выдавать только 0/1, без коэффициента уверенности, то тоже подобная атака не сработает. Но это лишь означает, что последний слой сделал отсечение вещественного значения по порогу, и атаковать нужно именно это промежуточное значение.
0
Ну да, и чтобы его изменить, нужно изменить большую часть изображения. Просто потому что вклад одного пикселя незначительный.

Возьмем для определения контрастного перехода поле 6x6, в центре 4 клетки, на периферии 32. На втором уровне будем определять наличие перехода длиной 6 с некоторым наклоном. Узнаванию паттерна соответствует реакция нейрона >= 1/2. Мы хотим добавить первую линию из тех, которые на выходе создадут изображение гиббона вместо панды.

Вклад одного пикселя в центр 1/4, для новой линии на втором слое нужно как минимум 3 устойчивых сигнала с первого слоя. То есть вклад одного пикселя в узнавание нового штриха 1/12 = 0.083. Надо изменить минимум 6 пикселей исходного изображения, причем в определенных местах, иначе они попадут в периферию, и вклад будет вообще 1/32. И это только для одного штриха из нескольких десятков.
0
То есть, если я верно вас понял, вы хотите сказать, что дело в том, что ближайшее изображение, на котором человек выдаст другой ответ, находится очень далеко от текущего. Я не могу с этим согласиться по своему личному опыту — у меня десятки раз было такое, что на долю секунды летящий лист казался мячом, или казалось, что голубь, летящий на расстоянии метров пяти, сейчас врежется прямо в лицо, или человек казался знакомым. Да даже сумка как-то показалась кошкой.
И вот описанный метод позволяет найти ближайшую точку другого класса.
0
Да, но это же не потому что там отдельные пиксели другой цвет имели, а потому что форма похожая. Пикселей-то как раз много различалось. Первыми срабатывают ассоциации на более грубых масштабах, потом добавляются детали, потому и на долю секунды.
0
Так если мы сдвигаемся в сторону градиента, то можем и много пикселей поменять, если от них зависимость примерно в одинаковой степени. Суть в том, что изображение будет отличаться мало.
0
Но это невозможно, я же приводил расчеты. Малые отличия дадут малое изменение результата. Изменение 1 пикселя уменьшится в 4 раза на первом слое, изменение 4 пикселей рядом уменьшится в 3 раза на втором, и влияет это только в пределах поля 6x6.
0
Но это невозможно
Вы хотите сказать, что похожего изображения, на котором человек ошибется, просто не существует? Это противоречит моему личному опыту.
я же приводил расчеты
Вы привели расчеты изменения уверенности в том, что на изображении — штрих. Но те же самые пиксели, помимо флажка «тут штрих», влияют и на кучу всего остального. Опять же, производная результата по флажку наличия штриха может быть большой, поэтому из маленькой производной штриха по пикселю еще не следует маленькая производная результата по пикселю.

Да, если нам нужно понять, штрих на картинке или нет, то человек почти никогда не ошибется, и далеко не факт, что его можно будет обмануть какой-то картинкой, добавив к ней шум. То же относится и к нейросети.
0
Вы хотите сказать, что похожего изображения, на котором человек ошибется, просто не существует?

Я хочу сказать, что атака, аналогичная изображению с пандой, невозможна. Отличия должны быть заметны. Там отличия маленькие, но изображения считаются непохожими. Примеры, которые вы привели, прямо противоположны — отличия большие, но изображения считаются похожими. Кроме того, вы говорите об ошибке на долю секунды, а если человек рассмотрит больше деталей, то ошибки не будет. А в примере с нейросетью ошибка не исчезает, независимо от того, сколько времени она анализирует изображение.


Вы привели расчеты изменения уверенности в том, что на изображении — штрих.

Нет, это расчеты того, что на изображении гиббон, их надо повторить для каждого штриха. Штрих — это элемент формы гиббона, линия между разными цветами.


Но те же самые пиксели, помимо флажка «тут штрих», влияют и на кучу всего остального.

Нет, в том то и дело. Они влияют только на свой участок. В узнавании основную роль играет форма, она инвариантна к цвету.

0
Примеры, которые вы привели, прямо противоположны — отличия большие, но изображения считаются похожими
Откуда это взялось? Я утверждаю прямо противоположное. Отличия между отстоящими друг от друга на долю секунды кадрами с летящим на меня листом, очень малые. Но один с высокой степенью уверенности классифицируется как мяч, летящий в лицо, а другой — как лист, который кружит ветер.
в примере с нейросетью ошибка не исчезает, независимо от того, сколько времени она анализирует изображение
Нейросеть находится в принципиально других условиях: человек анализирует видео, а не один кадр. Если нейросети дать видео со слегка отличающимися кадрами, то уже на втором она определит, что это лист, а не мяч, а дальше простое сглаживание ответа по времени решит проблему.
Нет, это расчеты того, что на изображении гиббон, их надо повторить для каждого штриха. Штрих — это элемент формы гиббона, линия между разными цветами.
Гиббон — это не фигура из штрихов. Этому понятию соответствует бесчисленное множество различных фигур. И изменение уверенности в наличии конкретного вида штриха в конкретном месте влияет на то, к какому классу будет отнесен объект.
Нет, в том то и дело. Они влияют только на свой участок.
Как минимум, они влияют не на вероятность одного типа штриха в этом месте, а на вероятность всех типов штрихов в этом месте. Ну и как я уже писал выше, из того, что производная вероятности флажка «штрих» по пикселю небольшая, никак не следует, что производная ответа по пикселю небольшая.
0
Отличия между отстоящими друг от друга на долю секунды кадрами с летящим на меня листом, очень малые.

А, теперь понял. Я имею в виду, между изображениями листа и мяча отличия большие, но они считаются похожими, потому что лист по форме/положению/движению похож на мяч.


Если вы сфотографируете первый кадр и внимательно его рассмотрите, вы не будете думать, что там мяч. То есть ошибка возникает не из-за влияния отдельных пикселов, а из-за сходства тех характеристик, которые распознаются первыми.


Гиббон — это не фигура из штрихов. Этому понятию соответствует бесчисленное множество различных фигур.

Ну так а из чего они состоят? То, что потом создается инвариантность к повороту и взаимному положению элементов, ничего не меняет. Вы можете влиять на этот слой только меняя штрихи и никак иначе. И узнавание формы происходит только по анализу линий и никак иначе.


Как минимум, они влияют не на вероятность одного типа штриха в этом месте, а на вероятность всех типов штрихов в этом месте.

На узнавание штриха влияет взаимное положение (не пикселей, а уже результатов их обработки). Если они расположены по-другому, будет узнаваться другой наклон, если расположены случайно, вообще не будет узнан никакой наклон, на следующий уровень пойдет сигнал 0.


из того, что производная вероятности флажка «штрих» по пикселю небольшая, никак не следует, что производная ответа по пикселю небольшая.

В такой архитектуре следует. Потому что в формировании ответа он больше ни на что не влияет. Откуда там возьмется большой градиент?

0
Получается, что напрашивается какой-то огрубляющий фильтр типа размытия с последующим повышением резкости, который уничтожит все ключевые пиксели, сохранив суть изображения?
0
Все равно есть зависимость, в виде функции. Ее все равно можно продифференцировать.
0
Тогда напрашивается решение в виде нескольких сетей. Чем больше сетей — тем сложнее атака или даже невозможна в определенных случаях.
0
Не напрашивается. Комбинация двух нейросетей — нейросеть, просто большей глубины. И градиент там все равно есть.
0
Так вот на то и намек — чем глубже сеть — тем выше вероятность получить исчезающий градиент.
0
Обучали по частям независимо, а атакуют уже комбинацию. Весь вопрос насколько большое количество независимых сетей нужно использовать, чтобы градиент пропал.
-1
Поразмышляйте еще над одной вещью: Сначало нужно писать какие-то новости или вести список чего-то. Потом из этого списка вычленять объекты, связанные с данной новостью или с данным списком. По завершению нужно обучить ИИ распозновать данные объекты. Далее по алгоритму или поиск объектов или распространение информации основаных на объектах. Так сказать новости об объектах реальной жизни у нас выходят не часто… и не интересные… просто не на чем будет обучать ИИ.
-1
Самые перспективные БД я бы мог сказать кто как попивает(на основе программы Andoroid) в день воды, сопоставленный с данными Гугл фит (кто как худеет).
0
Дык эта… кто же посадит ИИ за перебор картинок? Максимум за неоднозначности в выявлении картинок.
Сегодняшние задачи страшно далеки от областей ИИ. Во-первых, у текущих нейронных сетей отсутствует обратная связь… ну разве что, к тех, которые играют в игрушке в какой-то мере есть, но и там она ВНЕШНЯЯ, а не внутренняя. Как итог, у нас пока нет нейронных сетей с незатухающим или слабо затухающим сигналом — пока просто неясно как это сделать и как оно потом будет работать.
Во-вторых, у нас сети сейчас строятся послойно, без выделения блоков. По сути, сейчас нейросети совершили скачек с программирования с одной функции к функциональному программированию. Сейчас идут робкие попытки объединения таких вот сетей в одну, но все упирается в неподъемную мощность. Впрочем, вру. Ватсон от IBM тянет… Но там оно просто подгружает ту сетку, которую запросили и переключается на нее. Объединены они весьма слабо.
Третья проблема, которая непосредственно идет от первых двух, пока еще нет представления а как вообще можно организовать поток сознания. По моему мнению, это будет что-то вроде внутренних связей между разными слоями, с незатухающим или самовозбуждающимся сигналом.
В общем, какой-либо прорыв возможен будет в течение следующих десяти лет, а до полноценного ИИ еще лет двадцать-пятьдесят в зависимости от скорости решения возникающих проблем.
0
Во-первых, у текущих нейронных сетей отсутствует обратная связь…

Вы, простите, что понимаете под "обратной связью"?


Во-вторых, у нас сети сейчас строятся послойно, без выделения блоков.

Simian networks, например, ага.

0
Непонятно, каким образом из всего описанного в статье следует невозможность создани ИИ человеческого уровня эволюционным развитием современных технологий. Я вот вижу, что единственное, в чем ИИ пока что проигрывает человеку — в умении решать сложные нечетко определенные задачи, в которых мало входных данных. Причем с каждым годом во все более и более сложных и нечетких задачах ИИ превосходит человека. Да, пока не превзошел. Да, пока до этого далеко. И что?
0

Эволюционное развитие довольно растяжимое понятие. Нейросети являются эволюционным развитием вычислений на абаке?
Из того что знаю я, можно сделать вывод, что естественный интеллект работает по другим принципам. Человек не замечает разницы между изображениями, а нейросеть дает абсолютно неверный результат. Животные без проблем управляют 4 лапами, а с нейросетями для этого возникают сложности.

+1
Нейросети являются эволюционным развитием вычислений на абаке?
Являются, но весьма дальним.
Из того что знаю я, можно сделать вывод, что естественный интеллект работает по другим принципам.
Конечно по другим, у него углерод вместо кремния. Но из этого никак не следует, что развитием текущих принципов нельзя получить искусственный интеллект человеческого уровня.
Человек не замечает разницы между изображениями, а нейросеть дает абсолютно неверный результат.
Это вы об атаке на нейросети, о которой я писал в комментарии выше? Если неизвестны веса, топология и точный алгоритм сети, а сеть не выдает в ответ уверенность, ее провести нельзя. Для человека это все неизвестно. В то же время, есть подозрение, что на человека такую атаку тоже можно провести, вопрос лишь в достаточно точной математической модели нейрона и точном знании топологии нейронных связей и состояний нейронов в мозге.
Животные без проблем управляют 4 лапами, а с нейросетями для этого возникают сложности.
Я пишу о тенденции. Я помню, как десять лет назад я говорил отцу, что программу для голосового набора текста, наверное, не напишут никогда. Сейчас они есть в каждом смартфоне. С каждым годом все более и более сложные, все более и более нечетко определенные задачи решаются лучше человека. Из чего вы делаете вывод, что какие-то задачи будут не решены никогда? Из того, что они сложны и пока решаются человеком сильно лучше, это никак не следует.
0
В то же время, есть подозрение, что на человека такую атаку тоже можно провести

В on/off клетках при вычислении контрастных переходов происходит размытие на нескольких масштабах (6x6, 12x12, 24x24 вроде бы, размер центра в 3 раза меньше), так что вряд ли. А дальше наклон перехода определяется, не будет нескольких сигналов, расположенных в линию, не будет и наклона, то есть просто форма объекта будет менее узнаваема.


Из чего вы делаете вывод, что какие-то задачи будут не решены никогда?

Я не делаю такой вывод. Они не будут решены никогда только нейросетями с текущими подходами.

+1
В on/off клетках при вычислении контрастных переходов происходит размытие на нескольких масштабах
Сверточный слой в сети тоже вполне может размытие выполнить. Покуда преобразование дифференцируемо или может быть приближено дифференцируемым, все можно похакать.
+2
Последнее время появилось куча таких ниочемных статей. Какой нахрен здравый смысл? О чем вы? Сначала приводят примеры с неустоячивостью к шуму (что корректно и сейчас как раз это челленджат), а потом начинают маркетинговы булшит.
0
Интересная статья, спасибо. Но мне что-то кажется, что первый ИИ, сравнимый по уровню интеллекта с человеческим, появится тогда, когда некоторая часть человечества уже будут являться транслюдьми (постчеловечеством). Ведь мы уже сейчас живем в мире, где компьютеры, телефоны и интернет-окружение, уже являются частью нас, новообразованием над неокортексом.

А представьте, что случится через 20-30-50 лет? Люди, окруженные IOT c рождения и до смерти, круглосуточный мониторинг и сбор статистических данных, — информационная цивилизация. И люди, в виду их творческой сути, смогут изменять себя, расширить методы и способы мышления биологическими и технологическими путями, что и не снились нынешнему поколению.

Я веду к тому, что когда полноценный человекоподобный ИИ будет создан, часть человечества, кто этот интеллект создаст, уже будут в какой-то мере нелюдьми. И страх тут вовсе не в том, что ИИ «поработит» мир, а в том, что наступит момент, когда появится огромное интеллектуальное расслоение общества: люди, постлюди и ИИ. И от того как эти сообщества будут взаимодействовать с друг другом, зависит наше общее будущее.
0
В действительности ИНС пока что вообще ничего не понимают, просто классифицируют полученные данные (если я не ошибаюсь?).
А вообще, зачем моделировать мозг, если можно просто использовать логику его работы? Ну, типа, сделал что-то и стало хорошо — повтори, плохо — больше так не делай и т. п.
Так же быстрее будет, чем какие-то хитрые сети со взаимодействием нейронов моделировать, да ещё и тренера отдельно сюда приплетать, который будет эти нейроны как-то настраивать, разве нет?
+1
Может, я вас удивлю, но искусственный нейросети и так не моделируют человеческий мозг. Для того же, чтобы ответить на этот вопрос:
В действительности ИНС пока что вообще ничего не понимают, просто классифицируют полученные данные (если я не ошибаюсь?).

Нужно сначала определить, что такое понимание.
0
Понимание — построение правильной информационной модели.

Если каждый элемент изучаемого объекта соответствует некоторому элементу модели, и поведение модели в некоторых условиях соответствует поведению изучаемого объекта в таких же условиях, значит информация об объекте понята правильно.

Человек понимает по-английски. Программа понимает формат JSON. Ученик понял, как работает синхрофазотрон.
0
С таким определением вполне можно считать кластеризацию пониманием. Выделяются типы объектов, каждый новый, ранее не виденный, объект можно отнести к одному из типов. Взаимодействие объектов можно оценить по взаимодействию известных пар взаимодействующих объектов тех же типов.
0

Так и добавление нового формата в программу можно считать пониманием. Похоже ведь, потому так и называют. В рамках узких задач такой модели достаточно, но для деятельности, аналогичной человеческой, нет. А недостаточная модель означает непонимание.


Взаимодействие объектов можно оценить по взаимодействию известных пар взаимодействующих объектов тех же типов.

Оценить может и можно, но пониманием это не является, так же как не является пониманием запоминание правильных ответов на 20 задач по математике.


В контексте ИИ проблема не в размерах классификатора, а в принципах его построения. Особенно для понятий, связанных с динамикой и взаимоотношением объектов — идти/бежать, на столе/в столе.

0
Оценить может и можно, но пониманием это не является
Я перестал понимать, что вы понимаете под «пониманием». Оно наблюдаемо? Если мне нужна программа, которая оценивает взаимодействие двух ранее не виденных объектов, и у меня есть программа, которая это делает хорошо, то мне, в общем-то, плевать, понимает она их или нет.
В контексте ИИ проблема не в размерах классификатора, а в принципах его построения
Ну вот, например, в нейросеть вместо сигмоиды ReLU поставить — это изменение принципов или нет? Это изменение, вместе с ростом вычислительных мощностей, позволило решить (в смысле «решить лучше человека») с помощью машинного обучения ряд задач, которые ранее не решались. Я вижу, что подобные небольшие изменения решают все новые и новые классы задач, и не вижу оснований полагать, что по какой-то причине нам потребуются более серьезные модификации для того, чтобы решить какую-нибудь задачу, решаемую человеком.
0
Я перестал понимать, что вы понимаете под «пониманием». Оно наблюдаемо?

Есть информационная система. Всё, что снаружи нее — это внешняя окружающая среда (реальность), внутри есть информационная модель этой реальности. Другая информационная система это тоже объект внешней среды.
Информационная система получает информацию о внешней среде с помощью датчиков, и на основе нее строит модель этой среды. Понимание информации — это построение правильной модели. Естественно, есть уровень понимания — насколько модель соответствует тому, что она моделирует.


У учителя информатики в воображении есть модель того, как работает компьютер. Он передает эту информацию посредством звука ученику. Если у ученика появилась такая же модель компьютера, как у учителя, значит он понял эту информацию. Отсюда идет и метод проверки — расскажите своими словами. Учитель анализирует слова ученика и строит модель того, что понял ученик, и потом сравнивает со своей.


Ну вот, например, в нейросеть вместо сигмоиды ReLU поставить — это изменение принципов или нет?

Нет, потому что результат остался тот же. Так же нужна предварительная выборка, так же нужны миллионы итераций, так же нужно следить за переобучением, так же невозможно решить ряд задач, которые без проблем решаются даже животными (это я про управление лапами).


и не вижу оснований полагать, что по какой-то причине нам потребуются более серьезные модификации для того, чтобы решить какую-нибудь задачу, решаемую человеком.

Основания такие, что текущие модификации не позволяют их решать, значит более серьезные модификации нужны. А нужны именно серьезные, а не незначительные, потому что есть качественные различия. Например, человеку не нужны миллионы повторений для обучения чему-либо.

0
Есть информационная система. Всё, что снаружи нее — это внешняя окружающая среда (реальность), внутри есть информационная модель этой реальности.
А как мне определить, что у учителя информатики в голове есть такая модель? Может, он робот?
Нет, потому что результат остался тот же. Так же нужна предварительная выборка, так же нужны миллионы итераций, так же нужно следить за переобучением, так же невозможно решить ряд задач, которые без проблем решаются даже животными
Ну вот как раз по этим критериям: есть ряд задач из области распознавания изображений, которые до ReLU требовали очень долгого обучения, очень аккуратной настройки гиперпараметров и решались хуже, чем может человек. С приходом ReLU все эти проблемы исчезли. Почему вы думаете, что для других задач не найдется своего ReLU?
нужны именно серьезные, а не незначительные, потому что есть качественные различия. Например, человеку не нужны миллионы повторений для обучения чему-либо
А это точно качественное различие, а не количественное? Число итераций для достижения нужного качества на одной и той же задаче уменьшается с развитием новых технологий. Опять же, человек, как правило, использует уже имеющиеся данные для обучения новому классу задач — точно так же и нейросети, распознающей сотню классов изображений, достаточно дюжины примеров для того, чтобы научиться отличать новый класс от всего остального. Да, человеку достаточно одного, а нейросети, как правило (не всегда), недостаточно. Но, во-первых, подвижки в этом направлении есть, а во-вторых, так ли уж это важно?
0
А как мне определить, что у учителя информатики в голове есть такая модель?

Для биологических существ и на текущем уровне технического развития можно определить только по косвенным признакам. Например, тоже попросить его рассказать своими словами, сейчас это проверяют в вузе пока учитель там учится. Также можно давать задания, где нужно узнать заведомо неизвестную информацию (сделать сложение случайных чисел в двоичной системе) или описать взаимодействие объектов в заданных условиях (какие комплектующие надо купить в магазине, чтобы компьютер заработал). Чем больше проверок, тем больше вероятность, потому что заранее запомнить все возможные соответствия входов и выходов невозможно.


Для ИИ можно будет взять отладчик и посмотреть.


С приходом ReLU все эти проблемы исчезли

В вашем списке нет того, что я перечислил — предварительная выборка, миллионы итераций, переобучение. Ну будет не 6 миллионов итераций, а 1 миллион, это количественное изменение, а не качественное. Ок, может в пределах одного нейрона оно качественное, но не в пределах всей сети, ведь принцип их взаимодействия остался тем же.


Лично мне необходимость отсечения стала сразу понятна, когда я попробовал реализовать нейрон. Получилась сумма больше единицы, что с ней делать? Как это может быть реализовано в биологических нейронах? Просто ставим максимальную реакцию, меньше нуля минимальную. Они не умеют считать производную гиперболического тангенса.


А это точно качественное различие, а не количественное?

Технически конечно количественное, но для его достижения необходимы качественные изменения. Вообще всё сводится к тому, чтобы правильно детали соединить, можно ли это называть качественным изменением или их принципиально не бывает? Качественные изменения архитектуры это те, которые приводят к качественному изменению результата, даже если надо просто подсоединить электричество, чтобы лампочка загорелась. Но сначала электричество надо изобрести.

0
Для биологических существ и на текущем уровне технического развития можно определить только по косвенным признакам
То есть, если ИИ тоже сможет более или менее отвечать на вопросы о том, как работает компьютер, можно считать, что модель у него внутри есть, я правильно вас понял? Просто потому, что для человека мы считаем такой тест достаточным. Насколько я понимаю, в некоторых случаях это даже сейчас достижимо с помощью рекурсивных нейронных сетей — например, построение сети, умеющей текстом отвечать на вопрос «что изображено на картинке?» входит в обучающие курсы.
В вашем списке нет того, что я перечислил — предварительная выборка, миллионы итераций, переобучение.
Если вы под «предварительной выборкой» понимаете те сотни тысяч изображений, на которых сеть обучалась до применения transfer learning, то стоит учесть и миллиарды кадров, которые человек видел за свою жизнь. Ему же не приходится с нуля учиться выделять линии в каждом новом изображении, этот навык переносится. Про переобучение я упомянул — с ReLU его меньше, благодаря чему меньше приходится тюнить гиперпараметры.
Ну будет не 6 миллионов итераций, а 1 миллион, это количественное изменение, а не качественное
Ну дело же не в итерациях, а во времени и количестве данных. Сколько итераций у человека в голове происходит, мы не знаем, и нам, в общем-то, плевать. А вот по времени и по количеству данных есть интересные результаты — например вот в этой статье утверждается, что их алгоритм распознает буквы неизвестного алфавита лучше, чем человек, видевший столько же (от 1 до 10) написаний буквы, сколько и алгоритм (см табл 1 на стр 5). При том, что человек букву видит, на самом деле, больше одного раза — под чуть разными углами, в разных местах поля зрения. Алгоритм все еще качественно проигрывает? =)
Технически конечно количественное, но для его достижения необходимы качественные изменения
Ну вот, казалось бы, лет 10-15 назад разница в качестве распознавания речи и изображений казалось таким же качественным отличием, но постепенным прогрессом вполне была сведена на нет.
0
То есть, если ИИ тоже сможет более или менее отвечать на вопросы о том, как работает компьютер, можно считать, что модель у него внутри есть, я правильно вас понял? Просто потому, что для человека мы считаем такой тест достаточным.

С ИИ мы можем взять отладчик и проверить, есть ли у него понятия, соответствующие элементам компьютера и процессам, в них происходящим. Более того, чтобы внутри программы была модель, ИИ не нужен. Модель можно заложить снаружи, этим и занимаются программисты. Интерес представляет механизм формирования такой модели по входной информации.


Если ИИ сможет проанализировать текст об устройстве компьютера, а потом рассказать своими словами, и ответить на вопросы, заранее ему неизвестные, то да, можно считать, что у него появилась правильная модель. Но надо учитывать, что для людей мы считаем это достаточным, так как интеллект это название для некоторой особенности, присущей людям, а программам такая особенность как правило не присуща.


что изображено на картинке?

Это уже известная информация, а я говорил о неизвестной. Мы ведь о понимании говорим, а тут это ничем не отличается от зубрежки, которая и у людей не считается пониманием.


то стоит учесть и миллиарды кадров, которые человек видел за свою жизнь

Причем тут миллиарды кадров, есть ведь и другие примеры. Собака изучает команду "Сидеть" за десятки повторений, не зная человеческого языка вообще. Человек может научиться играть в шашки, прочитав правила, и через сотню игр неплохо играть, а нейросеть даже с заложенными правилами ходов учится дольше.


Ну дело же не в итерациях, а во времени и количестве данных.

Нет, дело именно в итерациях, мы же говорим о качестве и принципах работы. Если у алгоритма есть способность обучаться за значительно меньшее число итераций при сравнимом результате, то принцип работы у него другой.


При том, что человек букву видит, на самом деле, больше одного раза — под чуть разными углами

А тут вопрос в том, как распознает алгоритм под разными углами. Если я правильно понял, там вот что написано:
"a random rotation uniformly sampled between -pi/16 and pi/16"
"The images are then downscaled to 20x20"
11 градусов на 20 пикселах это поворот на 2-3 пиксела. А под какими углами человек может распознать незнакомый символ, и на каких размерах? Так что нет, все еще качественно)


Ну вот, казалось бы, лет 10-15 назад разница в качестве распознавания речи и изображений казалось таким же качественным отличием

Это не качественное, с отслеживанием контекста все те же проблемы.

0
С ИИ мы можем взять отладчик и проверить, есть ли у него понятия, соответствующие элементам компьютера и процессам, в них происходящим.
Я могу открыть отладчик и увидеть пару десятков миллионов коэффициентов нейросети. Это мне скажет о наличии или отсутствии модели предметной области не больше, чем изучение могза человека под микроскопом.
Это уже известная информация, а я говорил о неизвестной. Мы ведь о понимании говорим, а тут это ничем не отличается от зубрежки, которая и у людей не считается пониманием.
Ок, вопрос должен быть неизвестным на момент обучения и предъявляться одновременно с или после обработки изображения. Например, как в этой статье. Я вас правильно понял, что программа из нее обладает пониманием того, что изображено на рисунке (пусть и худшим, чем у человека)?
Собака изучает команду «Сидеть» за десятки повторений, не зная человеческого языка вообще.
Собака за свою жизнь слышала уже довольно много всяких звуков и уже научилась выделять из них наиболее частые паттерны. В том числе, и соответствующие человеческой речи. Поэтому надо либо сравнивать весь массив данных, которые собака прослушала к этому моменту, с обучением нейросети с нуля, либо сравнивать десяток повторений с обучением выделению слова «сидеть» нейросети, уже обученной выделять какие-нибудь другие звуки и их комбинации. Если взять новорожденного щенка, который никогда в жизни ничего не слышал (и то еще не факт, что не слышал), то, уверен, десятка повторений ему не хватит.
Человек может научиться играть в шашки, прочитав правила, и через сотню игр неплохо играть
AlphaZero, запущенная на одном компьютере, за сутки достигла сверхчеловеческого качества игры в Го, шахматы и Сеги. Уверен, она может научиться играть в шашки на среднем уровне за то время, пока человек будет читать правила, не говоря уже о сотне матчей, требующихся для человека.
Нет, дело именно в итерациях, мы же говорим о качестве и принципах работы. Если у алгоритма есть способность обучаться за значительно меньшее число итераций при сравнимом результате, то принцип работы у него другой
Слушайте, я же еще в самом начале написал, что принцип работы у человека и у нейросети совершенно разный, с этим глупо спорить — человек на углероде построен, а нейросеть — на кремнии. Качество для меня лично определяется такими параметрами, как точность ответа, скорость работы, время на обучение, размер тренировочной выборки. А вот число итераций мне, как пользователю системы, совершенно до лампочки. Не понимаю, почему оно вас так заботит.
А тут вопрос в том, как распознает алгоритм под разными углами. Если я правильно понял, там вот что написано:
«a random rotation uniformly sampled between -pi/16 and pi/16»
«The images are then downscaled to 20x20»
Следующая фраза: «A larger class-dependent rotation is then applied, wherein each sample from a particular class is rotated by either 0, π/2, π, or 3π/2 (note: this class-specific rotation is randomized each episode, so a given class may experience different rotations from episode-to-episode)».
11 градусов на 20 пикселах это поворот на 2-3 пиксела. А под какими углами человек может распознать незнакомый символ, и на каких размерах? Так что нет, все еще качественно)
Человеку даются точно такие же углы. Собственно, я не думаю, что человек сможет с ходу точно определить символ неизвестного алфавита, виденный всего раз, еще и не зная, где у него низ.
А насчет последней фразы хотелось бы поподробнее — каким образом из факта «нейронная сеть решила задачу лучше, чем человек, независимо от количества входных данных, в том числе, результат сети при 4 изображениях был лучше, чем результат человека при 10» вы делаете вывод «человек не просто лучше, а качественно лучше»?
Это не качественное, с отслеживанием контекста все те же проблемы.
О каких проблемах с отслеживанием контекста при распознавании речи и, особенно, изображений, вы говорите? И почему вы считаете эту проблему более серьезной, чем переход с <50% точности распознавания на уровень, превышающий человеческий, за последние полтора-два десятилетия?

В качестве резюме: я говорю о тенденции. Есть куча задач, которые раньше не решались, а сейчас решаются. Да, если взять задачу, которую только что впервые смогли решить, и еще чуть-чуть ее обобщить, то такую обобщенную решать пока не умеют. Но из этого никак не следует, что требуется какой-то качественный скачок, чтобы эту чуть усложненную задачу решить. До сих пор же как-то развивались без качественных скачков.
0
Я могу открыть отладчик и увидеть пару десятков миллионов коэффициентов нейросети

Ну так нейросети и не проявляют пока нужных качеств. Как раз потому что никому непонятно, что за что отвечает, что надо поменять, чтобы получить нужный результат.


А вот когда будет понятно, можно будет написать и специализированный отладчик.


Я вас правильно понял, что программа из нее обладает пониманием

Там ссылка локальная. Но не суть. Дело не в том, есть ли там какая-то модель, а в том, достаточная ли она для решения задачи. И не в ответе на конкретный вопрос, а в умении правильно отвечать на произвольные вопросы по этой теме. Если вас устраивает результат "ой, я что-то знакомое увидела", можете считать, что понимание у нее достаточное. В конце концов, выражение "программа понимает JSON" давно никого не удивляет.


AlphaZero, запущенная на одном компьютере, за сутки достигла

А за сколько повторений? А если у человека будет такая же производительность железа?


человек на углероде построен, а нейросеть — на кремнии

Я нигде не говорил про химические элементы. Я говорю только про логические принципы обработки информации.


Не понимаю, почему оно вас так заботит.

Потому что это косвенная информация о принципах работы. И именно в них заключается возможность отслеживать контекст при чтении, заниматься наукой, и прочие возможности анализа информации.


0, π/2, π, or 3π/2

Так это к новым классам относится. "We also created new classes through 90◦, 180◦ and 270◦ rotations of existing data". На таких вращениях человек тоже воспринимает это как другую фигуру.


Человеку даются точно такие же углы.

Так а почему ограничивают человека, а не дают возможности машине? Человек его и под 45 градусов узнает. Смысл ведь в том, чтобы возможностей человека достичь.


И почему вы считаете эту проблему более серьезной

Потому что информацию можно просто текстом передавать. Распознали, хорошо, но смысл то в ее обработке.


У вас какое-то свое представление о качественном скачке. Я не говорю об изобретении новой силы в дополнение к электричеству и гравитации. Я говорю о принципах обработки информации, узнав которые, можно будет говорить "оно работает вот так", "чтобы получить такую способность надо делать вот так". Теория, которая позволит строить такие системы расчетами, а не методом тыка, предсказывать их поведение и характеристики.

0
Почему бы все те же скармливаемые данные не подавать с разнообразным шумом?
0
Потому что можно будет найти новые паттерны шума, которые будут так же убивать сеть на картинках. И это не лечится повторением (те так можно играть в кошки-мышки сколько угодно).
0
Я сам занимаюсь текстом, поэтому про картинки знаю по большей части только из статей. Собственно, это информация из одной из первых статей на adversarial examples.
0
Это по построению атаки так. Всегда можно посчитать градиент. См обсуждение в ветке выше.
-1
Почитал. «Алгоритмы машинного обучения ещё не понимают реальность так, как это делают люди » — пишет Мелани Митчелл. А собственно зачем алгоритмам «понимать реальность как люди»? Похоже на то, что у алгоритмов нет такой внутренней мотивации. Вероятно потому, что алгоритмы не обладают разумом и интеллектом (в «человеческом» смысле слова). Прорыв наступит только если алгоритм «проявит способность» к самоосознанию. Понимание самими людьми «природы интеллекта» совсем даже не «шаг назад». Это необходимое условие создания технических систем обладающих реальным интеллектом, а не его имитацией.
Только полноправные пользователи могут оставлять комментарии. , пожалуйста.