Комментарии 58
плюс много. и надо напоминать тот факт, на тьюринговских компьютерах он может и невозможным оказаться
Скорость обучения не настолько существенна, как утверждает ТС. Каждому биологическому интеллекту нужно обучаться заново. 7 млрд раз. Искусственные сети легко копируются, обучить что-то крутое нужно один раз (или раз десять, учитывая конкурентов). Количество потраченного электричества и кремния тоже, фактически, не важно. Главное что бы окупилось в масштабах планеты. На обучение врача-диагноста нельзя потратить больше условных 500к$ (в бедных странах в десятки раз меньше), на обучение электронного диагноста можно потратить миллиард или десять и это всё ещё будет иметь смысл.
Посыл статьи о том, что искусственные нейронные сети менее эффективны биологических является заблуждением. Далее читать не стал, но прочитал в конце — "ничего не получилось". В прочем я и ожидал такой результат, потому что никакая биологическая нейросеть неспособна с чистого листа обучиться на 100 примерах. В этих примерах слишком мало информации, как ты там не пыжься, сколько не усиливай интеллект.
Надо просто придти к простому пониманию: для изучения сложных явлений и объектов требуется много обучающих примеров.
Доводы о том, что ребенку достаточно показать пару картинок, и он запомнит — это пример заблуждения. Ребенок несколько лет обучался запоминать и распознавать. Примеров было не два, а сотни тысяч или миллионы.
Хватит искать грааль интеллекта.)))
Распознавание образов с нескольких примеров безо всяких фантазий о священных граалях вселенной:
https://m.habr.com/ru/post/414425/
Правда тут нейронки оттеснили. Нашли более эффективные и простые методы, чем те, которые реализованы в биологических системах. :-P
Вот не совсем так.
У меня маленький ребенок и кошка.
Сейчас они имеют примерно одинаковый интеллект.
При этом — ребенок умеет анализировать, то есть провести ряд действий для уточнения обучающей выборки, а кошка к сожалению — нет.
В итоге, чтобы обучить чему то кошку — нужно монотонно повторять действия раз за разом, повторяя поощрение за правильный результат.
С ребенком же все проще — показываешь что есть, что хочешь получить, оставляешь его самого с собой и хоба, спустя N минут времени он сам додумывает промежуточные шаги и сам вырабатывает методику обучения себя.
Вот когда мы сможем запрограммировать в ИИ способность анализировать, а не только обучаться — тогда будет прорыв. Но как это сделать — пока никто не знает.
Так что, возможно, способность накапливать и повторно использовать знания это есть священный грааль искусственного интеллекта, который еще предстоит найти.
Распознавать слова ребенок тоже учится на нескольких примерах. Только там нет огромного опыта уже накопленных знаний, только несколько десятков звуков. Там его в принципе не может быть, люди не могут произносить слова по 60 кадров в секунду.
Тут все равно нет огромного опыта. Сколько ребенку надо повторений, чтобы запомнить, что означает слово "мама"? Максимум несколько сотен.
Это я и назвал огромным опытом. Это не только повторение наблюдений, но и их систематизация.
Любые составляющие этого огромного опыта требуют повторения, которое измеряется в десятках или сотнях раз, а не в миллионах. Для мамы друга из детского садика тоже.
Так разговор у нас про одну составляющую. При чем тут все дерево вообще) Его размер никак не меняет факта, что есть механизм изучения чего-либо за несколько десятков повторений. Если в нейросети так просуммировать, повторений получится еще больше.
И нет, оно все равно получится не такое большое, как в нейросетях. 3 года это 63 миллиона секунд, если считать по 16 часов в день. Сколько там слов можно услышать за это время, наверно раз в 10 меньше. 6 миллионов, это всего для хорошего овладения речью и ее понимания на уровне "расскажи сказку".
Вы просто отрываете опыт распознавания звуков от остального опыта, и это неверный подход. Навыки сильно взаимосвязаны. Очень сильно.
Сколько по вашему мнению ребенок может услышать слов за 3-4 года?
От какого "остального"? Звуки это и есть опыт.
Без этого базиса — какое нафиг распознавание речи??????
Папа громко рявкнул — ага, все понятно, нельзя.
Ну вот же, сами написали, что обучение происходит с одного примера. Про такие случаи как раз и разговор.
распознавать и указывать визуальные объекты
Я не просто так привел в пример звуки. Если люди, слепые от рождения, но говорить и узнавать окружающие объекты они учатся примерно в одно время с обычными. Но у них нет опыта получения 3-4 года зрительной информации с частотой 60 кадров в секунду, который почему-то часто упоминают в таких обсуждениях. Значит человеку для обучения действительно надо гораздо меньше примеров, чем современным нейросетям.
Со звуком это все может быть не связано, но для развития важно: хлопнул в ладоши, ага, звук услышал, взаимосвязь укоренилась.
Я повторю вопрос — сколько по вашему мнению ребенок может услышать хлопков, рявканий и прочего за 3-4 года, чтобы научиться это правильно распознавать? Как бы вы оценили это количество? В штуках с точностью до сотен.
Без этого базиса — какое нафиг распознавание речи??????
Действительно, какое нафиг распознавание речи? Мы говорим про обучение конкретному слову на нескольких примерах.
Как бы вы оценили это количество? В штуках с точностью до сотен.
Хз как оценить поток информации от пяти-шести органов чувств в штуках. Для меня это сложно. Кого-то ремнем лупят чаще — у него больше опыта тактильной информации в штуках.)))
Поймите меня правильно. Нейроны, которые участвуют в распознавании звуков/слов необязательно связаны только со слуховым каналом. Там все перемешано, поэтому мы часто имеем зрительно-слухо-тактильные образы, а не что-то отдельное. Просто 3-4 года формируется общая способность, общие навыки. Я не знаю как это в количестве услышанных звуков или слов измерять, это неправильно.
Кого-то ремнем лупят чаще
При чем тут ремень, если мы говорим про первоначальное распознавание слова "мама"? В том возрасте, в котором дети начинают его узнавать, наказание ремнем они еще не понимают.
Нейроны, которые участвуют в распознавании звуков/слов необязательно связаны только со слуховым каналом.
Какая разница-то?) Ну возьмите сочетание "образ мамы + слово мама". Оно все равно появляется не чаще, чем только слово "мама". Сколько раз ребенок должен наблюдать это сочетание, чтобы начать узнавать маму? А ребенок, который не видит от рождения? В любом случае счет идет на сотни, а не на миллионы.
Просто 3-4 года формируется общая способность, общие навыки.
В 3-4 года ребенок уже шпарит вовсю на родном языке. Он не только слово "мама" выучил, а еще несколько сотен кроме него. Сколько там повторений нужно было?
Долго вы мне ещё будете заносить дичь про one-shot learning without pre-training?
Мне неинтересны эти годы, сотни штук, миллионы штук. Мне просто pre-training верните на место.) Там пентабайты, но не все пишутся в веса нейросетей.
Не знаю, где вы тут увидели one-shot learning. Десятки повторений это не one-shot.
Я спорил с утверждением из начального комментария "Ребенок способен обучаться на нескольких примерах, потому что его обучение базируется на огромном объеме уже накопленных знаний", а также с вашим "В смысле «нет огромного накопленного опыта»? Опыт существует, и он немаленький". Но вы видимо в каких-то своих мыслях витаете, оставлю вас с ними наедине.
Предыдущий опыт может быть по разделению звуков на категории. И слово "мама" попадает в уже готовую категорию. Как близкий вектор в word2vec модели. Поэтому и распознается окончательно с десятков/сотен повторений.
Думаю, это имел ввиду предыдущий комментатор. Но в реальности все сложнее, конечно, ведь это и физиология — мозг и все тело развиваются.
Но о pretrained подготовке говорит тот факт, что число связей у младенца в первое время уменьшается. И как только все это устаканивается, как только мозг научится понимать картину мира в целом, тогда начинается резкий прогресс в few-shot обучении.
Предыдущий опыт может быть по разделению звуков на категории. И слово "мама" попадает в уже готовую категорию
Так "мама" это не звук, это сочетание звуков. Ну то есть да, сначала надо научиться различать звуки, но их всего пара десятков, и есть аппаратная поддержка. Но разговор не о том, в какую категорию его отнести, а о том, чтобы запомнить, что оно означает. То есть связать с некоторым объектом.
Но о pretrained подготовке говорит тот факт
тогда начинается резкий прогресс в few-shot обучении
Ну вот есть нейросети, которые распознают речь. То есть они уже pretrained в нужном нам смысле. Какой там у них прогресс в few-shot обучении?
Но разговор не о том, в какую категорию его отнести, а о том, чтобы запомнить, что оно означает. То есть связать с некоторым объектом.«что оно означает» — это корреляция между разными модальностями. Когда показывают кошку и говорят «это кошка», входной звуковой образ коррелирует с визуальным. Одного или несколько повторов достаточно, чтобы выявить эту корреляцию.
Неа. "Что оно означает" это соответствие одной наблюдаемой модальности (слова) уже известному информационному объекту. При этом объект может появляться из наблюдения других проявлений той же модальности (звуков).
Когда у вас ночью за шкафом кто-то скребется, звуковой образ ни с чем не коррелирует, но вы понимаете, что за шкафом кто-то есть. Может это ваша кошка, может мышь. Какой-то объект. Его название вам для этого не нужно.
Когда вы идете по лесу и слышите какие-то красивые трели, звуковой образ тоже ни с чем не коррелирует. Но вы понимаете, что там есть какой-то объект, который их издает. И если они станут идти с другой стороны, вы можете предположить, что он переместился. А уже потом вам могут сказать "это соловей, птица такая".
Когда вы идете по лесу и слышите какие-то красивые трели, звуковой образ тоже ни с чем не коррелирует. Но вы понимаете, что там есть какой-то объект, который их издает.В данном случае вы просто запоминаете новый звуковой образ. Пока что он не связан с другими образами. И человек заявляет, что он не знает, что означает этот звук.
А уже потом вам могут сказать «это соловей, птица такая».Вам вызывают из памяти уже существующую у вас запись — «звук трели», и добавляют к ней новые образы: имя объекта «соловей» и его класс «птица».
Теперь человек может заявить, что он знает, что трель означает соловья и птицу.
Те же связи возникнут при непосредственном наблюдении поющего соловья и чьего-то пояснения «это соловей, птица такая».
Суть в том, что сначала вы выделяете какую-то информационную сущность, а потом уже возможно с ней связывается слово. Это совсем не корреляция входных образов или отнесение слова к категории.
Вам вызывают из памяти уже существующую у вас запись — «звук трели», и добавляют к ней новые образы: имя объекта «соловей»
Нет, существующая запись называется "трель", а не "соловей". "Соловей" должно соответствовать другому образу (информационному объекту).
И существующая запись это уже не входной образ, как вы сказали вначале.
В данном случае вы просто запоминаете новый звуковой образ. Пока что он не связан с другими образами.
Это не только звуковой образ. Появляется другой информационный объект, который связывается с этим образом — источник звука. Если соловей будет летать вокруг вас и издавать звуки с разных сторон, вы сможете отслеживать его местоположение. Каждый новый звук вы будете относить к этому источнику, они не будут для вас отдельными несвязанными образами. Вот с такими информационными объектами потом и связываются слова.
Суть в том, что сначала вы выделяете какую-то информационную сущность, а потом уже возможно с ней связывается слово.Всё так.
Это совсем не корреляция входных образовДа, в примере с соловьём нет корреляции. Я её привёл только как самый простой (без учителя) способ связать два сенсорных образа от разных модальностей в один общий образ, когда обе сенсорные области одновременно наблюдают объект — глаза видят кошку, уши слышат мяуканье.
Хотя у нас есть аппаратные возможности по определению направления на источник звука, но мы и без них можем связать звук мяуканья с кошкой, пронаблюдав это в нескольких сценах. И кошка и мяуканье будут только совместно. Причём мяуканье не будет встречаться отдельно от кошки, в отличие от самой кошки. И из этого можно вытянуть ещё и знание, что звук принадлежит кошке, а не наоборот.
Это не только звуковой образ… Вот с такими информационными объектами потом и связываются слова.Да, это так. Я просто утрировал до единственного звукового образа для упрощения.
мы и без них можем связать звук мяуканья с кошкой, пронаблюдав это в нескольких сценах. И кошка и мяуканье будут только совместно.
Вы говорите, что для появления информационного объекта, с которым можно связать слово, нужны две модальности, появление которых будет коррелировать. А я говорю, что одна, и корреляция модальностей не нужна.
Да, это так.
Тогда непонятно, на что вы возражали. "Что означает слово" — это не корреляция между разными модальностями, а связь с уже известным информационным объектом, как я и сказал.
Так что ребенок видит, но не все, а только самое простое. Всему надо учиться. Господи, как я устал всем повторять, что биологические нейросети слишком слабые, медленные и неточные.))) Чего стоят представления обывателей о педагогике (науке об обучении человека)! Вам так трудно понять, что вся та магия обучения — это лишь результат педагогических воздействий в течение N лет, а не «хрясь и вот я такой умный, могу все!». И ещё: вы далеко не все можете.)
Фраза про миллион лет эволюции — антинаучна. Мурзилка появилась лишь 100 лет назад, до этого церковно-приходская школа, и интегралы в 10 классе не проходили. Понимаете, к чему я?) Если не понимаете, тогда мысленная задачка — подумайте, почему дети-Маугли вырастают неразвитыми и отсталыми?)
Я свое сказал. А вы свое говорите кому-нибудь другому, ей-богу. Чертовщина в ваших словах. Любите сатанизм.)
Вы даже не соизволите подумать, а что случится с вами, когда вам подменят входной сигнал.) Хотя я знаю, вы ж не способны понять разницу между "изменить сигнал" и "подменить сигнал". И как на самом деле искусственные нейросети меняют поведение при частичном разрушение структуры (алгоритма).
Люди в 6 лет в школу уже идут, а часто и читать умеют. Предполагаю, что китайские дети в этом не сильно отличаются.
Принципиально новое свойство, отличающее СНС от современных сетей это как раз связь с моторикой. То есть пункты 1-3 будут выполнены одновременно, и никак иначе.
Живое разумное существо движется и способно влиять на окружающий мир, или хотя бы на собственное положение в нём. Значит способно изменять информацию на входных сенсорах. Имеет так сказать природную естественную обратную связь – очень полезную при обучении. Именно благодаря этому оно так быстро обучает свои сети.
Сейчас мы уже на третьем этапе, если их делить. Теории «парализованных» нейросетей уже выжаты по максимуму. Над ними работают миллионы(буквально) ученых и инженеров. Там уже всё максимально эффективно насколько может быть. Программы написали получше, научились широко использовать параллельные вычисления и многокластерные базы данных. Правильно писал другой комментаор: за счет потраченого электричества и кремния стало что-то немного получатся. Но никакого «грааля» для «парализованных» сетей так и не нашли, и вы не найдете.
Вот когда третий этап будет активно вмешиваться в первые два, тогда и появится у сетей суперэффективность.
Я как раз такую нейросеть пишу. :)
Насчет четвертого этапа – совершенно верно. Речь это и есть самый яркий пример функционирования такой нейросети, которая может обучаться и в итоге мыслить только совместно с моторикой. Даже когда люди думают словами про себя их речевые мышцы слегка шевелятся. Уверен что способность думать «про себя», в эволюционном смысле «новая».
В итоге по этапам согласен. Но в целом, извините, если вы делаете очередную «парализованную» нейросеть – imho особых результатов схожими с биологическими нейросетями не получится.
А что-нибудь кроме цифр вы пробовали? Котики и собачки?
И можно ли на код взглянуть?
вы зря думаете что для ребёнка мир плохо размечен — мозг ребёнка впитывает законы физики реального мира и учится строить мысленную копию окружающей реальности со всей физикой. Когда это сделано, дальше ребёнок уже живёт в мысленной виртуальной реальности, которая лишь освежается через зрение и слух.
У вас почему-то модель эмоций находится после речи, что выглядит странно. Эмоции появились раньше речи, и создать их проще, чем речь. В самом простом случае это положительная и отрицательная обратная связь.
Или сеть ответственная за иллюзию квалия, создающие ощущения централизованного восприятия мира
Мне кажется, вы неправильно понимаете, что такое квалиа. Про него нельзя сказать, иллюзия это или нет. Красный цвет, который человек видит во сне, это все равно квалиа. И уж тем более оно не связано с централизованностью восприятия.
Радиус действия колонки 7 пикселей
То, что у вас нарисовано на этих картинках, не соответствует тому, что происходит при обработке зрительной информации в биологических системах. Сначала определяются перепады яркости, по ним наклоны линий, и происходит это в каждой точке изображения. А не в углах, где больше белого (яркого), как у вас.
На видео обучение сети на 100 случайных примерах и тест на 10 000 тестовых примерах.… сеть в таком тесте выдает результат в диапазоне от 40 до 60%
Название видео "Super-efficient neural network" как-то не соответствует такому результату.
У вас оно как-то работает потому что размеры изображений маленькие и вариантов всего 10. Поэтому пятна яркости появляются примерно в одних точках.
Это очень скромный результат, но для данной задачи требуется более сложная архитектура сети. Числа и знаки распознаются нашим мозгом на достаточно высоком абстрактном уровне. Соответственно в модели требуется больше уровней.
Если вы будете на них передавать то, что у вас есть сейчас на низких уровнях, вы получите такой же результат. Информация не берется из ниоткуда, если на низких уровнях уже произошла потеря информации, то на высоких она обратно не появится.
Вот эту таблицу с рукописными цифрами пробовали распознавать люди? От нейросети тоже ожидаются те же ошибки распознавания, что и у людей?
Поэтому таламус из этой схемы можно исключить. Замените восходящие и нисходящие связи с ним на горизонтальные связи из первого слоя настоящей коры. Будет работать ровно также, вдобавок не будет ненужной связи между размером входа и размером коры, сможете задавать любые. У вас останется один слой, плюс выходные нейроны.
сеть в таком тесте выдает результат в диапазоне от 40 до 60%, увеличение количества примеров не даёт улучшения качества.Распознавание получилось плохое, потому что оно целиком лежит на плечах единственного выходного нейрона. От него бедного требуют выучить сотни входных паттернов, а они естественным образом пересекаются с чужими. То, что результат скачет около 50% не случайность, так и должно быть, оно результат случайности. По сути, вы отобразили входные образы в случайные SDR-коды с пересечением. На большом наборе входных образов картины узлов распределяются по коре как белый шум. Отсюда и 50%. И по другому не будет. Дам спойлер: правильнее сказать — оно работает так, как и должно.
И ещё, для этого типа нейронов, важно количество синапсов. Оно должно начинаться с 500, а у вас рецепторное поле прямого входа всего 8x8.
И, кстати, нельзя так резко на 0.1 ослаблять синапсы, это приводит к «вырождению» весов — очень быстро большинство синапсов упадут до нуля, и нейрон застрянет на одном выученном входном паттерне.
- Можете посоветовать книги по работе мозга
- Это же некорректно:
" В модели каждый пиксель изображения будет являться отдельным кортикальным модулем, чем ярче пиксель, тем сильнее общее возбуждение в колонке. "
У вас получается общее возбуждение, которое влияет на работу сети, зависит от яркости картинки, а не от содержания. Может из-за этого сеть и дает рандомные результаты
Начинать с популистики, а дальше уже можно переходить на обзоры и статьи
- Сапольски Роберт — Кто мы такие? Гены, наше тело, общество и другие книги
- Газзанига Майкл — кто за главного
- Дик Свааб — мы это наш мозг
- Дж Хоккинс — Об интеллекте
- Азимов — Человеческий мозг от аксона до нейрона
- куча авторов — НЕйРОНАУКА НАУКА О МОЗГЕ ВВЕДЕНИЕ ДЛЯ СТУДЕНТОВ
- Блум — Мозг разум поведение
- Дубынин — регулярные системы организма
- Пенроуз — Новый ум короля
Как видно, все книги, кроме последней, так или иначе задают перекос в детерминизм и морфологию, так что вопрос — есть ли что по типу Пенроуза, что будет толкать в сторону нетьюринговости, квантовости, непостижимости, но без спиритуальности и прочей религиозной выученной беспомощности?
Сверхэффективная нейронная сеть или гиперсеть