Комментарии 167
Мне кажется, что это рекуррентность, а не рефлексия.
Вы правы, но так сразу как-то всё не интересно. Тут всё таки выступление же…
Ну как посмотреть… Ни рекуррентный перцептрон, ни сеть Хопфилда, ни любая другая известная мне рекуррентная сеть не обладает подобной динамикой. То есть безусловно такая динамика — следствие рекуррентности, но далеко не все, что рекуррентно, ведет себя так.
Хотелось бы увидеть архитектуру вашей рекуррентной сети Хопфилда. Можно какую-нибудь иллюстрацию.
Затрудняюсь прямо сейчас нарисовать картинку, может будет понятной формула?
Пусть S(t) — вектор текущих выходов сети, S(t-1) — на такт назад, и т.д.
Тогда состояние сети на следующем шаге в классической сети Хопфилда вычисляется как:
S(t+1) = F( W S(t) ), где W — матрица весов, F — активационная функция
В нашей сети оно вычисляется (опустив члены, связанные со внешними входами) так:
S(t+1) = F( W S(t) + W1 S(t-1) + W2 S(t-2) +… + Wn S(t-n) ), где матрицы W, W1...Wn — разные
Пусть S(t) — вектор текущих выходов сети, S(t-1) — на такт назад, и т.д.
Тогда состояние сети на следующем шаге в классической сети Хопфилда вычисляется как:
S(t+1) = F( W S(t) ), где W — матрица весов, F — активационная функция
В нашей сети оно вычисляется (опустив члены, связанные со внешними входами) так:
S(t+1) = F( W S(t) + W1 S(t-1) + W2 S(t-2) +… + Wn S(t-n) ), где матрицы W, W1...Wn — разные
а матрицы откуда?
Для начала выбирается случайным образом, а потом подстраивается.
В нашем случае нет — матрицы являются решением уравнения, которое получается из того набора данных, которые мы хотим запомнить. Поэтому метод не-итерационный, а само решение уравнений для описанной мной задачи занимает порядка одной секунды на моем ноуте. Но вообще это не принципиально, то же самое можно сделать и подстройкой
А уравнения каким образом формируются? Больше хотелось бы технических деталей конечно.
Да вот ответом ниже я их выписал. Мы берем последовательность которую надо запомнить, и требуем чтобы если уж сеть в нее попала — то дальше ей следовала. Этого единственного условия оказывается достаточно для получения всех описанных эффектов (хотя конечно хочется придумать что-то интереснее). Еще есть статья ailen.org/wp-content/uploads/2012/02/Doklad_Reznik_Dziuba.pdf — там довольно детально все описано, возможно даже слишком детально, но все же :)
Для использованного подхода к обучению, мы добивались, чтобы для любой запомненной последовательности R(t) выполнялось условие:
R(t+1) = F( W R(t) + W1 R(t-1) + W2 R(t-2) +… + Wn R(t-n) ) — это дает нам набор уравнений на искомые матрицы, для которых можно найти решение (мы использовали псевдоинверсный алгоритм с одним трюком для упрощения представления этого дела, но в принципе методы могут быть самыми разными)
R(t+1) = F( W R(t) + W1 R(t-1) + W2 R(t-2) +… + Wn R(t-n) ) — это дает нам набор уравнений на искомые матрицы, для которых можно найти решение (мы использовали псевдоинверсный алгоритм с одним трюком для упрощения представления этого дела, но в принципе методы могут быть самыми разными)
Дмитрий, это одно из самых интересных видео по теме, которые я смотрел за последнее время, спасибо!
Только, не понял про ваш P.S. Вы хотите научить сеть самой извлекать какие-то образы из входного потока, и самой обучаться нахождению того или иного образа?
Только, не понял про ваш P.S. Вы хотите научить сеть самой извлекать какие-то образы из входного потока, и самой обучаться нахождению того или иного образа?
так это возможно. вот только чтоб понять чему и как она научилась — надо будет потом искать какой из сигналов — нужный нам
Спасибо :)
В идеале да — чтобы сеть сама выделила определенные образы, и реагировала на них. Но в целом тут есть ряд вопросов как к процессу обучения сети, так и к промежуточным задачам — понятно что задачу-максимум сходу не решить, а вот какую можно было бы поставить задачу с одной стороны проще, но с другой — уже достаточно сложную, чтобы в процессе ее решения доработать модель сети?
В идеале да — чтобы сеть сама выделила определенные образы, и реагировала на них. Но в целом тут есть ряд вопросов как к процессу обучения сети, так и к промежуточным задачам — понятно что задачу-максимум сходу не решить, а вот какую можно было бы поставить задачу с одной стороны проще, но с другой — уже достаточно сложную, чтобы в процессе ее решения доработать модель сети?
На ум приходит использование генетических алгоритмов, и кнут-пряник при определении ненужных-нужных образов. Каждому поколению нейронной сети (допустим, ГА отвечает за веса нейронов) выдается поощрение или штраф за правильное или неправильное выделение образов. Но это, по сути, обучение с учителем.
Задача интересная :) Я бы, наверное, подавал на вход основной сети результат работы другой НС, которая бы занималась исключительно выделением класса образа из входа. А определением того, какой конкретно это образ занималась бы другая сеть. Персептрон как раз для такой задачи подошел бы.
Задача интересная :) Я бы, наверное, подавал на вход основной сети результат работы другой НС, которая бы занималась исключительно выделением класса образа из входа. А определением того, какой конкретно это образ занималась бы другая сеть. Персептрон как раз для такой задачи подошел бы.
Далеко не очевидное утверждение — «если данный тип нейронных сетей соединить вместе, получится ИИ».
Никакой доказательной базы не подвели.
Одно лишь утверждение — что данный тип НС похожим образом, на человеческий мозг, вспоминает информацию.
Ваше утверждение похоже на следующее — «Если объединить миллиард винчестеров, они научатся думать».
Или вот ещё один вариант, более точно отражающий вами сказанное —
«Мы получили какой-то вид нейросети, на основе существующей и чего-то она делает… и мы пока не поняли, что точно она делает — но похоже, что она делает тоже самое, что делает мозг человека. Надо попробовать объединить их вместе — вдруг получится человеческое мышление?»
Какую дискуссию вы ожидаете, на основе сказанного?
Никакой доказательной базы не подвели.
Одно лишь утверждение — что данный тип НС похожим образом, на человеческий мозг, вспоминает информацию.
Ваше утверждение похоже на следующее — «Если объединить миллиард винчестеров, они научатся думать».
Или вот ещё один вариант, более точно отражающий вами сказанное —
«Мы получили какой-то вид нейросети, на основе существующей и чего-то она делает… и мы пока не поняли, что точно она делает — но похоже, что она делает тоже самое, что делает мозг человека. Надо попробовать объединить их вместе — вдруг получится человеческое мышление?»
Какую дискуссию вы ожидаете, на основе сказанного?
Ну как — в качестве намека на доказательную базу можно сослаться на статью Innate neural assemblies for Lego memory от проекта Blue Brain, и другие их исследования, где они показывают что нейронные структуры коры мозга напоминают обсуждаемую модель (особенно ту ее модификацию, над которой мы сейчас работаем — увы, она еще не готова к публикации) — но конечно это далеко не строго и довольно спекулятивно, мне нечего возразить.
А вот дискуссия тут как раз вполне уместна: у нас есть структуры, которые по-отдельности ведут себя похоже на отдельные структуры мозга. Можно их объединить. Вопрос — как понять, во что их объединять, какие задачи ставить перед таким объединением, и какие выводы можно делать из результатов решения этих задач?
А вот дискуссия тут как раз вполне уместна: у нас есть структуры, которые по-отдельности ведут себя похоже на отдельные структуры мозга. Можно их объединить. Вопрос — как понять, во что их объединять, какие задачи ставить перед таким объединением, и какие выводы можно делать из результатов решения этих задач?
Нужно понять логику работы работы того, что мы хотим получить(аналитического аппарата): разбить на составные части это определение; соотнести это с имеющимися у нас нейросетями; понять, что из них относится к аналитическому аппарату, что не относится; понять что такое «поставить задачу», в рамках существующих нейросетей; учитывая, что задачу мы ставим общую, и запуская собранные нами данные через эти нейросети, мы должны получить определенный результат(известный нам); при всем при этом, поскольку задача общая, мы должны ещё понимать, что такое термин «догадываться», в рамках наших нейросетей; и если набор таких результатов(которые мы заранее знаем) был получен на входящих «постановках задачи», для простых задач(размерность которых меньше, чем размерность окружающего нас мира — например, компьютерные игры)… то… возможно тогда мы можем утверждать, что при масштабировании ресурсов мы будем иметь ИИ, в чистом виде.
Аналогия со сновидениями действительно зацепила. Казалось бы, сны — side-effect высокоразвитой психо-системы. Тут же — простая нейронная сеть.
Конечно, сны — это довольно отдаленная аналогия, и возможно неверная — но также возможно, что сон человека является эффектом как раз такого типа, только не на такой отдельной сети, как наша модель, а на ансамбле из множества таких сетей, или даже на ансамбле из каких-то структур из таких сетей.
Это только предположение, но появление дельта-волн аналогично появлению когерентности в активной среде лазера. К тому же дельта волны считаются исконно корковыми.
(ревниво) В сетях Хопфилда вообще очень хороший пиар — сновидения, химеры…
Но это не совсем на пустом месте — они структурно все же ближе к тому, что происходит в мозгу, чем любые модели до них. Впрочем, нашу сеть называть сетью Хопфилда уже не очень корректно, отличия слишком большие. Для такого типа сетей часто используют название «ассоциативные», по-моему достаточно удачное.
На мой взгляд, не так уж они и близки — где вы в мозге видели обратные связи всех со всеми? Но в вашей (не Хопфилда) модели есть отличное свойство, которое наверняка имеет биологическое обоснование — «линии задержки». Только насколько я понимаю, в мозге они реализованы не как обратные связи в текущем слое, а как обратные связи из верхних слоев. Есть ведь даже своеобразный задающий генератор ритмов.
Вы молодцы, отличная работа!
Вы молодцы, отличная работа!
Ну как — по последним исследованиям ребят из Blue Brain в мозгу нейроны объединены в кластеры примерно по сотне нейронов в кластере, и внутри кластера почти все нейроны связаны либо напрямую, либо через одного общего соседа, а между кластерами связи существенно более разреженные. То есть это не то чтобы Хопфилдовская сеть, но все же не очень далеко от нее.
А линии задержки — да, биологически обоснованы, мы их из этих соображений и ввели. В описанной тут модели они в рамках одного слоя, т.к. в такой схеме было понятно как учить сеть — но сейчас мы переходим к более интересной структуре, которая почти точно соответствует такой схеме соединений, но она в стадии предварительных исследований, никаких внятных результатов еще нет.
А линии задержки — да, биологически обоснованы, мы их из этих соображений и ввели. В описанной тут модели они в рамках одного слоя, т.к. в такой схеме было понятно как учить сеть — но сейчас мы переходим к более интересной структуре, которая почти точно соответствует такой схеме соединений, но она в стадии предварительных исследований, никаких внятных результатов еще нет.
Еще сеть Хопфилда была способна демонстрировать(объяснить) чудеса гештальтпсихологии
В конце выступления вы говорите о возможностях людей и роботов, поддерживаете ли вы идею сопоставимости возможностей индивидуума и цивилизации в целом. Это требуется, чтобы с одной стороны, индивидуум чувствовал себя свободным, а с другой чтобы цивилизация была устойчивой. Требуется ли, по-вашему, искусственно ограничивать возможности сильного ИИ в случае его создания?
ИМХО, на сегодня возможности цивилизации примерно равны возможностям индивидуума (разумеется с поправкой на то, что цивилизация развивается во всех направлениях одновременно, а индивидуум вынужден выбирать область специализации). Хотя изменить это было бы интересно, но тогда неизбежно возникает ряд сложных вопросов, на которые у меня нет ответов.
Возможности сильного ИИ ограничивать скорее всего не придется — хотя сценарий, когда их нужно ограничить на небольшое время, чтобы смягчить влияние ИИ на человечество, возможен. А вот сценарий, когда их действительно необходимо ограничить на длительное время, мне в голову не приходит (то есть желание такое понятно, но как по мне — можно найти варианты лучше).
Возможности сильного ИИ ограничивать скорее всего не придется — хотя сценарий, когда их нужно ограничить на небольшое время, чтобы смягчить влияние ИИ на человечество, возможен. А вот сценарий, когда их действительно необходимо ограничить на длительное время, мне в голову не приходит (то есть желание такое понятно, но как по мне — можно найти варианты лучше).
Перефразируя ваш ответ, можно получить: ИИ должен править миром. А если так, возможно не стоит стремиться сделать его максимально похожим не человека.
Немного не так: я считаю, что люди должны развиваться путем достройки своего мозга электроникой. В отдаленной перспективе это приведет к отказу от тел, и можно будет сказать, что миром правит в некотором роде ИИ. Но детали процесса создания этого искусственного интеллекта крайне важны :) Одно дело если вы создали электронного водителя, который сам решает куда вам надо ехать, а куда не надо — и совсем другое, если он быстрее и безопаснее чем вы сами довезет вас туда, куда вы хотите :)
«путем достройки своего мозга электроникой» — но тогда будет нарушение баланса в обратную сторону: возможности индивидуума превысят допустимые для цивилизации.
Если это будет происходить достаточно равномерно, возможности будут расти относительно медленно, и ими будет пользоваться большое число людей — то за допустимые рамки мы не выйдем. Вот собственно ограничения такого толка и могут быть нужны, хотя я и не думаю что понадобится что-то урезать сверх естественных проблем, тормозящих развитие такой технологии
Как бы он не решил что быстрее и безопасней ехать куда мне не надо :)
Люди с интеллектом, но без морально-нравственных тормозов — самое страшное оружие уже сейчас.
Стоит вспомнить три закона роботехники, их выдумали не просто так.
Стоит вспомнить три закона роботехники, их выдумали не просто так.
Когда эта нейросеть научиться охотиться за батарейками по лабиринту и взаимодействовать с себе подобными, не имея заложенного алгоритма или предварительного обучения, тогда можно будет сделать определенные выводы.
К сожалению пока что это только теория. Если эта теория и вправду ценная — в некотором будущем его приспособят под решение какого-то круга практических задач. И только тогда появится вау-эффект.
К сожалению пока что это только теория. Если эта теория и вправду ценная — в некотором будущем его приспособят под решение какого-то круга практических задач. И только тогда появится вау-эффект.
Первое можно сделать уже сейчас на куда более простых сетях (или не сетях, а генетических алгоритмах) — но толку пока немного…
А вот вау-эффекты нередко связаны либо с предельно заточенной технологией, когда люди думают «это ж что можно из такого собрать!!!» — в то время как на самом деле видят предел возможностей, либо с очень плохим пониманием сути, когда думают «это что ж можно из такого собрать!!!» — в то время как на самом деле это нечто абсолютно другое :)
А вот вау-эффекты нередко связаны либо с предельно заточенной технологией, когда люди думают «это ж что можно из такого собрать!!!» — в то время как на самом деле видят предел возможностей, либо с очень плохим пониманием сути, когда думают «это что ж можно из такого собрать!!!» — в то время как на самом деле это нечто абсолютно другое :)
С некоторых пор задаюсь вопросом, а не разрывно ли связаны интеллект и личность, это две стороны одной медали или всё же возможен интеллект себя не сознающий. Вы как считаете?
Интеллект должен себя осознавать и знать свои возможности, так как они не могут быть безграничными
В то же время существования личности без интеллекта(с малым развитием) вполне возможна, например воры, убийцы, алкоголики…
Парень довольно таки интересно глаголет о искусственном интеллекте, лет так через 50 возможен улучшенный анализ в доли секунд
В то же время существования личности без интеллекта(с малым развитием) вполне возможна, например воры, убийцы, алкоголики…
Парень довольно таки интересно глаголет о искусственном интеллекте, лет так через 50 возможен улучшенный анализ в доли секунд
«Должен» для меня не очевидно с тех пор как задумался над этим вопросом. «Знать свои возможности» тоже — вы когда берётесь за решение задачи всегда знаете, что способны её решить? Никогда не приходили к выводу, что решить её не получится?
«Малое развите» это всё же не отсутствие тем более что «малое» оно только относительно и, имхо, как 5 градусов по Цельсию по сравнению с 36,6 — вроде мало субъективно, но объективно лишь на 10% разницы. А я скорее считаю, что у алкоголика, способного честным трудом заработать себе на бутылку интеллект используется не намного слабее чем у лаурета Нобелевки, если сравнивать с амёбой.
«Малое развите» это всё же не отсутствие тем более что «малое» оно только относительно и, имхо, как 5 градусов по Цельсию по сравнению с 36,6 — вроде мало субъективно, но объективно лишь на 10% разницы. А я скорее считаю, что у алкоголика, способного честным трудом заработать себе на бутылку интеллект используется не намного слабее чем у лаурета Нобелевки, если сравнивать с амёбой.
Мне кажется, не стоит путать людей с некорректно настроенными сферами мотивации и эмоционального интеллекта (наркоманы, социопаты) и людей лишенных когнитивных способностей от рождения или по болезни (идиотия, альцгеймер). Первые вполне могут быть носителями острейшего интеллекта, позволяющего им добиваться своих целей четко и эффективно (найти дозу, совершить уголовно наказуемое деяние и т.д.).
Все эти соображения логично перенести и на ИИ. Вспомните Азимова же, был бум надежды на ИИ полвека назад, все обсуждалось и проговаривалось.
Все эти соображения логично перенести и на ИИ. Вспомните Азимова же, был бум надежды на ИИ полвека назад, все обсуждалось и проговаривалось.
вопрос насчёт «расширения своих собственных возможностей практически неограниченно»?
а мы знаем куда расширять наши возможности, в каком направлении?
а мы знаем зачем их расширять, с какой целью?
нам не хватает текущих наших возможностей?
эти вопросы вызваны не страхом и не желанием затормозить прогресс — не поймите привратно — эти вопросы вызваны скорее попыткой переориентации из модели «не хватает рекрутов Сэр!» (энергии, ресурсов, возможностей) — в модель «каким наилучшим образом использовать то что есть сейчас» — и отвечая на этот вопрос — находить ответы на вопрос что нам ещё необходимо чего у нас сейчас нет и что нам нужно получить исследовать узнать познать из области неизвестного…
а мы знаем куда расширять наши возможности, в каком направлении?
а мы знаем зачем их расширять, с какой целью?
нам не хватает текущих наших возможностей?
эти вопросы вызваны не страхом и не желанием затормозить прогресс — не поймите привратно — эти вопросы вызваны скорее попыткой переориентации из модели «не хватает рекрутов Сэр!» (энергии, ресурсов, возможностей) — в модель «каким наилучшим образом использовать то что есть сейчас» — и отвечая на этот вопрос — находить ответы на вопрос что нам ещё необходимо чего у нас сейчас нет и что нам нужно получить исследовать узнать познать из области неизвестного…
Ну навскидку людям в целом крайне не хватает умения критически и непредвзято оценивать себя, свои действия, находить собственные ошибки и исправлять их. В лучшем случае у человека это умение может быть развито в нескольких сферах, но в остальных у него с этим будет напряженка (может исключения и бывают — но я их в своей жизни не встречал. У меня например это умение хорошо развито в области науки, но в социальных отношениях я дурак дураком)
и каким образом нейронные сети помогут человеку критически и непредвзято оценивать себя?
Для этого ИНС нужны мозги. Вопрос, где их взять и как вставить?
Это был ответ на вопрос, что делать здесь и сейчас, а не для чего нужны нейронные сети :) Но с учетом того, что в ИНС можно будет по желанию включать/выключать/менять силу влияния различных нейромедиаторов (в том числе связанных, например, с обидой), это может облегчить задачу
Не осознающий себя интеллект хотя и возможен, но он будет в корне ограничен — не сможет пользоваться результатами своих собственных выводов в той мере, в какой ими пользуется осознающий себя интеллект. И ему будут недоступны в полной мере многие человеческие категории. Поэтому если мы говорим о полноценном интеллекте уровня человека, у него обязательно должно быть что-то наподобие личности — хотя эта личность может оказаться и весьма непохожей на нас (впрочем, лично я не считаю, что отличия будут кардинальными — но сейчас не хватает объективных оснований так думать).
Наш ответ Чемберлену :)
Использование принципа рекуррентности Джордана в перцептроне Розенблатта
Исследование принципа рефрактерности в рекуррентных нейронных сетях
Впрочем автор наверняка в курсе, мы как-то пересекались ;)
Специально не проверял их на «сновидения» — но думаю в этом нет ничего специфичного…
Использование принципа рекуррентности Джордана в перцептроне Розенблатта
Исследование принципа рефрактерности в рекуррентных нейронных сетях
Впрочем автор наверняка в курсе, мы как-то пересекались ;)
Специально не проверял их на «сновидения» — но думаю в этом нет ничего специфичного…
В этом есть кое-что специфичное: в нашей модели «сновидения» не угасают, не приводят к насыщению сети, имеют очень большой «пробег» до зацикливания (да и сами итоговые циклы устроены нетривиально), и содержат как образы, очень близкие к запомненным, так и отличающиеся от них. Не представляю себе подобную динамику у рекуррентного перцептрона — по крайней мере когда я с ними работал, у меня они в лучшем случае очень быстро уходили в весьма тривиальные циклы (а чаще просто сваливались в ноль либо насыщение)
А с чего им сваливаться в ноль/насыщение — на входы от обратных связей по прежнему подаются сигналы, связи все имеют не нулевые веса — работаю не хочу, другой вопрос на сколько там будет что-то осмысленное… так и у вас функция «бреда»
Ну будет не ноль, а константа, или тривиальный цикл. Но можно не видеть отличия, я не настаиваю :)
> константа, или тривиальный цикл
Константе взяться не от куда — входы меняют выходы, выходы входы. Что касается тривиального цикла — зависит от задачи+обучения. Вопрос в том, за счет чего было получено не устойчивое состояние в системе. Вы сами это анализировали, или по типу «во… как классно получилось, а я даже не у курсе был » :)
Константе взяться не от куда — входы меняют выходы, выходы входы. Что касается тривиального цикла — зависит от задачи+обучения. Вопрос в том, за счет чего было получено не устойчивое состояние в системе. Вы сами это анализировали, или по типу «во… как классно получилось, а я даже не у курсе был » :)
>Константе взяться не от куда — входы меняют выходы, выходы входы
И вот несмотря на это на практике часто получается константа.
>Вопрос в том, за счет чего было получено не устойчивое состояние в системе
Ну, это более-менее ясно — если развернуть всю конструкцию в виртуальную сеть (см. ailen.org/wp-content/uploads/2012/02/Doklad_Reznik_Dziuba.pdf ) — то это ожидаемый эффект, который правда мог быть испорчен переходом от виртуальной сети к реальной, но этого не произошло.
А вот что с этим делать дальше — непонятно.
И вот несмотря на это на практике часто получается константа.
>Вопрос в том, за счет чего было получено не устойчивое состояние в системе
Ну, это более-менее ясно — если развернуть всю конструкцию в виртуальную сеть (см. ailen.org/wp-content/uploads/2012/02/Doklad_Reznik_Dziuba.pdf ) — то это ожидаемый эффект, который правда мог быть испорчен переходом от виртуальной сети к реальной, но этого не произошло.
А вот что с этим делать дальше — непонятно.
Правильно я понял, что виртуальной сетью вы называете развертку вход-выход-вход?
Смотря что под этим подразумевать. Там идет развертка во времени, появляются связи из будущего в прошлое, и виртуальные нейроны. Это дает возможность выполнить математически удобную процедуру. Но когда идет свертка обратно, остаются только связи, имеющие физический смысл.
да, я и имел введу развертку во времени.
Еще такой вопрос, там у вас есть понятие «аттракторного радиуса», что-то не до конца понимаю. Это число возбужденных нейронов когда? Фраза «которые изменяют состояние на последнем шаге конвергенции при переходе в состояние аттрактора» — выносит мозг :)
Не это ли то самое число, которое если станет 1, то будет константа, а также от него зависит длина (нетривиального) цикла?
Еще такой вопрос, там у вас есть понятие «аттракторного радиуса», что-то не до конца понимаю. Это число возбужденных нейронов когда? Фраза «которые изменяют состояние на последнем шаге конвергенции при переходе в состояние аттрактора» — выносит мозг :)
Не это ли то самое число, которое если станет 1, то будет константа, а также от него зависит длина (нетривиального) цикла?
Аттракторный радиус берется вот откуда: если сеть находится достаточно близко к одному из запомненных состояний, то на следующем шаге она попадет ровно в него. Характерное расстояние, из которого сеть за один шаг переходит к запомненному, называется аттракторным радиусом. Прямой смысл это имеет для сети Хопфилда, для нашей модели его естественнее оценивать по поведению виртуальной сети.
Длина цикла от него более-менее не зависит (хотя конечно если у нас запомнен только один образ, то сеть, попав в него, никуда уже не выйдет — но в более сложной ситуации однозначной зависимости нет)
Длина цикла от него более-менее не зависит (хотя конечно если у нас запомнен только один образ, то сеть, попав в него, никуда уже не выйдет — но в более сложной ситуации однозначной зависимости нет)
Ок, так почему же вы считаете, что в рекуррентном перцептроне возможен только тривиальный цикл. Не из-за того ли, что в нем что-то не так с этим аттракторным радиусом?
А как вообще определить аттракторы перцептрона, чтобы можно было ввести аттракторный радиус для него? Чем они будут являться?
> если сеть находится достаточно близко к одному из запомненных состояний, то на следующем шаге она попадет ровно в него
у перцептрона действительно такого нет. Он или дает сразу правильный прогноз или нет. Поэтому сколько не крути циклы — перцептрон будет давать одно и тоже. А у Хопфильда, что, ваши искаженные буквы к примеру, восстановятся за один раз или если покрытить циклы они восстановятся лучше?
Но перцептрон прогнозируя может давать ответ на выход, и некоторые характеристики на внутренние обратные связи. Тогда на следующем шаге, он прогнозирует исходя из тех же входов, но уже в другом контексте. Поэтому в перцептроне действительно к запомненному переходим за один шаг, но прогнозов может даваться несколько… в принципе пока внутрение характеристики будут менять контекст. Поэтому в нем циклы тоже не будут тривиальными, точнее это зависит от того — на сколько однозначно происходит обучение — если оно не противоречиво — то будет тривиальный, скорее константный цикл, но если в обучающей выборке есть внутренние противоречия — то будет не тривиальный цикл прогнозов, пропорционально тем противоречиям которые есть в обучающей выборке
у перцептрона действительно такого нет. Он или дает сразу правильный прогноз или нет. Поэтому сколько не крути циклы — перцептрон будет давать одно и тоже. А у Хопфильда, что, ваши искаженные буквы к примеру, восстановятся за один раз или если покрытить циклы они восстановятся лучше?
Но перцептрон прогнозируя может давать ответ на выход, и некоторые характеристики на внутренние обратные связи. Тогда на следующем шаге, он прогнозирует исходя из тех же входов, но уже в другом контексте. Поэтому в перцептроне действительно к запомненному переходим за один шаг, но прогнозов может даваться несколько… в принципе пока внутрение характеристики будут менять контекст. Поэтому в нем циклы тоже не будут тривиальными, точнее это зависит от того — на сколько однозначно происходит обучение — если оно не противоречиво — то будет тривиальный, скорее константный цикл, но если в обучающей выборке есть внутренние противоречия — то будет не тривиальный цикл прогнозов, пропорционально тем противоречиям которые есть в обучающей выборке
О! Кстати, лирическая мысль — проходя такое «сновидение» сеть анализирует/вспоминает запомненные противоречия
Вроде, основная фишка Хопфилда в минимизации функции энергии, т.е. сеть итерационно решает задачу оптимизации. Значит, даже если решение будет не такое, что мы закладывали, то оно будет иметь некоторый смысл(сеть создала новый аттрактор не просто так).
Вопрос в том, будет ли там действительно итерации с постепенным приближением или все решиться за один шаг.
Возможно, что «большой «пробег» до зацикливания», как и «сами итоговые циклы устроены нетривиально» обусловлены слабым притяжением аттракторами демонстрируемых последовательностей.
После первого шага итерации, второй применяется к следующему символу(пусть автор поправит если не так). Значит, итерации идут параллельно с последовательностью.
После первого шага итерации, второй применяется к следующему символу(пусть автор поправит если не так). Значит, итерации идут параллельно с последовательностью.
> После первого шага итерации, второй применяется к следующему символу. Значит, итерации идут параллельно с последовательностью.
Если это так — то получается, что искаженный символ восстанавливается за одну итерацию. Тогда говорить о «аттракторном радиусе» в перцептроне можно ровно также как в такой сети Хопфилда — разницы вообще нет.
Если это так — то получается, что искаженный символ восстанавливается за одну итерацию. Тогда говорить о «аттракторном радиусе» в перцептроне можно ровно также как в такой сети Хопфилда — разницы вообще нет.
Это может прояснить только автор, мне непонятно как последовательность попадает в сеть.
Формула R(t+1) = F( W R(t) + W1 R(t-1) + W2 R(t-2) +… + Wn R(t-n) ) может описывать рекуррентный перцептрон?
>Это может прояснить только автор, мне непонятно как последовательность попадает в сеть.
У сети есть один входной слой — уравнение на самом деле содержит еще один член, а именно:
S(t+1) = F( Wx X(t) + W S(t) + W1 S(t-1) +… + Wn S(t-n) ), где X(t) — внешний вход на данном такте.
Через этот вход и задается то, что сеть должна распознавать. Но обсуждаемое поведение с длинными циклами возникает как раз при нулевых входах.
Насчет перцептронов: если у рекуррентного перцептрона будет столько выходов, сколько и входов, то его динамика будет описываться такой же формулой — но при обучении перцептрона не решается уравнение на матрицы связей из соображений запоминания последовательности, ИМХО именно поэтому в них нет подобных эффеков
У сети есть один входной слой — уравнение на самом деле содержит еще один член, а именно:
S(t+1) = F( Wx X(t) + W S(t) + W1 S(t-1) +… + Wn S(t-n) ), где X(t) — внешний вход на данном такте.
Через этот вход и задается то, что сеть должна распознавать. Но обсуждаемое поведение с длинными циклами возникает как раз при нулевых входах.
Насчет перцептронов: если у рекуррентного перцептрона будет столько выходов, сколько и входов, то его динамика будет описываться такой же формулой — но при обучении перцептрона не решается уравнение на матрицы связей из соображений запоминания последовательности, ИМХО именно поэтому в них нет подобных эффеков
>Возможно, что «большой «пробег» до зацикливания», как и «сами итоговые циклы устроены нетривиально» обусловлены слабым притяжением аттракторами демонстрируемых последовательностей.
Слабое притяжение тут конечно играет определенную роль (при очень большом притяжении сеть могла бы только повторять одно из запомненных слов), но я бы не сказал, что такое поведение вызвано самим только фактом слабого притяжения.
>После первого шага итерации, второй применяется к следующему символу
Нет, в режиме нулевых входов, второй шаг применяется к тому, что получилось на первом
Слабое притяжение тут конечно играет определенную роль (при очень большом притяжении сеть могла бы только повторять одно из запомненных слов), но я бы не сказал, что такое поведение вызвано самим только фактом слабого притяжения.
>После первого шага итерации, второй применяется к следующему символу
Нет, в режиме нулевых входов, второй шаг применяется к тому, что получилось на первом
Ну вот на пракике я нетривиальных циклов там получить не смог, хотя одно время активно пытался
Ну, похоже придется это вам как то продемонстрировать :), я не вижу ни каких теоретических ограничений… надо только вот тестовую мини задачу придумать…
Ну, скажем так — на вход подаем последовательность байтов:
1. 5, 10, 15, 20
2. 2, 4, 6, 8
3. 3, 6, 9, 12
и т.п. Обучаем.
Утверждается, что после обучения, на пятом, и далее шаге выходы будут отличны от нуля, единицы, и будут представлять собой некоторую случайную последовательность чисел, которые отличны друг от друга как минимум на 5 итераций вперед.
Годится?
1. 5, 10, 15, 20
2. 2, 4, 6, 8
3. 3, 6, 9, 12
и т.п. Обучаем.
Утверждается, что после обучения, на пятом, и далее шаге выходы будут отличны от нуля, единицы, и будут представлять собой некоторую случайную последовательность чисел, которые отличны друг от друга как минимум на 5 итераций вперед.
Годится?
>Годится?
Я как-то не понял чему будет обучаться такая штука, и почему из-за этого будет возникать случайная последовательность…
Я как-то не понял чему будет обучаться такая штука, и почему из-за этого будет возникать случайная последовательность…
Какая разница, чему она будет обучаться, мы ведь хотим воспроизвести эффект «сновидений», который по вашему специфичен только для модификаций хопфильдских сетей, а для перцептронов вам не удалось на практике.
Может быть и не случайная (тогда будет еще лучше). Главное, что на выходах будет продолжаться активность.
Тут только есть вопрос можно сделать по разному: или 10 промежутков времени на входах будет оставаться один и тот же стимул, или он показывается в один промежуток времени, а потом входы обнуляются до следующего стимула. Это как вам больше нравится, но первый вариант более реалистичен.
Может быть и не случайная (тогда будет еще лучше). Главное, что на выходах будет продолжаться активность.
Тут только есть вопрос можно сделать по разному: или 10 промежутков времени на входах будет оставаться один и тот же стимул, или он показывается в один промежуток времени, а потом входы обнуляются до следующего стимула. Это как вам больше нравится, но первый вариант более реалистичен.
В нормальном режиме сеть будет на число 5 выдавать постепенно серию 10, 15, 20, на 2 — 4, 6, 8… и т.д.
На основе следующих рассуждений можно предсказать, что сеть будет сходиться к нулю:
Часть входов обнулилась -> некоторые из ассоциативных элементов перестали активироваться (?)-> часть классификаторов перестала активироваться -> часть входов обнулилась ->.....-> все выходы обнулились
Есть ли тут ошибка?
Часть входов обнулилась -> некоторые из ассоциативных элементов перестали активироваться (?)-> часть классификаторов перестала активироваться -> часть входов обнулилась ->.....-> все выходы обнулились
Есть ли тут ошибка?
Для ассоциативной сети ошибка в предположении «часть классификаторов перестала активироваться» — т.к. ни один нейрон не является классификатором в прямом смысле. Для рекуррентного перцептрона при большинстве схем обучения это верно.
> Часть входов обнулилась -> некоторые из ассоциативных элементов перестали активироваться (?)-> часть классификаторов перестала активироваться -> часть входов обнулилась ->.....-> все выходы обнулились
Тут вообще все не правильно. Смотрим по тактно:
1 такт. на входе 2 на выходе перцептрон дает 4
2. (в моей схеме) на входе 2 + на внутренних входах 4 — на выходе 6;
(в более классической схеме) на входе 4 — на выходе 6
3. на входе 6 — на выходе 8
4. на входе 8 — на выходе Бред №1
5. на входе Бред№1 — на выходе Бред №2
да, часть входом обнуляется, но часть других появляется… поэтому постоянно идет смена и внутренних элементов, и соответственно, входов
С какой стати они вообще должны обнуляться?
Тут вообще все не правильно. Смотрим по тактно:
1 такт. на входе 2 на выходе перцептрон дает 4
2. (в моей схеме) на входе 2 + на внутренних входах 4 — на выходе 6;
(в более классической схеме) на входе 4 — на выходе 6
3. на входе 6 — на выходе 8
4. на входе 8 — на выходе Бред №1
5. на входе Бред№1 — на выходе Бред №2
да, часть входом обнуляется, но часть других появляется… поэтому постоянно идет смена и внутренних элементов, и соответственно, входов
С какой стати они вообще должны обнуляться?
Ход рассуждений был таков:
Потому что на множество входов S0 подаем нули, n1 А-элементов зависит только от S0, еще n2 перестанет превышать порог, другие n3 начнут превышать порог. Очень вероятно соблюдение неравенства n1+n2>n3. Ну или, если угодно закон сохранения энергии:
пусть Е_входов_образца ~ Е_выходов_результата. когда Е_входов уменьшается, E_выходов также уменьшается(в среднем), что приводит к уменьшению Е_входов. Это не строгое доказательство, а лишь вероятный сценарий. Возможен, например, случай, когда все внешние входы только уменьшают активность следующего слоя, тогда если их обнулить, активность не будет сдерживаться и значения будут расти.
Потому что на множество входов S0 подаем нули, n1 А-элементов зависит только от S0, еще n2 перестанет превышать порог, другие n3 начнут превышать порог. Очень вероятно соблюдение неравенства n1+n2>n3. Ну или, если угодно закон сохранения энергии:
пусть Е_входов_образца ~ Е_выходов_результата. когда Е_входов уменьшается, E_выходов также уменьшается(в среднем), что приводит к уменьшению Е_входов. Это не строгое доказательство, а лишь вероятный сценарий. Возможен, например, случай, когда все внешние входы только уменьшают активность следующего слоя, тогда если их обнулить, активность не будет сдерживаться и значения будут расти.
> на множество входов S0 подаем нули, n1 А-элементов зависит только от S0, еще n2 перестанет превышать порог, другие n3 начнут превышать порог
Не понял — у вас куда обратные связи идут? На входы, на внутренние доп. входы или прямо в средний слой (возможны все варианты)? Если на входы, то вообще не понятно, что значит «на множество входов S0 подаем нули» — там всегда что-то будет отличное от нуля. Это в классической схеме, когда выходы отображаются на входы.
Если же схема как у меня отдельно входы внешние, отдельно входы внутренние. Тогда на внешних будет скажем ноль. Но внутренние будут дальше активировать.
Тогда действительно: «n1 А-элементов зависит только от внешних нулевых входов, часть внутренних входов n2 перестанет превышать порог, другая часть внутренних входов n3 начнут превышать порог»
Тогда при полносвязности действительно может быть проблема с соблюдением неравенства n1+n2>n3. Но перцептрон Розенблатта не полносвязный, поэтому есть просто один ньюанс, который в моей статье описан так:
Другим словами нужно просто обеспечить соответствие масштабов активации от внешних входов с внутренними.
Кроме того у вас в рассуждении ошибка: если на входах нуль, то множества n1 — нет, нули это не тормозящие связи и тогда имеем вполне классическую схему n2>n3.
Другое дело как у меня могло быть (описанное в статье), что вход продолжает стимулировать как группу n1+, так и группу n1-, и активность небольшого сравнительно числа внутренних n2/n3 активностей, не могла побороть константную. Ну, так это решается разделением на группы/модальности — и все работает.
ч.т.д. :)
Не понял — у вас куда обратные связи идут? На входы, на внутренние доп. входы или прямо в средний слой (возможны все варианты)? Если на входы, то вообще не понятно, что значит «на множество входов S0 подаем нули» — там всегда что-то будет отличное от нуля. Это в классической схеме, когда выходы отображаются на входы.
Если же схема как у меня отдельно входы внешние, отдельно входы внутренние. Тогда на внешних будет скажем ноль. Но внутренние будут дальше активировать.
Тогда действительно: «n1 А-элементов зависит только от внешних нулевых входов, часть внутренних входов n2 перестанет превышать порог, другая часть внутренних входов n3 начнут превышать порог»
Тогда при полносвязности действительно может быть проблема с соблюдением неравенства n1+n2>n3. Но перцептрон Розенблатта не полносвязный, поэтому есть просто один ньюанс, который в моей статье описан так:
Каждой такой группе должно соответствовать свое число d, характеризующее количество случайных связей к А – элементу (4 группы по 20 связей (link)). В противном случае из-за случайности соединения А — элемент может лишь незначительно учитывать внутренние модальности. Особенно это становится существенным, когда одна из модальностей, например, в нашем случае (внешняя) визуальное изображение региона, имеет большую размерность, чем остальные. Тогда связи распределены по биноминальному закону или в соответствии с используемым законом, и может получиться, что с одной из модальностей могут не установиться связи (или их будет недостаточно). А так как стимулы могут отличаться только одной из модальностей, то такие стимулы не смогут различаться перцептроном, что приведет к отсутствию сходимости при обучении.
Другим словами нужно просто обеспечить соответствие масштабов активации от внешних входов с внутренними.
Кроме того у вас в рассуждении ошибка: если на входах нуль, то множества n1 — нет, нули это не тормозящие связи и тогда имеем вполне классическую схему n2>n3.
Другое дело как у меня могло быть (описанное в статье), что вход продолжает стимулировать как группу n1+, так и группу n1-, и активность небольшого сравнительно числа внутренних n2/n3 активностей, не могла побороть константную. Ну, так это решается разделением на группы/модальности — и все работает.
ч.т.д. :)
> тогда имеем вполне классическую схему n2>n3
Тут на самом деле n2 тоже не важно — ну не превышаю они порог и ладно, достаточно хотя бы ОДНОГО нейрона который превысил порог — остальные не идут со знаком минус — они просто не учитываются!!!
Тут на самом деле n2 тоже не важно — ну не превышаю они порог и ладно, достаточно хотя бы ОДНОГО нейрона который превысил порог — остальные не идут со знаком минус — они просто не учитываются!!!
Обратные связи с выходов на входы.
«на множество входов S0 подаем нули» означает, что перестала приходить новая информация.
«Тогда при полносвязности действительно может быть проблема с соблюдением неравенства n1+n2>n3» — это наоборот проблема неполносвязности, т.е. часть ассоциативных элементов(в количестве n1) будет зависеть только от обнулившихся входов. Еще раз, под n1 понимается число элементов, имеющих на своих входах только нули. Обычно, если у ассоциативного элемента на входах нули, то на выходе он выдаст ноль.
«Другим словами нужно просто обеспечить соответствие масштабов активации от внешних входов с внутренними.» — Это решает проблему «n1+n2>n3».
Не утверждаю, что розенблатрон не способен к хаотическому поведению, лишь указываю, что это для него будет неестественным, т.е нужно много чего специально подобрать.
«на множество входов S0 подаем нули» означает, что перестала приходить новая информация.
«Тогда при полносвязности действительно может быть проблема с соблюдением неравенства n1+n2>n3» — это наоборот проблема неполносвязности, т.е. часть ассоциативных элементов(в количестве n1) будет зависеть только от обнулившихся входов. Еще раз, под n1 понимается число элементов, имеющих на своих входах только нули. Обычно, если у ассоциативного элемента на входах нули, то на выходе он выдаст ноль.
«Другим словами нужно просто обеспечить соответствие масштабов активации от внешних входов с внутренними.» — Это решает проблему «n1+n2>n3».
Не утверждаю, что розенблатрон не способен к хаотическому поведению, лишь указываю, что это для него будет неестественным, т.е нужно много чего специально подобрать.
Обратные связи с выходов на доп. входы.
> Не утверждаю, что розенблатрон не способен к хаотическому поведению, лишь указываю, что это для него будет неестественным, т.е нужно много чего специально подобрать.
Да, уж не больше чем для других вариаций. Короче говоря, надеюсь понятно, что специфичности «сновидений» у видов рекуррентных нет, есть лишь нюансы их работы.
Да, уж не больше чем для других вариаций. Короче говоря, надеюсь понятно, что специфичности «сновидений» у видов рекуррентных нет, есть лишь нюансы их работы.
Но вы не можете не согласиться, что у перцептрона отсутствуют горизонтальные связи между элементами слоя, и что в некоторых случаях это свойство(горизонтальные связи) является важным элементом модели.
Ну, это совершенно другой аспект, к обсуждаемому имеет мало отношения. Ну и тем более, смотря о каком перцептроне мы говорим :)
Перцептрон с перекрёстными связями
Перцептрон с перекрёстными связями
«Специально не проверял их на «сновидения»» — Если несложно, не могли бы вы все-таки проверить.
> не могу придумать как решить проблему обучения в случае, когда последовательности не задаются извне, а должны быть извлечены из входного потока
Читали Иерархическая Темпоральная Память (НТМ), что думаете? Она вроде как должна решить эту проблему и ряд других.
Читали Иерархическая Темпоральная Память (НТМ), что думаете? Она вроде как должна решить эту проблему и ряд других.
Да вот не могу сказать толком. С одной стороны вроде мысль есть, с другой — я так и не понял ключевую идею. Надо все же разобраться как следует. Очень напрягает то, что я так и не нашел нормального краткого описания с формулами — везде куча текста и местами псевдокод, а такое мне сложно анализировать
Рекомендую прочитать от начала до конца, а не по диагонали :) Оно того стоит (я сам редко читаю полностью), увы там формулами не опишешь — там несколько сложнее получается, чем математика :)
Я тут было начал реализовывать, дошел где-то до половины… и времени как-то не много есть… вообщем если что-то можно попробовать кооперироваться…
Я тут было начал реализовывать, дошел где-то до половины… и времени как-то не много есть… вообщем если что-то можно попробовать кооперироваться…
Да, и кстати помогает — читать от конца к началу… тогда лирика, которая идет вначале становится более ясна.
Важная мысль, там в подразделе «Последовательности, предсказания первого порядка и предсказания
изменяемого порядка»
изменяемого порядка»
Интересно, есть ли какая-то польза от всех этих «нейронно-нервных» сетей, окромя научных понтов. Кто-нибудь может представить хоть один нормальный рыночный продукт, полностью изготовленный на тех свойствах и способностях ИНС, которые декларируют авторы подобных публикаций?
Нет. До рынка должен пройти этап промышленности, а чтобы что-то производить, нужны исследования. Атомная бомба не появилась до того, пока не было множества научных открытий в этой сфере, и не было построено соответствующая промышленная инфраструктура. Даже теперь это можно наблюдать — вон как Иран старается.
Более того, считаю что ориентация на рынок, что сейчас очень модно — очень вредит этому процессу исследований.
Более того, считаю что ориентация на рынок, что сейчас очень модно — очень вредит этому процессу исследований.
Хорошо, допустим, что это так. Но тогда Вы могли бы сказать, чем упомянутые ИПС отличаются от схемотехнического набора триггеров? На мой взгляд — ничем. Но вся компьютерная схемотехника строится на базе триггеров. Значит, ИНС может делать ровно то, что вообще может делать схемотехника. Аналогично, ИНС не может того, чего не могут сделать триггеры. Так зачем же огород городить?
Этот набор триггеров если хотите (хотя точнее пороговых элементов) соединенных вместе обладает некоторыми интересными характеристиками, которые не до конца ясны. Поэтому их и продолжают исследовать. Кому-то кажется, что эти характеристики связаны/аналогичны биологическим нейронам… Но если хотите, ИНС можно считать специализированным разделом схемотехники… но для работы в этом разделе науки нужно еще не только технические, но и биологические знания…
Полностью согласен с Вами. Жаль, что многие живут этими иллюзиями, что если создать нужную схемотехнику, то бишь, ИНС, то она сама начнёт думать и мыслить. Функции мышления вынесены за мозг, который является лишь интерфейсом, как транзисторный приемник между радиостанцией и слушателем.
> Функции мышления вынесены за мозг, который является лишь интерфейсом, как транзисторный приемник между радиостанцией и слушателем.
Эту теорию я слышал, но к ней еще больше претензий, чем к схемотехники, которая должна думать.
Это теория предполагает, что человек не обладает свободой воли, и что думают за него где-то там… Это все таки противоречит современным биологическим теориям. Считаю, что не нужно кидаться в крайности и ответ где-то между ними.
Эту теорию я слышал, но к ней еще больше претензий, чем к схемотехники, которая должна думать.
Это теория предполагает, что человек не обладает свободой воли, и что думают за него где-то там… Это все таки противоречит современным биологическим теориям. Считаю, что не нужно кидаться в крайности и ответ где-то между ними.
Нет! Эта теория НЕ ПРЕДПОЛАГАЕТ, что «человек не обладает свободой воли». Как раз наоборот. Просто главный процессор человека, как и у всех остальных объектов, ВЫНЕСЕН «в облака», а мозг служит лишь приёмо-передатчиком к этим «облачным вычислениям».
Ни человеческая нейронная система, ни ганглии пчёл не способны «переварить» столько информации, сколько ими перерабатывается.
Я готов по этой теме дискутировать отдельно в другом формате коммуникации.
Ни человеческая нейронная система, ни ганглии пчёл не способны «переварить» столько информации, сколько ими перерабатывается.
Я готов по этой теме дискутировать отдельно в другом формате коммуникации.
Это почему же нет?
Уже 20 лет как есть различные коммерческие применения.
Вот навскидку только из моей области интересов (сверточные сети):
1. AT&T в 93м году выпустила банкоматы с автоматическим распознаванием чеков в Европе и США. Распознавание реализовано с помощью ConvNets. К концу 90-х эта сеть считывала 10% всех чеков в США.
2. Microsoft использует их в своем MS Document Imaging OCR.
3. Google Street View использует их же для детекции лиц и номерных знаков.
4. NEC применяет их в своих системах слежения в супермаркетах для распознавания возраста и пола.
5. Vident Technologies использует их в системах слежения, установленных в нескольких аэропортах в США.
6. Canon разработали VLSI чип для аппаратной реализации сверточных сетей.
Уже 20 лет как есть различные коммерческие применения.
Вот навскидку только из моей области интересов (сверточные сети):
1. AT&T в 93м году выпустила банкоматы с автоматическим распознаванием чеков в Европе и США. Распознавание реализовано с помощью ConvNets. К концу 90-х эта сеть считывала 10% всех чеков в США.
2. Microsoft использует их в своем MS Document Imaging OCR.
3. Google Street View использует их же для детекции лиц и номерных знаков.
4. NEC применяет их в своих системах слежения в супермаркетах для распознавания возраста и пола.
5. Vident Technologies использует их в системах слежения, установленных в нескольких аэропортах в США.
6. Canon разработали VLSI чип для аппаратной реализации сверточных сетей.
Ну, телефонные автоматы, в которых «распознавались» 2 копейки я помню с советских времен… Cybersoph спрашивал о несколько другом.
Вы ведь шутите?
Определить номинал монетки по ее весу и распознать цифры написанные от руки — это мягко говоря разного уровня задачи.
Определить номинал монетки по ее весу и распознать цифры написанные от руки — это мягко говоря разного уровня задачи.
В основе всех современных технологий распознавания образов лежит технология «Грассхопперс» («Кузнечик»). В свою очередь, в её основе лежит метод сравнения испытуемого объекта с существующим в памяти эталоном. Сравнения могут производиться по различным параметрам, но главное — это СРАВНЕНИЕ с эталоном. Попутно применяют в меньшей степени ещё и математико-статистические приёмчики-ухищрения.
Где там ИНС — одному Аллаху известно.
Где там ИНС — одному Аллаху известно.
Если трактовать вашу фразу в общем и говорить о неявном сравнении с эталоном, то да, всегда что-то с чем то сравнивается. Тогда ваш ответ можно свести к такому: «все системы распознавания используют ПАМЯТЬ». Но это же очевидно, почти любой алгоритм
Если трактовать более конкретно, то нет — с эталоном ничего не сравнивается. Из входных данных извлекается полезная информация и она уже используется для получения требуемого результата.
Если трактовать более конкретно, то нет — с эталоном ничего не сравнивается. Из входных данных извлекается полезная информация и она уже используется для получения требуемого результата.
//Из входных данных извлекается полезная информация//
Интересно, как Вы сможете извлечь «полезную информацию» без сравнения, без оценки с эталоном? Как Вы определите её полезность без сравнивания с «бесполезностью»?
Интересно, как Вы сможете извлечь «полезную информацию» без сравнения, без оценки с эталоном? Как Вы определите её полезность без сравнивания с «бесполезностью»?
Есть такое направление в Машинном обучении и обработке сигналов — sparse coding.
Идея в том, что большинство информации с которой люди имеют дело на самом деле по натуре очень разряженная. Нужно просто найти правильный базис. Нахождение такого базиса и есть извлечение полезной информации без учителя.
Пример: количество вариантов 8-битных изображений размером 65x65 равно 10^10000. Это больше чем атомов во вселенной. Очевидно в реальности мы не встречаем и тысячной доли этих вариантов. Следовательно можно разложить всю визуальную информацию в очень компактный базис, каждая точка в котором будет представлять собой некий релевантный признак. А дальше уже оперировать этими признаками как пожелается. Например тесты Бонгарда проходить :)
Идея в том, что большинство информации с которой люди имеют дело на самом деле по натуре очень разряженная. Нужно просто найти правильный базис. Нахождение такого базиса и есть извлечение полезной информации без учителя.
Пример: количество вариантов 8-битных изображений размером 65x65 равно 10^10000. Это больше чем атомов во вселенной. Очевидно в реальности мы не встречаем и тысячной доли этих вариантов. Следовательно можно разложить всю визуальную информацию в очень компактный базис, каждая точка в котором будет представлять собой некий релевантный признак. А дальше уже оперировать этими признаками как пожелается. Например тесты Бонгарда проходить :)
Честно говоря, не понял. Вы имеете ввиду стохастические методы для обработки Big Data?
Sparse coding
Compressive_sensing
Sparse Filtering, Jiquan Ngiam, Pangwei Koh, Zhenghao Chen, Sonia Bhaskar and Andrew Y. Ng. In NIPS*2011
Unsupervised learning models of primary cortical receptive fields and receptive field plasticity, Andrew Saxe, Maneesh Bhand, Ritvik Mudur, Bipin Suresh and Andrew Y. Ng. In NIPS*2011
Ну и вообще если вы следите за конференциями CVPR, ICML, NIPS, там часто публикации по этой теме встречаются.
Еще можно по ученым работающим в этой области посмотреть: Andrew Ng, Yann LeCun, Guelmo Sapiro
Compressive_sensing
Sparse Filtering, Jiquan Ngiam, Pangwei Koh, Zhenghao Chen, Sonia Bhaskar and Andrew Y. Ng. In NIPS*2011
Unsupervised learning models of primary cortical receptive fields and receptive field plasticity, Andrew Saxe, Maneesh Bhand, Ritvik Mudur, Bipin Suresh and Andrew Y. Ng. In NIPS*2011
Ну и вообще если вы следите за конференциями CVPR, ICML, NIPS, там часто публикации по этой теме встречаются.
Еще можно по ученым работающим в этой области посмотреть: Andrew Ng, Yann LeCun, Guelmo Sapiro
:) все зависит от внутреннего устройства таких «распозновалок», я очень хорошо представляю что там может быть — поэтому это сродни «распознаванию веса». Тесты Бонгарда ни какая из этих машинок не пройдет. И напомню его слова:
Поэтому шутка жаргонная, но полностью справедливая к представленному вами набору.
Иногда «узнающим устройством» называют систему, которая осуществляет классификацию, пользуясь некоторым постоянным принципом. Такая система может очень хорошо решать какую-нибудь одну задачу. Она все наперед знает об этой задаче и ничему новому не учится. Примером необучаемой узнающей системы может служить приемная часть монетного автомата
Поэтому шутка жаргонная, но полностью справедливая к представленному вами набору.
Решение тестов Бонгарда это та же задача, но сложнее. Нужно разложить входное изображение на некий вектор признаков и найти общие и различные признаки. Сложность в том, чтобы признаки были высокого уровня абстракции.
По поводу цитаты, вот пример когда система обучается на ходу распознаванию новых объектов:
www.cs.nyu.edu/~yann/research/objreco/index.html
По поводу цитаты, вот пример когда система обучается на ходу распознаванию новых объектов:
www.cs.nyu.edu/~yann/research/objreco/index.html
Я бы сравнил пользу с пользой от исследования особенностей полупроводников. В свое время в их сторону звучала критика что, мол, ни ток нормально не проводят, ни изолировать не могут — значит на практике не нужны, ученые зря время тратят. И осторожные возражения на эту критику что, мол, полупроводники можно в нагревательных приборах использовать, и для измерительной аппаратуры они полезны.
Так вот — для нейросетей я не хочу приводить возражения того типа, что вот в такой и такой задачах они более-менее работают, и где-то там еще оказались полезны :)
Так вот — для нейросетей я не хочу приводить возражения того типа, что вот в такой и такой задачах они более-менее работают, и где-то там еще оказались полезны :)
По поводу применений НС, посмотрите мой ответ выше.
По сути вашей разработки:
Правильно ли я понимаю, вы решаете задачу распознавания бинарных изображений символов на основе контекста?
Т.е. если текущий символ сильно зашумлен, то его можно распознать за счет соседей.
По сути вашей разработки:
Правильно ли я понимаю, вы решаете задачу распознавания бинарных изображений символов на основе контекста?
Т.е. если текущий символ сильно зашумлен, то его можно распознать за счет соседей.
Современные применения по сравнению с потенциалом нейросетей как раз очень напоминают приведенный мной пример :)
Да, именно такая задача решалась в данном случае, просто в процессе ее решения оказалось, что «побочные эффекты» куда интереснее самой задачи
Да, именно такая задача решалась в данном случае, просто в процессе ее решения оказалось, что «побочные эффекты» куда интереснее самой задачи
А не проще ли разделить эти задачи? Как это обычно и делают в Machine learning.
Т.е. есть задача распознавания образов, а есть обработки естественного языка.
Одна система учится распознавать символы и выдавать вектор вероятностей.
А другая наборы этих векторов и выстраивает слова.
Ну т.е. не понятно какую информацию несет в себе бинарный символ кроме той что он с вероятностью P1 похож на букву A, вероятностью P2 похож на букву B, и т.д.
Есть еще информация о взаимном расположении этих символов, но она ведь абсолютно независима от изображения индивидуальных символов.
Т.е. есть задача распознавания образов, а есть обработки естественного языка.
Одна система учится распознавать символы и выдавать вектор вероятностей.
А другая наборы этих векторов и выстраивает слова.
Ну т.е. не понятно какую информацию несет в себе бинарный символ кроме той что он с вероятностью P1 похож на букву A, вероятностью P2 похож на букву B, и т.д.
Есть еще информация о взаимном расположении этих символов, но она ведь абсолютно независима от изображения индивидуальных символов.
Тут вообще не стоит задача обработки языка, а слова из букв были выбраны просто как пример последовательных данных, в которых много повторяющихся образов, и каждый конкретный вход обязательно надо рассматривать в контексте. С таким же успехом это могли быть спектрограммы произносимых слов — но для решения такой задачи пришлось бы много работать над техническими деталями, мы же пока занимаемся чисто теоретическими исследованиями
Понравилось выступление. Спасибо, что поделились информацией с сообществом. Хочется больше примеров. Интересно можно ли объединить нейронную сеть с nosql базой данный и распараллелить вычисления используя код на erlang?
Объединить можно, распараллелить можно вообще замечательно, но пока не очень понятно зачем.
Примеров толком нет из-за того, что это пока чисто теоретические исследования. Хотя есть мысль сделать пример с мелодиями — дать запомнить достаточно много разных мелодий, и послушать что сеть соберет в «свободном» режиме.
Примеров толком нет из-за того, что это пока чисто теоретические исследования. Хотя есть мысль сделать пример с мелодиями — дать запомнить достаточно много разных мелодий, и послушать что сеть соберет в «свободном» режиме.
Как то уж очень романтично — рефлексия, сновидения :)
На сколько я помню — с математической точки зрения сеть Хопфилда можно представить как динамическую систему реализующая дифф уравнение первого порядка — что значит, что ( в соответствии с мат теорией динамических систем) в фазовом пространстве этой системы есть как устойчивые особые точки так и неустойчивые.
Соответсвенно при конкретной реализации системы в процессе ее обучения мы решаем задачу построения системы с заданными атракторами.
О.к. мы ее получили, с теми атракторами (образами которые нужно распознать) которые нам нужны — но это совсем не означает что в этой системе кроме заданных нами аттракторов других аттракторов нет — как раз наоборот, скорее всего они будут (та самая ложная память). Но естественно — конкретная картина будет зависеть от начальных условий.
Вы же сеть Хопфилда еще усложнили дополнительными задержками — по этому ничего удивительного, что у этой системы могут появляться собственные, не заданные заранее, самые замысловатые аттракторы.
В общем — никакой романтики, никаких сновидений — чистая математика :)
А можно подробнее? Не очень понял задачу.
На сколько я помню — с математической точки зрения сеть Хопфилда можно представить как динамическую систему реализующая дифф уравнение первого порядка — что значит, что ( в соответствии с мат теорией динамических систем) в фазовом пространстве этой системы есть как устойчивые особые точки так и неустойчивые.
Соответсвенно при конкретной реализации системы в процессе ее обучения мы решаем задачу построения системы с заданными атракторами.
О.к. мы ее получили, с теми атракторами (образами которые нужно распознать) которые нам нужны — но это совсем не означает что в этой системе кроме заданных нами аттракторов других аттракторов нет — как раз наоборот, скорее всего они будут (та самая ложная память). Но естественно — конкретная картина будет зависеть от начальных условий.
Вы же сеть Хопфилда еще усложнили дополнительными задержками — по этому ничего удивительного, что у этой системы могут появляться собственные, не заданные заранее, самые замысловатые аттракторы.
В общем — никакой романтики, никаких сновидений — чистая математика :)
я сейчас не могу придумать как решить проблему обучения в случае, когда последовательности не задаются извне, а должны быть извлечены из входного потока, и буду очень рад любым мыслям по теме и не только.
А можно подробнее? Не очень понял задачу.
>В общем — никакой романтики, никаких сновидений — чистая математика :)
Ну так это все делается для того, чтобы понять, какая именно математика стоит за нейросетями нашего мозга :)
И то что за этим стоит совсем несложная, я бы даже сказал тривиальная, математика, не отменяет того, что полученные свойства интересны.
>А можно подробнее? Не очень понял задачу.
Задача примерно такая, какую решает человек в процессе своего развития: есть непрерывный поток образов, подаваемый на вход, и нужно чтобы сеть выделила из него какие-то характерные повторяющиеся образы, построила для них некоторое инвариантное внутреннее представление, которое мы могли бы увидеть, наблюдая внутренние состояния сети.
Ну так это все делается для того, чтобы понять, какая именно математика стоит за нейросетями нашего мозга :)
И то что за этим стоит совсем несложная, я бы даже сказал тривиальная, математика, не отменяет того, что полученные свойства интересны.
>А можно подробнее? Не очень понял задачу.
Задача примерно такая, какую решает человек в процессе своего развития: есть непрерывный поток образов, подаваемый на вход, и нужно чтобы сеть выделила из него какие-то характерные повторяющиеся образы, построила для них некоторое инвариантное внутреннее представление, которое мы могли бы увидеть, наблюдая внутренние состояния сети.
> есть непрерывный поток образов, подаваемый на вход, и нужно чтобы сеть выделила из него какие-то характерные повторяющиеся образы, построила для них некоторое инвариантное внутреннее представление, которое мы могли бы увидеть, наблюдая внутренние состояния сети.
интересная задача, но прежде нужно понять — чем вас не устраивает статистика? Поток образов — это обучение на статистике — но разве в среднестатистических оценках есть глубокий смысл? Не подменяется ли тут некий смысл, того чем занимается человек… кажется его деятельность/прогноз далеко не только основывается на статистику… иначе бы мы с вами занимались бы DataMining — но вы же хотите чего-то большего? Не так ли?
интересная задача, но прежде нужно понять — чем вас не устраивает статистика? Поток образов — это обучение на статистике — но разве в среднестатистических оценках есть глубокий смысл? Не подменяется ли тут некий смысл, того чем занимается человек… кажется его деятельность/прогноз далеко не только основывается на статистику… иначе бы мы с вами занимались бы DataMining — но вы же хотите чего-то большего? Не так ли?
>но прежде нужно понять — чем вас не устраивает статистика?
Тем, что в статистике нет внятных методов работы с такого рода задачами, по крайней мере если говорить об алгоритмах, которые под силу современным вычислительным системам (конечно, какая-нибудь корреляция дикого порядка даст нам результат — но ее ведь не вычислить ни для какой реальной задачи). «Среднестатистическое» очень сильно отличается от того, что на самом деле можно было бы вытащить из статистики другими методами — именно оно меня интересует — но этих методов нет.
Тем, что в статистике нет внятных методов работы с такого рода задачами, по крайней мере если говорить об алгоритмах, которые под силу современным вычислительным системам (конечно, какая-нибудь корреляция дикого порядка даст нам результат — но ее ведь не вычислить ни для какой реальной задачи). «Среднестатистическое» очень сильно отличается от того, что на самом деле можно было бы вытащить из статистики другими методами — именно оно меня интересует — но этих методов нет.
Ну так это все делается для того, чтобы понять, какая именно математика стоит за нейросетями нашего мозга :)
Я сейчас стал более критически относиться к нейросетям — потому что не всегда понятно что такого особенного добавляет к проблеме «биологический» подход по сравнению с чисто математическим.
есть непрерывный поток образов, подаваемый на вход, и нужно чтобы сеть выделила из него какие-то характерные повторяющиеся образы, построила для них некоторое инвариантное внутреннее представление, которое мы могли бы увидеть, наблюдая внутренние состояния сети.
И это в приложении именно к вашей модификации сети Хопфилда?
Потому как отдельно взятое решение этой проблемы — мне видеться в некой процедуре в виде последовательного циклического применения алгоритмов сначала кластеризации, а потом классификации (на основе предыдущей кластеризации). Ну или — с применением нейросетевого подхода — соединения (какого то хитрого) сетей с обучением «без учителя» с сетями с обучением «с учителем», постоянно переобучаемых.
>потому что не всегда понятно что такого особенного добавляет к проблеме «биологический» подход по сравнению с чисто математическим
Да я бы не сказал, что он что-то особенное добавляет. Нейросети для меня — чистая математика.
>И это в приложении именно к вашей модификации сети Хопфилда?
Очевидно не к той, которую я тут описал. Собственно сеть вторична — первичен метод обучения, его нужно придумать, а под него уже сеть сама выберется.
>Потому как отдельно взятое решение этой проблемы — мне видеться в некой процедуре в виде последовательного циклического применения алгоритмов сначала кластеризации, а потом классификации
Я достаточно долго думал над этой проблемой, и пытался к ней подойти разными методами, но пока у меня не получилось что-то внятное. Проблема в сходимости применяемых методов (ну и в том, чтобы они сходились к какому-то нетривиальному решению).
Да я бы не сказал, что он что-то особенное добавляет. Нейросети для меня — чистая математика.
>И это в приложении именно к вашей модификации сети Хопфилда?
Очевидно не к той, которую я тут описал. Собственно сеть вторична — первичен метод обучения, его нужно придумать, а под него уже сеть сама выберется.
>Потому как отдельно взятое решение этой проблемы — мне видеться в некой процедуре в виде последовательного циклического применения алгоритмов сначала кластеризации, а потом классификации
Я достаточно долго думал над этой проблемой, и пытался к ней подойти разными методами, но пока у меня не получилось что-то внятное. Проблема в сходимости применяемых методов (ну и в том, чтобы они сходились к какому-то нетривиальному решению).
Я достаточно долго думал над этой проблемой, и пытался к ней подойти разными методами, но пока у меня не получилось что-то внятное. Проблема в сходимости применяемых методов (ну и в том, чтобы они сходились к какому-то нетривиальному решению).
Я все еще не очень представляю какую именно задачу вы решаете —
есть непрерывный поток образов, подаваемый на вход, и нужно чтобы сеть выделила из него какие-то характерные повторяющиеся образы, построила для них некоторое инвариантное внутреннее представление, которое мы могли бы увидеть, наблюдая внутренние состояния сети.
Чем обычная, классическая двухслойная (например) сеть, где выходные нейроны обучаются по типу «победитель получает все» вам не подходит? Ну то есть — находить какие то кластеры образцов, выделяя какие то общие признаки она будет.
>находить какие то кластеры образцов, выделяя какие то общие признаки она будет.
Можно точно сформулировать правило обучения сети, чтобы я был уверен, что думаю о том же, о чем и вы? Потому что из того, что мне сейчас приходит в голову, не следует такое утверждение…
Можно точно сформулировать правило обучения сети, чтобы я был уверен, что думаю о том же, о чем и вы? Потому что из того, что мне сейчас приходит в голову, не следует такое утверждение…
ээ… Классическое правило обучения в сети с обучением без учителя — у Хайкина оно называется «правило конкурентного обучения», так же известно как правило Гроссберга.
«выделять какие то общие признаки» сеть будет в том смысле, что разбивая входные векторы на кластеры — центры этих кластеров и будут представлять собой некий обобщенный набор значений признаков.
«выделять какие то общие признаки» сеть будет в том смысле, что разбивая входные векторы на кластеры — центры этих кластеров и будут представлять собой некий обобщенный набор значений признаков.
Удачно, как-раз читаю Хокинса «Об интеллекте».Доклад отлично вписывается в описанное книгой)
Без никакой критики (мне самому симпатизирует отношение автора к таким исследованиям), но от Хокинса доклад отстает… выше я уже давал ссылку на продолжения Хокинса — HTM — там уже меньше лирики и есть надежды на прогресс :)
Ну, сравнивать то… Хокинс, судя по книге, убил на изучение мозга и ИИ не на много меньше времени чем возраст докладчика.И всё же мне, как неспециалисту, интересно и примерно понятно.
Спасибо, гляну обязательно продолжение)
Спасибо, гляну обязательно продолжение)
Это правда. Да, и не подтянулись бы математики — лирика Хокинса стоило бы не много… и хотя они в середине работы… есть потенциал. К книге Хокинса «Об интеллекте» о меня несколько прохладное отношение… и хотя они в середине пути — кажется у них есть интересные идеи, которые достаточно кардинально отличаются от текущего мейн стрима в науке… они конечно, гордые, и пишу вежде, что это сильно отличается от ИНС….но как раз их работы можно связать с работами Розенблатта (ну это такой дядька, который начал всю эту эпопею с ИНС)… и возможно у них получится, то что не успел Розенблатт.
Я тут вчера начал продолжать кодировать HTM по переведенному тексту (казалось бы осталось мелочь, большая часть сделана)… поэтому предлагаю всем неистово подключаться :)… ну или вот думаю, рассказать статьей на хабре о деталях реализации… или зажать и похвастаться только когда будут результаты моделирования…
Я тут вчера начал продолжать кодировать HTM по переведенному тексту (казалось бы осталось мелочь, большая часть сделана)… поэтому предлагаю всем неистово подключаться :)… ну или вот думаю, рассказать статьей на хабре о деталях реализации… или зажать и похвастаться только когда будут результаты моделирования…
Вообще у меня хорошие настроение :) Кажется, судя по последним статьям, на хабре подтянулись ряд специалистов. Не расходимся :)
Вопрос автору от дилетанта — видите ли вы будущее в исследованиях квантовых нейросетей, и что думаете о теории квантового мозга? В частности, работы Роджера Пенроуза и недавние находки (нет под рукой ссылки), что есть возможность для существования конденсата Бозе-Эйнштейна в органических структурах при высокой температуре.
Хотите ИИ? Так обеспечьте его теми же условиями, кои сопровождают и обычный, человеческий И :)
А именно:
1. Что произойдет с человеком, если лишить его связи с внешней средой еще в утробе? Лишить любого изменения светового, типлового (и вообще любого Э-М) воздействия? Лишить звуковых колебаний и тактильных ощущений? Лишить воздействия на любые рецепторы человека, воспринимающие внешние раздражители? Продержать это «нечто человекоподобное» в соотв. питательной среде лет 30 и потом провести с ним тест тьюринга?.. Какой вывод? Вывод таков, что необходимо воздействие на внешние раздражители ИИ которые как-то там возбуждают нейроны.
2. Что произойдет с человеком, если не давать ему спать? Берем любого 30-тилетнего человека, не даем ему спать месяц, потом проводим тест тьюринга. Пройдет он его? Вряд ли — скорее всего он будет мертв задолго до окончания месяца без сна. Какой вывод? Воздействие внешний раздражителей должно быть периодическим.
3. Возвращаемся к умозрительному опыту из первого пункта, только вернем человеку воздействия на внешние раздражители (зрение, и слух, например), но лишим обратной связи — т.е. поставим ему телек и будем транслировать круглосуточно (с перерывами на сон) телеканалы. Сможет ли к 30-ти годам этот «псевдо-И» пройти тест тьюринга?.. Вряд ли — скорее самого экспериментатора посадят за жестокое обращение, чем ОНО пройдет тест. Какой вывод? — должна быть обратная связь с внешней средой.
4. Маугли помните? А есть подобные случаи случившиеся в реальности. Так вот состояние интеллекта этих маугли таково, что пройти тест Т. они не смогли бы. Какой вывод? Такой, что интеллектом, похоже, надо «заразиться» в процессе формирования оного, от носителя этого самого интеллекта.
5. Пройдет ли тест тьюринга, проводимый английскими лордами, какой-то туземец, нибельмеса не сведующий в английском? Ответ очевиден. Вывод? Проверять присутствие интеллекта нужно кем-то (чем-то), что говорит на естественном языке. Вероятность того, что очередная итерация НС, случайно подхватившая интеллект, будет разрушена человеком в силу того, что человек чего-то там недопонял в ее выводе — крайне далека от нуля и (похоже что) стремиться к единице :)
6. Это мое любимое, но я его не скажу, и первых пяти хватит для начала :)
Итого: что-бы выполнить вашу задачу, необходимо обеспечить раздражение от внешней среды (этого Вы добиваетесь посредством непрерывной трансляции образов), перерывы в раздражении (отключать входной поток что бы оно «видело сны») — это Вы сделали, но нужно сделать их регулярными, и перемежающимися с сеансами обратной связи со средой. Но как этого можно достичь для подобной НС? Самый простой способ — это создать промежуточную НС, на входе которой — непрерывный поток картинок + часть выходов конечной сети. У конечной же сети на входе будет только выход промежуточной. Одно это уже должно дать интересные результаты. Однако же пункты 4 и 5 остаются неразрешенными. Пункт 6 — пока что неразрешим в принципе современными компьютерами.
И это как минимум — скорее всего этих озвученных пунктов будет недостаточно для получения ИИ на базе НС :) Но результаты будут весьма занятными… ИМХО, даже следование с 1 по 5 пункт будет достаточно для широкого коммерческого распространении подобного псевдо-ИИ в развлекательных целях :)
А именно:
1. Что произойдет с человеком, если лишить его связи с внешней средой еще в утробе? Лишить любого изменения светового, типлового (и вообще любого Э-М) воздействия? Лишить звуковых колебаний и тактильных ощущений? Лишить воздействия на любые рецепторы человека, воспринимающие внешние раздражители? Продержать это «нечто человекоподобное» в соотв. питательной среде лет 30 и потом провести с ним тест тьюринга?.. Какой вывод? Вывод таков, что необходимо воздействие на внешние раздражители ИИ которые как-то там возбуждают нейроны.
2. Что произойдет с человеком, если не давать ему спать? Берем любого 30-тилетнего человека, не даем ему спать месяц, потом проводим тест тьюринга. Пройдет он его? Вряд ли — скорее всего он будет мертв задолго до окончания месяца без сна. Какой вывод? Воздействие внешний раздражителей должно быть периодическим.
3. Возвращаемся к умозрительному опыту из первого пункта, только вернем человеку воздействия на внешние раздражители (зрение, и слух, например), но лишим обратной связи — т.е. поставим ему телек и будем транслировать круглосуточно (с перерывами на сон) телеканалы. Сможет ли к 30-ти годам этот «псевдо-И» пройти тест тьюринга?.. Вряд ли — скорее самого экспериментатора посадят за жестокое обращение, чем ОНО пройдет тест. Какой вывод? — должна быть обратная связь с внешней средой.
4. Маугли помните? А есть подобные случаи случившиеся в реальности. Так вот состояние интеллекта этих маугли таково, что пройти тест Т. они не смогли бы. Какой вывод? Такой, что интеллектом, похоже, надо «заразиться» в процессе формирования оного, от носителя этого самого интеллекта.
5. Пройдет ли тест тьюринга, проводимый английскими лордами, какой-то туземец, нибельмеса не сведующий в английском? Ответ очевиден. Вывод? Проверять присутствие интеллекта нужно кем-то (чем-то), что говорит на естественном языке. Вероятность того, что очередная итерация НС, случайно подхватившая интеллект, будет разрушена человеком в силу того, что человек чего-то там недопонял в ее выводе — крайне далека от нуля и (похоже что) стремиться к единице :)
6. Это мое любимое, но я его не скажу, и первых пяти хватит для начала :)
Итого: что-бы выполнить вашу задачу, необходимо обеспечить раздражение от внешней среды (этого Вы добиваетесь посредством непрерывной трансляции образов), перерывы в раздражении (отключать входной поток что бы оно «видело сны») — это Вы сделали, но нужно сделать их регулярными, и перемежающимися с сеансами обратной связи со средой. Но как этого можно достичь для подобной НС? Самый простой способ — это создать промежуточную НС, на входе которой — непрерывный поток картинок + часть выходов конечной сети. У конечной же сети на входе будет только выход промежуточной. Одно это уже должно дать интересные результаты. Однако же пункты 4 и 5 остаются неразрешенными. Пункт 6 — пока что неразрешим в принципе современными компьютерами.
И это как минимум — скорее всего этих озвученных пунктов будет недостаточно для получения ИИ на базе НС :) Но результаты будут весьма занятными… ИМХО, даже следование с 1 по 5 пункт будет достаточно для широкого коммерческого распространении подобного псевдо-ИИ в развлекательных целях :)
Vasiliy_Proskura
Это сильный удар по «перцептронщикам» и прочим деятелям от ИНС.
Выходит, что безинтеллектуальное изначально сообщество ИНС должно в течение некоторого времени развиваться (с неизвестным протоколом общения), чтобы из их числа выдвинулась одна наиболее развитая ИНС, — других-то нет. Затем все остальные ИНС «заражаются» от неё излишним интеллектом, и общий интеллектуальный уровень сообщества ИНС за счёт этого повышается. Потом данное уже немного продвинутое сообщество вновь выдвигает из себя ещё более продвинутую ИНС, которая опять раздаёт свой повышенный интеллект оставшимся или отставшим ИНС. Далее этот цикл повторяется до бесконечности, без конца развивая общий интеллект всех задействованных в процессе ИНС.
Это сильный удар по «перцептронщикам» и прочим деятелям от ИНС.
Выходит, что безинтеллектуальное изначально сообщество ИНС должно в течение некоторого времени развиваться (с неизвестным протоколом общения), чтобы из их числа выдвинулась одна наиболее развитая ИНС, — других-то нет. Затем все остальные ИНС «заражаются» от неё излишним интеллектом, и общий интеллектуальный уровень сообщества ИНС за счёт этого повышается. Потом данное уже немного продвинутое сообщество вновь выдвигает из себя ещё более продвинутую ИНС, которая опять раздаёт свой повышенный интеллект оставшимся или отставшим ИНС. Далее этот цикл повторяется до бесконечности, без конца развивая общий интеллект всех задействованных в процессе ИНС.
ну… у людей, вообщем-то, где-то так и происходит :)))))
И по факту, люди таки сами приобрели (или считают что сами приобрели) интеллект в результате подобных итераций :)
И по факту, люди таки сами приобрели (или считают что сами приобрели) интеллект в результате подобных итераций :)
Ну, тогда встаёт вопрос, за счёт чего же, всё-таки, ожидается стартовое развитие ИНС?
Я, как системщик, не вижу ни в одной концепции ИНС, за счёт чего она может развиваться?
Любая ИНС может (я допускаю) находить некоторые математико-статистические закономерности. Но для ИНС не доступна причинно-следственная связь. ИНС не задаёт вопрос «ПОЧЕМУ?» и, соответственно, не получает ответа, «в какое следствие вытекает причина». А если нет онтологотивных вопросов и должных ответов на них, то нет и самого РАЗВИТИЯ. Отсюда — ИНС это НЕ РАЗВИВАЮЩАЯСЯ система.
Я, как системщик, не вижу ни в одной концепции ИНС, за счёт чего она может развиваться?
Любая ИНС может (я допускаю) находить некоторые математико-статистические закономерности. Но для ИНС не доступна причинно-следственная связь. ИНС не задаёт вопрос «ПОЧЕМУ?» и, соответственно, не получает ответа, «в какое следствие вытекает причина». А если нет онтологотивных вопросов и должных ответов на них, то нет и самого РАЗВИТИЯ. Отсюда — ИНС это НЕ РАЗВИВАЮЩАЯСЯ система.
> Ну, тогда встаёт вопрос, за счёт чего же, всё-таки, ожидается стартовое развитие ИНС?
Стартовое развитие? Ну возможно у нее получиться «заразиться интеллектом» от человека — наблюдая за ним и взаимодействуя с ним. Сколь бы попсово-фантастично это ни звучало :)))
> Но для ИНС не доступна причинно-следственная связь.
Для простейших — да, недоступна. Для сложных взаимоувязанных систем — может быть. Тут интереснее с другой стороны заглянуть — человеку тоже недоступна причинно-следственная связь. Но у него есть механизм нахождения (и даже выдумывания оной) коли встанет такой вопрос. А встает он в типовой деятельности — крайне редко. Очень мало людей задумываются о причинности подобных связей…
> ИНС не задаёт вопрос «ПОЧЕМУ?» и, соответственно, не получает ответа,
Да и у человека вопрос «почему» появляется ой как не скоро — редко когда раньше пяти лет, а у многих только к старости. Потому полагаю что требование обязательного наличия данного вопроса — факультативно, и может свидетельствовать о степени зрелости интеллекта, но не о его наличии :)
Стартовое развитие? Ну возможно у нее получиться «заразиться интеллектом» от человека — наблюдая за ним и взаимодействуя с ним. Сколь бы попсово-фантастично это ни звучало :)))
> Но для ИНС не доступна причинно-следственная связь.
Для простейших — да, недоступна. Для сложных взаимоувязанных систем — может быть. Тут интереснее с другой стороны заглянуть — человеку тоже недоступна причинно-следственная связь. Но у него есть механизм нахождения (и даже выдумывания оной) коли встанет такой вопрос. А встает он в типовой деятельности — крайне редко. Очень мало людей задумываются о причинности подобных связей…
> ИНС не задаёт вопрос «ПОЧЕМУ?» и, соответственно, не получает ответа,
Да и у человека вопрос «почему» появляется ой как не скоро — редко когда раньше пяти лет, а у многих только к старости. Потому полагаю что требование обязательного наличия данного вопроса — факультативно, и может свидетельствовать о степени зрелости интеллекта, но не о его наличии :)
Понятно, «источник заражения» — человек. Теперь остаётся ИНС научить «протоколу обмена» или проще говоря, языку. И как Вы себе это представляете?
Никак не представляю. Слишком рано это представлять и особого смысла не имеет (разве что академический). Логичнее и продуктивнее мне видеться с другой стороны подойти: если гора не идет к магомету, то магомет идет к горе :))))
Т.е., грубо говоря, обучить аборигена собственному языку куда как тяжелее, чем самому выучить язык аборигена. Это пункт 5 из мною перечисленных — весьма не малая проблема и очень даже определяющая :)
Т.е., грубо говоря, обучить аборигена собственному языку куда как тяжелее, чем самому выучить язык аборигена. Это пункт 5 из мною перечисленных — весьма не малая проблема и очень даже определяющая :)
И какой же язык у «аборигена», то бишь, у ИНС? Весь её язык сводится к тому, чтобы выполнить: «Если А=Х, то делай У, иначе делай Z».
Откуда мне знать, какой язык у гипотетически существующей ИНС?.. Вот когда она будет существовать, тогда и можно будет изучить ее язык :))))) А покамест прийдется довольствоваться и без языка — требование обратной связи не обязывает знать язык. Аборигены (и шимпанзе) могут повторять действия человека, даже не зная его язык — главное что бы была таки обратная связь, и крайне желательно — двухсторонняя, а еще лучше трехсторонняя :)
Нет, без языка нет развития. Язык должен быть.
язык — лишь одна из форм взаимодействия с внешним миром и обратной связи. ИНС нужен будет язык — придумает. Начнется с каких-то сигнальных маркеров, будет надобность — может и разовьется в какую-либо форму. Не суть важно, имхо. Шестой пункт — куда как важнее — без него не будет ничего, никакого ИИ :)
Мне супер интересно, как это «безмозглая» ИНС сама себе язык «придумает»!? Это даже не из области фантастики. Может, просветите?
Человек себе язык придумал? Вроде как да — так что же в том фантастичного? Будет потенциал интеллекта — за языком дело не станет. Лишь бы была возможность подхватить этот интеллект из окружающей среды, а там и язык придумается. Но это задача и близко стоять не может рядом с НС подобной небольшой размерностью. Даже если взять шимпанзе с огромным мозгом, кои (как говорят) могут достигать по уровню развития интеллекта 5-тилетнего ребенка, не обладают речью в естественной среде, хотя и отрицать у них наличие задатков интеллекта вряд ли кто-то станет.
Распознавание же образов (то что ставилось целью тут) разве требует языка? С распознаванием образов справляется множество животных, кои не обладают языком, чья сигнальная система крайне скупа и ну никак не дотягивает до «языка». Возьмите какую-нить каракатицу — никто не скажет что она обладает интеллектом и тест тьюринга ей не по зубам, но распознавать образы ей вполне по силам.
Распознавание же образов (то что ставилось целью тут) разве требует языка? С распознаванием образов справляется множество животных, кои не обладают языком, чья сигнальная система крайне скупа и ну никак не дотягивает до «языка». Возьмите какую-нить каракатицу — никто не скажет что она обладает интеллектом и тест тьюринга ей не по зубам, но распознавать образы ей вполне по силам.
Для распознавания образов и тех деяний, в которых они участвуют, требуется ПОНИМАНИЕ СМЫСЛОВОЙ СОВОКУПНОСТИ элементов, составляющих образ. Человек не умеет считать, как компьютер, но зато умеет понимать смысловую совокупность. Например, стул или стол уже не стул и не стол, если у них нет ножек, для поддержания стольной или стульной доски.
У пчёл вообще нет мозга, нет нейронов, то есть, нет естественной нейронной сети (ЕНС), а есть ганглии. Однако, у них есть язык, с помощью которого они легко рассказывают другим пчёлам, куда надо лететь, чтобы взять сладкий нектар.
У обезьян и всех животных, как одушевленных существ, есть свои языки, которые, наверняка, возникают с возникновением «души» и пропадают вместе с нею при её исчезновении.
Пока в ИНС не будет этой самой души, вряд ли, они станут мыслящими.
У пчёл вообще нет мозга, нет нейронов, то есть, нет естественной нейронной сети (ЕНС), а есть ганглии. Однако, у них есть язык, с помощью которого они легко рассказывают другим пчёлам, куда надо лететь, чтобы взять сладкий нектар.
У обезьян и всех животных, как одушевленных существ, есть свои языки, которые, наверняка, возникают с возникновением «души» и пропадают вместе с нею при её исчезновении.
Пока в ИНС не будет этой самой души, вряд ли, они станут мыслящими.
> Для распознавания образов и тех деяний, в которых они участвуют,
> требуется ПОНИМАНИЕ СМЫСЛОВОЙ СОВОКУПНОСТИ элементов,
> составляющих образ.
Мне кажется что подобное воззрение излишне идеализировано и возвышено-одухотворенно. Зачем городить огород смыслов на распознавании образов, когда это можно сделать после? В начале — распознать образ — а смыслами играться уже совсем в другой сети. Не будет ли так проще и надежнее? :)
> У пчёл вообще нет мозга, нет нейронов, то есть, нет естественной
> нейронной сети (ЕНС), а есть ганглии. Однако, у них есть язык, с
> помощью которого они легко рассказывают другим пчёлам, куда
> надо лететь,
У магистральных инетовских роутеров нет ни нейронов ни ганглий, однако же они как-то обмениваются информацией о том куда надолететь отправлять пакеты их сородичам. При этом и языком они не обладают :)
> У обезьян и всех животных, как одушевленных существ, есть свои языки
эээээ… душа, или то что можно было бы назвать душою, это (в моем представлении) лишь одна из возможных интерпретаций шестого, не озвученного мною пункта. Но я против того, что бы называть общение обезьян и других «одухотворенных существ» языком. Простейшая однозначная сигнальная система на фоне человеческого языка, смотриться как игрушечный домик из 6 элементов лего на фоне Тайбэй 101 :)
> требуется ПОНИМАНИЕ СМЫСЛОВОЙ СОВОКУПНОСТИ элементов,
> составляющих образ.
Мне кажется что подобное воззрение излишне идеализировано и возвышено-одухотворенно. Зачем городить огород смыслов на распознавании образов, когда это можно сделать после? В начале — распознать образ — а смыслами играться уже совсем в другой сети. Не будет ли так проще и надежнее? :)
> У пчёл вообще нет мозга, нет нейронов, то есть, нет естественной
> нейронной сети (ЕНС), а есть ганглии. Однако, у них есть язык, с
> помощью которого они легко рассказывают другим пчёлам, куда
> надо лететь,
У магистральных инетовских роутеров нет ни нейронов ни ганглий, однако же они как-то обмениваются информацией о том куда надо
> У обезьян и всех животных, как одушевленных существ, есть свои языки
эээээ… душа, или то что можно было бы назвать душою, это (в моем представлении) лишь одна из возможных интерпретаций шестого, не озвученного мною пункта. Но я против того, что бы называть общение обезьян и других «одухотворенных существ» языком. Простейшая однозначная сигнальная система на фоне человеческого языка, смотриться как игрушечный домик из 6 элементов лего на фоне Тайбэй 101 :)
Возможно, как-то так.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейронные сети с рефлексией