Pull to refresh

Comments 56

А можете привести более сложный пример использования такой нейронной сети?
О практических применениях мне не известно, с сетью экспериментировал самостоятельно.
Более сложные варианты у меня сводились к тому, что на вход подавалось большее количество образов и сеть имела большее число нейронов.
При этом сеть интересно себя ведёт: она стремится категоризировать входящие образы. Если ей это удаётся, то состояние шаблонов стабилизируется. Если не удаётся (например, когда число типовых образов больше числа распознающих нейронов), то система шаблонов получается неустойчивой. Интересно также поведение, связанное с переобучением сети: если образы, поступающие на вход, в какой-то момент меняются, то шаблоны со временем перестраиваются, «забывая» свой предыдущий опыт.
В настоящий момент я размышляю над тем, что на этой базе можно построить сеть с двумя каналами входной информации («глаза» и «уши»), при этом выход сети замкнуть на вход («уши»), образовав обратную связь (т.е. сеть как бы должна «слышать» себя). В этом случае сеть (по ощущениям) должна в итоге не только классифицировать входящий поток, но и образовать ассоциативные связи, если на этапе обучения на вход «глаз» и «ушей» синхронно подавать коррелирующие сигналы. Затем, после обучения, сеть по образу на одном из каналов будет достраивать недостающий…
О практических применениях мне не известно, с сетью экспериментировал самостоятельно.
Более сложные варианты у меня сводились к тому, что на вход подавалось большее количество образов и сеть имела большее число нейронов.
При этом сеть интересно себя ведёт: она стремится категоризировать входящие образы. Если ей это удаётся, то состояние шаблонов стабилизируется. Если не удаётся (например, когда число типовых образов больше числа распознающих нейронов), то система шаблонов получается неустойчивой. Интересно также поведение, связанное с переобучением сети: если образы, поступающие на вход, в какой-то момент меняются, то шаблоны со временем перестраиваются, «забывая» свой предыдущий опыт.
В настоящий момент я размышляю над тем, что на этой базе можно построить сеть с двумя каналами входной информации («глаза» и «уши»), при этом выход сети замкнуть на вход («уши»), образовав обратную связь (т.е. сеть как бы должна «слышать» себя). В этом случае сеть (по ощущениям) должна в итоге не только классифицировать входящий поток, но и образовать ассоциативные связи, если на этапе обучения на вход «глаз» и «ушей» синхронно подавать коррелирующие сигналы. Затем, после обучения, сеть по образу на одном из каналов будет достраивать недостающий…
А можно пример реализации, чтоб, так сказать, увидеть это в коде.
К сожалению, на данный момент нестыдный код предъявить не смогу: ставлю себе на заметку, чтобы вычистить и привести в вид, пригодный для публикации.
Попробуйте хотя бы иллюстраций сделать тогда.
Было бы чудно увидеть этот проект на гитхабе или другой cvs, даже если в него будут вноситься правки.
Чисто на словах почти ничего не понятно. Идея с энергией похожа на идею нейроторможения.
А обратные связи есть или как нейроны узнают, какую энергию им брать от входных сигналов?
Энергия в данной модели берётся не от входных сигналов, а из окружения, извне, скажем, из «крови»… В целом в сеть с «кровью» на каждом цикле поступает одно и то же количество энергии, которая затем распределяется по нейронам. Более «голодные» получают больше энергии.
Самые последние исследования в области физиологии мозга и функционирования нейронной сети некортекса свидетельствуют о том, что в задачи НС не входит ЗАПОМИНАНИЕ регистрируемой информации и она не выполняет функции генерации мыслеформ. НС является лишь неким ТРАНСЛЯТОРОМ между мозгом и чем-то иным. Поэтому нет никакого резона её моделировать с целью создания подобия человеческого сознания. В любых других исследовательских целях — пожалуйста.
При таких заявлениях, пожалуйста, предоставляйте ссылку на эти самые последние исследования, желательно — в рецензируемых изданиях. Очень уж похоже на высказывание из желтой прессы, извините.
Может быть, конечно, я и ошибаюсь.
Я просто знаком с Татьяной Владимировной Черниговской. Её лекции Вы сами можете найти в интернет.
Так дела не делаются. Ваше заявление весьма смелое, и с вашей стороны было бы правильно хотя бы указать конкретную публикацию и конкретную ссылку на подобного рода слова, а не отговариваться в духе «в интернете сами найдете».
Вы сами ученый или энтузиаст?
Я инженер. Тема нейросетей интересует меня с точки зрения практического, инженерного применения. Слова «между мозгом и чем-то иным» я, как инженер, без настороженности воспринять не могу — как минимум потому что от этого веет «астральными телами», «информационными полями» и тому подобным.

Поэтому был бы благодарен если бы вы во-первых привели ссылку на конкретную лекцию (хочется услышать как об этом говорит автор, какими словами), а во-вторых, чтобы вы раскрыли слова «чем-то иным», возможно, я просто вам не так понял.
Могу сослаться на Татьяну Владимировну Черниговскую. Её лекции имеются в интернете.
Спасибо за совет. Интересно будет почитать и посмотреть передачи.

Но вот что бросается в глаза сразу: она, несомненно, выдающийся лингвист и психолог, но среди ее многочисленных областей знаний нет ни одной, позволяющей судить о механике работы отдельный нейронов.

Читая работы ученых (даже самых выдающихся) следует правильно расценивать их высказывания не о их областях науки: порой они просто не придают значения таким заявлениям.
Вот пример из лекции Татьяны Владимировны:

Как мне сказал знакомый астроном, количество нейронных связей в мозгу больше, чем звезд во Вселенной, а после этого астронома физик знакомый сказал: «Не звезд во Вселенной, а частиц во Вселенной». Частиц! Это же ужас.

Это высказывание очевидно не верно, но его верность не важна — это всего лишь лирическое отступление.
То есть с одной стороны это слова видного ученого, но с другой — это пересказ с чужих слов, причем не из области интересов цитирующего.
Сения! Я системный аналитик. Для меня не важно, из чего состоит система, из нейронов, дендритов или аксонов; из биологических элементов, механических, пневматических или электрических. Главное — это ПРИНЦИПЫ её ФУНКЦИОНИРОВАНИЯ. Исходя из таких позиций, могу чётко и аргументированно доказать (и я здесь не первый), что нейросеть мозга в современном её понимании и в её технотронном приложении не может являться устройством памяти! Это самый главный вывод из всех исследований. Что касается всего «околонейронного» движения на уровне различных «сетей и персептронов», то это всего лишь наукообразные забавы для энтузиастов-любителей. Такая же иллюзия, как и извечная погоня, например, за решением «трисекции угла». На самом деле, вся эта нейросетевая шумиха — не более чем простая статистика и математика.
Скажите, а как «системный аналитик» Вы всегда оперируете «последними данными» без указания какими, чьими или хотя бы в какой области науки с единственным указанием «в интернете»?
И все свои доказательства вы формулируете в виде «могу чётко и аргументированно доказать» без самого доказательства?

У вас великолепный дар говорить много и не сказать ни чего. К сожалению этот дар сейчас слишком распространен.
Академическая наука гласит о том, что мозг людей в лице нейронной системы неокортекса отвечает за человеческой сознание, которое способно МЫСЛИТЬ и ЗАПОМИНАТЬ. И в качестве аргументов в пользу этой неподтвержденной гипотезы мозговеды приводят следующие доводы:
1) нейроны представляют собою, выражаясь технотронными терминами, устройства, похожие на «многовходовые триггеры» ЭВМ;

2) нейроны способны возбуждаться (активизироваться) и релаксироваться так же, как и счетные триггеры;

3) нейроны способны соединяться или организовываться в сложно-схемные системы, точно также, как схемно объединяются триггеры.

А поскольку триггеры способны выполнять функцию Памяти и Логического элемента, то отсюда «ничтоже сумнящиеся» выстривают теорию о том, что достаточно сотворить техническое подобие нейронно-дендритно-аксонного минимонстра и все проблемы с искусственным мышлением решатся сами собою.

Однако, это глубокое заблуждение, в которое, к сожалению, впадают многие и пребывают там уже в течение более полувека.
Вот контрдоводы, которые не могут опровергнуть «нейронщики».
1) Как мы все хорошо знаем, функцию Памяти всегда выполняют некие «твёрдые носители», например, книги, компакт-диски или винчестеры. Могут быть памятью и электронные логические элементы, например, всем известные «флэшки».
Допустим, что нейроны (как твёрдые элементы), тоже способны «хранить информацию». Однако, в этом случае, кто-то или что-то в обязательном порядке должно выступать в роли «считывателя» и, конечно же, записывателя. Ведь, не могут же книга, диск или триггер сами себя перезаписывать или сами себя пересчитывать. Ни в жисть. А как же быть в с нейронами? Здесь ученые мужи – апологеты НС – стыдливо прячут глаза или заявляют, что одна часть нейронов – это устройство памяти, а другая – это «считыватели» и «записыватели». Отметим, что никто в мире пока этого не смог зарегистрировать.

2) Хорошо, допустим, что всё же имеется такое разделение труда и ролей между нейронами, и предположим даже, что половина человеческих нейронов являются памятью, а другая обслуживает этих «носителей информации». Но тогда они должны, единожды подвергшись записи от своих оппозиционных сородичей, пребывать в таком неизменном виде всю свою оставшуюся жизнь. А ведь хорошо известно, и это доказывается многими исследованиями, что, практически, все нейроны постоянно активизируются (возбуждаются) и релаксируют, то есть, находятся в генеративном режиме и ни о какой постоянно хранимой информации здесь не может быть и речи. На это нейронщики, уже даже не стесняясь и не «поведя бровью», смело заявляют, что нейронная память перманентно перезаписывается.
Окститесь, господа! Оригиналы записей, с которых записывали инфу, уже канули в лету, и нету того образа, с чего можно перезаписывать. Ан нет! Не сдаются мои оппоненты и заявляют, что инфу, которую хранят нейроны, отвечающие за память, те временно передают, как в буфер, другими нейронам, а потом уже эта инфа вновь записывают в память, но уже в обновленном виде.
Ладно, тогда скажите, как же такое может быть с технологической точки зрения? Какие процедуры и в какой последовательности должны выполняться? Ну и так далее. Так что, получаю в ответ новые версии и гипотезы без какого либо логического обоснования.

3) После такой «озадачки» нейронщики обычно переходят в атаку. Ну, если ты такой умный, тогда сам скажи, где же хранится память человеческая и кто за неё отвечает.
Что же, приходится им отвечать, что, честно говоря, точно не знаю, но явно вне тела человека. Также, как и явление гравитации, которое явлется следствие чего-то свыше, но никак ни снизу, не откварков и даже не от «бозона Гигса». Но точно знаю другое, что гаглии пчёл, у которых нет никакого такого мозга, не могут вместить ту информацию, которой может владеть одна пчелинная особь, вернувшаяся к улью после полёта к нектарному полю.

Как человек с профильным образованием, могу вам сказать, что триггеры в современных электронных машинах используются практически для всего, в том числе и как память. Если их не разделять по зонам (УУ, ОУ, ОЗУ и т.п.), имеем несколько миллионов триггеров, причем каждый в каждый момент времени находится в определенном состоянии. Представьте что вы не знаете к какой части машины какой относится, имеем почти ту же картину что и у мозга — миллионы (милларды) узлов, какие-то сигналы от узла к узлу носятся и все это как-то живет. По шуму сигналов триггеров вы вряд ли поймете как работает процессор — тоже самое и с мозгом.

А вообще смелый перенос аналогов из мира современных дискретных машин с четкой логикой на мозг выглядит как-то странно. Это машины пытаются его воспроизвести в меру понимания, а не наоборот. Очевидно, что в памяти человека не папки с avi-файлами, картины не представлены в формате bmp, а звуки в формате wav и т.д. Она ассоциативная, образная, принцип действия памяти до конца не ясен. Мозг это динамическая, самоорганизующаяся система с нечеткой логикой, состоящая из миллионов (миллардов?) узлов. Какого рода схемы там самообразуются даже представить сложно, любой современный процессор отдыхает. Понятно что механизм возобновления памяти нужен для системы с четкой логикой. А как быть с нечеткой? Вы же не будете отрицать, что вы забываете постепенно образы и события, новые впечатления затмевают старые и т.п. Если бы память была постоянной, мы бы всю жизнь помнили в мельчайших деталях.
Сначала мы узнаем, что «академическая наука» как всегда глубоко не права. Я вижу тут некоторую корреляцию с причастностью докладчика к РАЕН. Но не будем о грустном. Впереди нас ждет много смешного еще более грустного!

>Отметим, что никто в мире пока этого не смог зарегистрировать.
Что зарегистрировать? Что нейроны разные? Или что они выполняют разные функции?
Даже полностью идентичные логические элементы могут выполнять разные функции, а уж различные и подавно.

И чем вам не угодила идея перманентной перезаписи? Некоторые типы оперативной памяти так работают (DRAM) — чем мозг хуже?

Пункт 3 меня откровенно расстроил. Я угробил пару часов своей жизни на откровенного фрика. Приплести гравитацию (явно без достаточных знаний). Приплести ганглий пчелы. Ну да, ваше «точно знаю» явно авторитетнее того, что с современными технологиями в подобные объемы java-машину засовывают.

Печально. Я не ожидал такого накала фриковости.
Спасибо за интересную точку зрения.
Вот по первому пункту, если принять во внимание единичную клетку организма, то можно ли утверждать, что она одновременно выступает и как носитель памяти (у неё есть ДНК), и как «читатель», расшифровывающий в белки части ДНК, и как «писатель», дублирующий ДНК? Итого получается, что всё-таки можно представить объект, который сам себя перезаписывает и пересчитывает?
В модели, которую я описал, «нейрон» сам динамически адаптирует своё поведение исходя из внешних условий (количество доступной ему энергии и внешние стимулы). В этом смысле он и записывает, и хранит информацию.
Уважаемый Владимир, на Ваши вопросы лучше всего ответят два крупнейших российских специалиста: Вальцев Виталий Борисович — создатель «Брейнпьютера» на «супернейронах» и Бодякин Владимир Ильич — создатель «умных нейронов». Очень рекомендую познакомиться с их результатами.
Я меня также есть своё мнение, основанное на изучении поведения лошадей и океанических черепах. Скажу Вам так. ДНК это некий декодер, как криптограф, принимающий и передающий информацию между внешними источниками и внутренними потребителями. Ну на подобие того, как компьютер, подключенный по VPN к удаленному серверу, может делать многие функции с помощью такого сервера, а сторонний наблюдатель, не знающий о таком подключении, полагает, что всё умеет делать сам компьютер.
Вот куда подключается комп, к какому серверу, пока не скажу. Думаю, что ответ дадут черепахи, которые способны с помощью такой удаленной связи приплыть для откладки яиц к тому острову в океане через несколько лет, откуда они уплыли маленькими черепашками.
Проблемы Гомо Сапиенс проистекают с того момента, когда кто-то увел из наших ДНК 9 пар хромосом, которых числом должно быть 32, а не 23, как это мы имеем сейчас.
Сдается мне, что Вы не в курсе ни биологических, ни кибернетических представлений о мозге, и его части нейронах.
читаем как без всякой мистики, активируя только нейроны мышей заставляют вспоминать то, что они ощущали ранее www.membrana.ru/particle/17772, причем на геном уровне
«Не звезд во Вселенной, а частиц во Вселенной»
Что за бред!? Физик не понимает, что наш мозг состоит из «частиц во вселенной» и что каждая связь в нейросети мозга состоит из множества этих частиц (атомов, молекул и т.д.). Или под частицами подразумевалось нечто более крупное?
Именно как очевидно неверную фразу я это и приводил, чтоб показать, что упомянутый авторитет не может являться авторитетом во всех областях науки и даже может допускать в свиох лекциях очевидно абсурдные высказывания не на тему лекции.

На мой взгляд тут очевиден эфект испорченого телефона.
«Не выиграл, а проиграл. Не в шахматы, а в преферанс. Не запорожец, а 5 рублей.»
VladimirKiva, а с иерархической темпоральной памятью вы работали?
Я просто смотрю на все эти НС, на ваши статьи… И не могу избавиться от ощущения, что ИТМ может заменить 90 процентов из них с куда более хорошими результатами. В частности она может быть сконфигурирована как для распознавания образов, так и для распознавания последовательностей.
Ее основная суть в том, что ее разработчики пересмотрели модель нейрона и сделали его куда более близким к биологическому аналогу, она имеет 3д структуру (слои 2д матриц).
Вы уже описываете персептрон/нейросет а не нейрон, персептрон имеет такую структуру, которую автор модели захочет сделать.
Это не перцептрон. У перцептрона вполне определенная архитектура.

Это сеть, сеть состоит из отдельных нейронов. Модель нейрона — более биологически точная, чем используется в перцептронах. В частности реализовано упомянутое тут нейроторможение (ингибиция) и многое другое.
перцептронов много разных бывает, с различной «архитектурой». Слово «перцептрон» указывает фактически на применение а не на архитектуру.

У вас же, цитата: Ее основная суть в том, что ее разработчики пересмотрели модель нейрона и сделали его куда более близким к биологическому аналогу, она имеет 3д структуру (слои 2д матриц).

Модель нейрона если что в ИТП (раз уж по русски) пересмотрели в сторону кардинального упрощения.
Перцептронов много разных, и ни HTM, ни приведенная выше автором реализация к ним не относится.
Вы не можете сделать рандомную модель и назвать ее перцептроном.

Модель пересмотрели *не* в сторону упрощения. Добавлены дендриты, ингибиция и некоторые другие фичи.
Классические модели нейрона обычно представляют просто взвешенную сумму входов и пороговую функцию.
Ок, видимо про википедию вы не в курсе: ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%80%D1%86%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD

А про упрощения нейронов в НТМ:
1) булевые веса на «синапсах»
2) «примитивная» функция активации
3) ограничение на связность нейронов одной колонкой

вы видимо путаете сложность обучения HTM со сложностью единичного его элемента.

Боюсь, это вы не в курсе.

Согласно современной терминологии, перцептроны могут быть классифицированы как искусственные нейронные сети:
с одним скрытым слоем;
с пороговой передаточной функцией;
с прямым распространением сигнала.


Если вы построите сеть по по принципу, отличному от этих — добавите обратную связь, лишние слои, измените передаточную функцию — это будет не перцептрон.

В НТМ есть еще и дендриты с вещественными весами. Поэтому то что вы называете «упрощением» на деле — добавление еще одного элемента — дендрита — благодаря которому есть как связи с булевскими значениями, так и с вещественными.

Состояний у нейрона тоже больше, три (активен от прямого воздействия, от бокового, неактивен) против двух стандартных (активен не активен) — в отличие от как раз таки примитивного порога перцептрона розенблатта.
оо терминологию свою придумали :) а Розенблатт то и не вкурсе :)

дендриты если что обычно одни на весь столбик :) то есть к одному нейрону особого отношения не имеют. Состояние суть часть функции активации, которая даже с состоянием — вполне простая. Вобщем вы таки смешиваете сложность обучения HTM и его единичную «детальку».

Господа, я хотел бы вас померить :)

Если и сравнивать HTM с перцептронами Розенблатта, то наиболее близким будет Перцептрон с перекрёстными связями

Но действительно, HTM достаточно отличительна от ИНС вообще, и было бы интересно его закодировать, но лично у меня все времени не хватает, хотя 50% уже сделал… может у кого есть интерес… можно было бы обсудить
Тем не менее, Ariman все таки ближе к истине — нейрон HTM сложнее формального нейрона перцептрона. Конечно, это связано с его функционирование в сети, но тем не менее.
«добавите обратную связь, лишние слои, измените передаточную функцию — это будет не перцептрон»

Извините, но вы заблуждаетесь. У Розенблатта все эти перцептроны уже были. В Вики несколько упрощено, описывается наиболее известная версия перцептрона, но совсем не означает, что нет других.
Нет, с иерархической темпоральной памятью не сталкивался. Спасибо за наводку: обязательно ознакомлюсь.
Неужели даже буквы распознавать не пробовали?
50 лет создают персептрон а на сегодня даже буквы не распознает.
Замечательно распознают, выделяют от фоновых шумов и текстур.

Точка зрения озвученная вами выше, появилась с развитием ЭШТ терапии, на фоне её успехов.
Нейроны «сбрасываются», а личность и воспоминания от этого не страдают, значит они типа хранятся в другом месте… А дальше, с развитием нейрохирургии, по мере накопления статистики всё становилось ещё интересней. Вырезаем человеку огромную опухоль, а ему хоть бы хны. В прочем, как повезет, но по мере совершенствования техники нейрохирургии везти стало всё больше и больше.
Ну и конечно психотомимики,
пардон, психотомимики, классика жанра, даже атеиста заставляют таки задуматься о душе.

Однако нейросети, это ни капли не умоляет, сейчас только ленивый нейрофизиолог, не играется с живыми изолированными нейронами, изучая их поведение и самоорганизацию. Да и успехи восстановительной медицины, свидетельствуют о самоорганизации нервной системы.
Был человек парализован, его мышцы искусственно стимулируют, и через пару месяцев он уже сам может пошевелиться, а рефлекторные дуги будто и не был парализован вовсе…

Так-что не надо умолять достоинства нейросетей особенно если вы с ними никогда не работали.
А истина, она ИМХО если есть, то где-то по середине.
Очень занятно ведут себя группы роботов даже без мозгов, с примитивными рефлекторными дугами, это напоминает поведение живых организмов. Так-что может-быть люди излишне высокого мнения о себе?
Да и если уж вдаваться в эзотерические практики, то самосознание сиречь душа, это одно, а физическое тело вполне может обходиться и без, обходясь только животными инстинктами и рефлексами. Животные — бездушны, а человек он типа с душой…
Вы не закончили свой комментарий, но мне почему-то вспомнилась голография…
Садко //Замечательно распознают, выделяют от фоновых шумов и текстур.//

Вот интересно то! Это за счёт каких же таких свойств персептроны (как нейронные сети) распознают буквы? И чего это тогда АББИ не встраивает их в свои технологии, чтобы догнать до уровня, хотя бы, 90% распознавания текстов. А то сегодня с их 60% распознавания сложно-то тексты оцифровывать.
Совсем не понял что значит фраза «нейрон имеет шаблон» и как вычисляется функция «нейрон встретил шаблон». В классическом нейроне вычисляется функция перехода от взвешенной суммы входов. Какие операции проводятся с массивом значений на входе описанного нейрона?
Шаблон — это конечная устойчивая последовательность нулей и единиц. Нейрон получает на вход последовательно нули и единицы, которые складываются во входную последовательность.
В простейшем случае нейрон реагирует тогда, когда входная последовательность содержит в точности шаблонную последовательность. Более сложные случаи допускают положительную реакцию нейрона тогда, когда входная последовательность содержит фрагмент, до некоторой степени похожий на шаблон (правда, этот случай я не моделировал).
А алгоритм детектирования шаблона какой? Какие конкретно операции проводятся над элементами входной последовательности внутри одного такта?
Простейший алгоритм — это поиск подпоследовательности.
Шаблон: 101011

...| такт 1 | такт 2 | ...
...|00101010|11001111|
    101011 -- нет
     101011 -- нет
...
        1010 11 -- найдена


Можно предложить более сложные алгоритмы, реагирующие на неточные последовательности.
К сожалению, на сегодня ни один из известных персептронов или ни одна ИНС не смогла реализовать даже одну маленькую функцию мышления. Абсолютно все НС, собственно, также как и ЭВМ используют один и тот же условный оператор: «Если А=Х, до делай У, иначе делай Z». А где реализованные в кибернейронах другие операторы типа: «Может ли А=Х и должно ли А=Х»?
Все зациклились на счетных функциях НС, а пора делать действительно не вычислительное, а «узнавательное» устройство.
и еще. Правильно ли я понял, что входные последовательности независимы для разных тактов? Как, в таком случае, быть с шаблоном, который найдется на совмещении двух последовательностей, но не найдется в каждой из них? Например шаблон ш=10 для последовательностей п1=111, п2=000.
Да, правильно. В приведённом примере нейрон «выстрелит» на втором такте, так как его шаблонная последовательность встретилась при прохождении сигналов на втором такте. Последовательности образуют единую последовательность, которая и анализируется: ...111000… в ней найден шаблон 10.
Такое поведение обеспечивает 1) возможность длинных шаблонов и 2) дополнительные возможности инвариантности.
Sign up to leave a comment.

Articles