Comments 58
Не перестану повторять, искусственные нейросети называются так в силу исторических причин и с живым прототипом имеют чрезвычайно мало общего, за исключением разве что сетей спайковых, но и там, но не суть, хотя…
Вот про LTP вроде бы вкурили и картинка начала складываться, однако достаточно вспомнить про «весёлые вещества» которые так-же упоминались вначале, и представить это дело в комплексе. Там же получается трэш, угар и горькие стенания ваших «весовых коэффициентов» раздутых\отощавших под самые сто, с чем-то там процентов. И это ещё цветочки, терапевтические вещества люди по пол года едят, и ничего страшного не происходит. А от щелчков ЭШТ память сыпется чаще чем от нейрохирургических операций даже. Нейропластичность, ещё один камень в ваш огород.
А всё от того, что в самом начале была упущена одна важная деталюшка, без которой, как карты не складывай, получаются каскады авторегрессии.
Вот про LTP вроде бы вкурили и картинка начала складываться, однако достаточно вспомнить про «весёлые вещества» которые так-же упоминались вначале, и представить это дело в комплексе. Там же получается трэш, угар и горькие стенания ваших «весовых коэффициентов» раздутых\отощавших под самые сто, с чем-то там процентов. И это ещё цветочки, терапевтические вещества люди по пол года едят, и ничего страшного не происходит. А от щелчков ЭШТ память сыпется чаще чем от нейрохирургических операций даже. Нейропластичность, ещё один камень в ваш огород.
А всё от того, что в самом начале была упущена одна важная деталюшка, без которой, как карты не складывай, получаются каскады авторегрессии.
Не совсем вас понял. В статье написано — в реальном мозге «весовые коэффициенты» связей меняются на лету, как нейромедиаторами и их аналогами, так и L-LTP, и скорее всего еще кучей других вещей, о которых мы пока не в курсе. И про стимуляцию электрическими импульсами извне — тоже написал.
Про нейропластичность — поясните пожалуйста. Не понимаю, как возможность выращивать новые связи и нейроны… Эм, летит в мой огород?
В начале статьи — дисклеймер, что это обзорная статья. В конце статьи — уточнение, что все в нее не влезло, потому что иначе она будет на 100к символов. Именно поэтому здесь нет например LTD, утечки заряда с нейронов и т.д.
Про нейропластичность — поясните пожалуйста. Не понимаю, как возможность выращивать новые связи и нейроны… Эм, летит в мой огород?
В начале статьи — дисклеймер, что это обзорная статья. В конце статьи — уточнение, что все в нее не влезло, потому что иначе она будет на 100к символов. Именно поэтому здесь нет например LTD, утечки заряда с нейронов и т.д.
По 4му вопросу, про эмоции, есть у меня гипотеза. Вероятно, уже знакомая вам. Эмоции влияют на усиление и долговременность связи. Чем сильнее — тем сильнее. Сильная эмоция, по идее, соответствует большему возбуждению, более высокой частоте сигналов по нейронам, и формированию более сильных связей. Причем негативные эмоции способствуют лучшему запоминанию. Механизма не знаю, сам только начал копать эту тему из интереса к формированию гештальтов на нейробиологическом уровне.
Ощущение завершенности гештальта должно быть завязано на работу ассоциативной коры. Мне кажется, ключевое здесь — осмысленность фигуры на фоне.
Ощущение завершенности гештальта должно быть завязано на работу ассоциативной коры. Мне кажется, ключевое здесь — осмысленность фигуры на фоне.
Тут есть один интересный момент: эмоции не сами по себе возникают. Они — результат обработки информации о сигналах с органов чувств и о собственном состоянии мозга. И могут активироваться по разному.
Если перед вами пролетит кирпич — у вас по короткой дуге пройдет рефлекторный импульс на моторные реакции, и, как я понимаю, выброс различных вещей вроде адреналина не потребует «осознания» ситуации. Вот потом, когда кирпич уже давно пролетел, включится все остальное)
Но эмоции срабатывают не только в «стрессовых» ситуациях, как выше. Например, вы вполне можете испытать сильную эмоцию от того, что ошиблись. Скажем, купили что-то втридорога и узнали об этом постфактум. Или наоборот, вы долго над чем-то работали и добились результата — здесь идет удовлетворение, и оно тоже требует осознания, т.е. сначала мозг обработает это внутри, а потом врубит механизмы регуляции.
Про штуки второго рода, а так же «мотивацию», и то как все это коррелирует со связями между нейронами — я подготовлю отдельную статью. А еще там будет про зависимости)
Если перед вами пролетит кирпич — у вас по короткой дуге пройдет рефлекторный импульс на моторные реакции, и, как я понимаю, выброс различных вещей вроде адреналина не потребует «осознания» ситуации. Вот потом, когда кирпич уже давно пролетел, включится все остальное)
Но эмоции срабатывают не только в «стрессовых» ситуациях, как выше. Например, вы вполне можете испытать сильную эмоцию от того, что ошиблись. Скажем, купили что-то втридорога и узнали об этом постфактум. Или наоборот, вы долго над чем-то работали и добились результата — здесь идет удовлетворение, и оно тоже требует осознания, т.е. сначала мозг обработает это внутри, а потом врубит механизмы регуляции.
Про штуки второго рода, а так же «мотивацию», и то как все это коррелирует со связями между нейронами — я подготовлю отдельную статью. А еще там будет про зависимости)
Попробую покритиковать.
Идея статьи в том, что какое-то понятие обрабатывается конкретными нейронами.
Однако, мысленно я могу представить себе не один стул, а два, и даже три.
Или не представить, а увидеть на картинке, и совершенно отчётливо отличать первый стул от второго.
Как такое возможно, если нейроны, определяющие «стул», уже активированы. Второй, третий стул на картинке не должен давать ничего нового, т.е. все последующие стулья должны быть невидимыми.
Идея статьи в том, что какое-то понятие обрабатывается конкретными нейронами.
Однако, мысленно я могу представить себе не один стул, а два, и даже три.
Или не представить, а увидеть на картинке, и совершенно отчётливо отличать первый стул от второго.
Как такое возможно, если нейроны, определяющие «стул», уже активированы. Второй, третий стул на картинке не должен давать ничего нового, т.е. все последующие стулья должны быть невидимыми.
Отличное замечание.
Дело в том, что зрительная кора разделена на области.
Есть первичная — туда поступают данные с глаз. Это то, что вы видите. Можно сказать, набор пикселей. Они для разных стульев будут разными.
А дальше идёт поступенчатая обработка изображения. Выделение контуров, обработка положения в пространстве, распознавание образов и прочие штуки высокого уровня, которые позволяют вам заметить, что вы видите 4 похожих объекта и отнести их в категорию стульев.
Врятли в первом этапе учавствует долговременная или кратковременная память, учитывая то, сколько информации проходит через первичную зрительную кору. Строй я мозг, я бы так делать не стал)
Насчёт представить — все немного сложнее. Если бы тут было простое "обратное преобразование" — можно было бы "увидеть стулья", как часть изображения с глаз. Этого не происходит, и тут есть два варианта:
- Внутренний сигнал слишком слаб, чтобы хоть как-то помешать внешнему. — это мне кажется наиболее вероятным.
- В первичную визуальную кору вообще нельзя отправить сигнал изнутри. Только самоактивация (например, в полной темноте) и сигналы с фоторецепторов. — Такой вариант нельзя исключать. Возможно, что сигнал доходит только до "высоких уровней" зрительной коры, не спускаясь на первичный.
И что это значит? Объект «стул», который я увидел, и о котором подумал, в памяти представлены разными нейронными блоками? Тогда, как они сопоставляются?
Главный мой вопрос тут в том, как масштабируется эта схема. Например, в классическом ООП я могу создать любое разумное (ограниченное ресурсами) количество экземпляров какого-то объекта, они будут размещены в памяти по разным адресам, и манипулировать ими можно независимо. А тут всё выглядит так, как будто у меня есть один статический объект (физически представленный конкретными нейронами) и никаких других его экземпляров создать нельзя.
Главный мой вопрос тут в том, как масштабируется эта схема. Например, в классическом ООП я могу создать любое разумное (ограниченное ресурсами) количество экземпляров какого-то объекта, они будут размещены в памяти по разным адресам, и манипулировать ими можно независимо. А тут всё выглядит так, как будто у меня есть один статический объект (физически представленный конкретными нейронами) и никаких других его экземпляров создать нельзя.
Ух, перечитал свой комментарий, в 2 часа ночи я просто мастер объяснений.
Короче, первичная зрительная кора — один огромный FrameBuffer. Можно считать 1 объект. Его можно «разложить на примитивы». Сделать что-то вроде преобразования растр->вектор. Как вы понимаете, после этого можно работать с примитивами. Например, представлять линию под углом, простой трансформацией «линии». Тем же методом «наложить текстуру».
Сейчас попробую зайти через программирование. Короче, это как динамически создавать новые объекты из примитивов.
Представьте, хм… Слоно-зебру. Я серьезно, попробуйте.
Если я правильно понимаю процесс, у вас должно было получиться что-то содержащее самые яркие характеристики слона и зебры. Например, большой слон с хоботом, раскрашенный как зебра, или зебра с хоботом/ногами/туловищем слона, ну в общем — комбинация из «примитовов слона» и «примитивов зебры».
И когда вы представляете 4 стула, у вас происходит примерно то-же самое.
Есть 4. А 4 — это абстракция, означающая что у вас есть что-то одного «класса», но разных «инстансов». Представьте «4». Получилось 4 «чего-то». Шариков, коробочек, не важно.
А теперь на место «чего-то» — вы подставляете результат вычисления шаблона «стул». Стул, кстати, не обязан быть одинаковым, у вас есть куча информации о разных стульях.
Или наоборот, можно представить 1 стул, и начать его подгонять под шаблон «4», докидывая новые стулья.
Т.Е. мозг не «хранит 4 стула», пока вы о них не думаете. Но когда вы попробуете их представить, он начнет вычислять результат.
Очень грубая аналогия, но надеюсь, суть передал)
PS
Про внимание из комментария ниже — в первом приближении это просто фильтр, завязанный на текущий контекст (объясню позже, как это выглядит). Т.Е. пока вы «думаете о стульях», вы обрубаете левые сигналы, которые со стульями не связаны и не обрабатываете их.
И что это значит? Объект «стул», который я увидел, и о котором подумал, в памяти представлены разными нейронными блоками? Тогда, как они сопоставляются?
Короче, первичная зрительная кора — один огромный FrameBuffer. Можно считать 1 объект. Его можно «разложить на примитивы». Сделать что-то вроде преобразования растр->вектор. Как вы понимаете, после этого можно работать с примитивами. Например, представлять линию под углом, простой трансформацией «линии». Тем же методом «наложить текстуру».
Главный мой вопрос тут в том, как масштабируется эта схема. Например, в классическом ООП я могу создать любое разумное (ограниченное ресурсами) количество экземпляров какого-то объекта, они будут размещены в памяти по разным адресам, и манипулировать ими можно независимо. А тут всё выглядит так, как будто у меня есть один статический объект (физически представленный конкретными нейронами) и никаких других его экземпляров создать нельзя.
Сейчас попробую зайти через программирование. Короче, это как динамически создавать новые объекты из примитивов.
Представьте, хм… Слоно-зебру. Я серьезно, попробуйте.
Если я правильно понимаю процесс, у вас должно было получиться что-то содержащее самые яркие характеристики слона и зебры. Например, большой слон с хоботом, раскрашенный как зебра, или зебра с хоботом/ногами/туловищем слона, ну в общем — комбинация из «примитовов слона» и «примитивов зебры».
И когда вы представляете 4 стула, у вас происходит примерно то-же самое.
Есть 4. А 4 — это абстракция, означающая что у вас есть что-то одного «класса», но разных «инстансов». Представьте «4». Получилось 4 «чего-то». Шариков, коробочек, не важно.
А теперь на место «чего-то» — вы подставляете результат вычисления шаблона «стул». Стул, кстати, не обязан быть одинаковым, у вас есть куча информации о разных стульях.
Или наоборот, можно представить 1 стул, и начать его подгонять под шаблон «4», докидывая новые стулья.
Т.Е. мозг не «хранит 4 стула», пока вы о них не думаете. Но когда вы попробуете их представить, он начнет вычислять результат.
Очень грубая аналогия, но надеюсь, суть передал)
PS
Про внимание из комментария ниже — в первом приближении это просто фильтр, завязанный на текущий контекст (объясню позже, как это выглядит). Т.Е. пока вы «думаете о стульях», вы обрубаете левые сигналы, которые со стульями не связаны и не обрабатываете их.
Вот и интересная вся эта механика. С одной стороны, мозг умеет манипулировать образами, «создавать новые объекты из примитивов», то есть копировать какие-то объекты и дополнять их. По вашей гипотезе, объект — это сильносвязная группа нейронов, а связи нарабатываются долгое время и надолго сохраняются. В то же время, должен быть механизм, который быстро скопирует группу нейронов в другую со всеми связями, чтобы работать с полученной копией. Отсюда я делаю вывод, что «объект» — вещь более высокоуровневая, чем связи, т.к. должна уметь быстро копироваться.
Копировать — не обязательно.
Смотрите, есть у вас текстура. А вы хотите наложить ее на поверхность. Вместо того, чтобы «копировать» текстуру на поверхность, вы можете оставить ссылку на область памяти с текстурой. Тоже самое сделать для поверхности.
А результат рендера мозг вам вычислит, когда вы активируете обе области сразу.
Фича в том, что выделенных частей вроде «памяти»и «cpu» в мозге нет. Вычисления проводятся напрямую. Т.Е. каждый раз, когда вы видите стул, мозг заново создает объект «стул» из данных с глаз. Но он может запомнить «программу активаций» для создания «стула», и запустить ее для обработки ввода из другого источника.
Например, если кто-то рядом скажет «стул».
Поэтому, если вы не ставили целью «создать в мозгу программу отрисовки вот этого конкретного стула», а просто пытаетесь представить «стул» — вы можете получить разные результаты. Но если вы год будете рисовать один и тот же стул — то вы будете до мельчайших подробностей рендерить именно его. Мозг запишет, «что нужно сделать» чтобы представить стул)
Иными словами — мозг сохраняет алгоритм активаций нейронов, а не «данные» с которыми нам привычно работать. Каждое вычисление идет заново, сохранены только ветки, по которым вычисления пойдут.
Прояснил что-то или все еще не попал?
Смотрите, есть у вас текстура. А вы хотите наложить ее на поверхность. Вместо того, чтобы «копировать» текстуру на поверхность, вы можете оставить ссылку на область памяти с текстурой. Тоже самое сделать для поверхности.
А результат рендера мозг вам вычислит, когда вы активируете обе области сразу.
Фича в том, что выделенных частей вроде «памяти»и «cpu» в мозге нет. Вычисления проводятся напрямую. Т.Е. каждый раз, когда вы видите стул, мозг заново создает объект «стул» из данных с глаз. Но он может запомнить «программу активаций» для создания «стула», и запустить ее для обработки ввода из другого источника.
Например, если кто-то рядом скажет «стул».
Поэтому, если вы не ставили целью «создать в мозгу программу отрисовки вот этого конкретного стула», а просто пытаетесь представить «стул» — вы можете получить разные результаты. Но если вы год будете рисовать один и тот же стул — то вы будете до мельчайших подробностей рендерить именно его. Мозг запишет, «что нужно сделать» чтобы представить стул)
Иными словами — мозг сохраняет алгоритм активаций нейронов, а не «данные» с которыми нам привычно работать. Каждое вычисление идет заново, сохранены только ветки, по которым вычисления пойдут.
Прояснил что-то или все еще не попал?
Манипулирование данными свели к манипулированию ссылками, но вопросы-то остаются: что есть ссылка в терминах нейросети.
1. Ссылка — это какая-то связь между нейронами (между какими? нейронами «стула» и… некоей свободной «оперативной областью», где будут выполнятся промежуточные манипуляции).
2. Допустим, связь. Тогда, связь в какую сторону (мы же выяснили выше, что связи односторонние)? Если у нас 100 ссылок от абстрактного стула к конкретным, при активации абстрактного стула по ссылке активируется конкретный, или наоборот?
3. Если связь — это просто доставка сигнала от одной группы нейронов к другой, то аналогия со ссылкой ООП не работает — по ООП-ссылке можно прочитать любые свойства объекта, на который ссылаешься, а тут нет.
1. Ссылка — это какая-то связь между нейронами (между какими? нейронами «стула» и… некоей свободной «оперативной областью», где будут выполнятся промежуточные манипуляции).
2. Допустим, связь. Тогда, связь в какую сторону (мы же выяснили выше, что связи односторонние)? Если у нас 100 ссылок от абстрактного стула к конкретным, при активации абстрактного стула по ссылке активируется конкретный, или наоборот?
3. Если связь — это просто доставка сигнала от одной группы нейронов к другой, то аналогия со ссылкой ООП не работает — по ООП-ссылке можно прочитать любые свойства объекта, на который ссылаешься, а тут нет.
Ссылка — это какая-то связь между нейронами (между какими? нейронами «стула» и… некоей свободной «оперативной областью», где будут выполнятся промежуточные манипуляции).
Об этом будет отдельная статья. Ссылка — это адрес в памяти. Информация о пути до нейронов. Как собственно и везде. Потом объясню как это построить на нейронах)
Если у нас 100 ссылок от абстрактного стула к конкретным, при активации абстрактного стула по ссылке активируется конкретный, или наоборот?— нет ста конкретных стульев в мозге. Есть граф примитивов, из которых мозг каждый раз заново соберет вам стул. Вы можете менять делали как угодно, пока сохраните «форму стула». Короче, есть куча кубиков лего и есть инструкция о том, как примерно их надо собрать. И ей не обязательно следовать точь-в-точь. Можно сделать стул с тремя ножками, можно с 5, можно без сидения.
Если связь — это просто доставка сигнала от одной группы нейронов к другой, то аналогия со ссылкой ООП не работает — по ООП-ссылке можно прочитать любые свойства объекта, на который ссылаешься, а тут нет.
Тут нет «свойств объекта». Еще раз — вы динамически инстанцируете все, что вам надо. Оно не хранится как данные. Вы работали с шейдерами? Вот примерно так оно работает в мозгу. У вас есть куча шейдеров и вы просто комбинируете их, для рендера результата.
Это касается не только графики. Тоже происходит для звуков слова «стул». И для всего остального.
Нейрон — это не бит со значением 0/1. Это целая микросхема, которая меняет свою прошивку в зависимости от того, что ей пришло на вход и какие результаты дали сигналы, которые она послала «на выход». Ее можно перепрошить даже без участия других нейронов, с помощью выброса нейромедиаторов — они меняют алгоритм работы нейрона.
И из 85 миллиардов таких микрокомпьютеров состоит мозг. Это огромный кластер для распределенных вычислений. Тут немного сложно мыслить в терминах классического ООП. Вам скорее подойдут аналогии с GPU. Они — ближе по строению к мозгу, но намного проще. У них не связаны ядра, и их всего несколько тысяч, а не миллиарды.
Я в теме хоть и не силён, но иногда слежу за процессом работы мозга, поэтому попробую ответить.
Когда мозгу приходит «команда» представить стул, сколько бы раз она не приходила — результатом чаще всего будет стул одного и того же внешнего вида. Тем не менее:
Объект «стул» для мозга унасладован от некоторого количества других классов. Мозг его просто собрал однажды и пометил его как завершённый.
Попробуйте проследить за работой мозга, когда вы представляете «идеальный шкаф в вашу прихожую». Сначала в мозгу сформируются его размеры, потом — наличие полок, дверей, и прочего функционала. Ну и в конце — его стиль. Далее объект «идеальный шкаф» будет рассмотрен как целое, и отдельные его части будут переработаны, если это будет нужно.
Возвращаясь к вопросу со стульями — можно легко представить неограниченное количество одинаковых стульев в разном положении (массив объектов), а можно — несколько разных. В данном случае объект «Стул №2» будет унаследован от базового объекта «Стул», и к нему будут добавлены колёсики, мягкая сидушка,….
Собственно к чему я всё это — если вы представляете несколько стульев, то после определенного их количества, вместо отдельных экземпляров мозг будет создавать ссылки на стул, который он уже представляет в настоящий момент.
Когда мозгу приходит «команда» представить стул, сколько бы раз она не приходила — результатом чаще всего будет стул одного и того же внешнего вида. Тем не менее:
Объект «стул» для мозга унасладован от некоторого количества других классов. Мозг его просто собрал однажды и пометил его как завершённый.
Попробуйте проследить за работой мозга, когда вы представляете «идеальный шкаф в вашу прихожую». Сначала в мозгу сформируются его размеры, потом — наличие полок, дверей, и прочего функционала. Ну и в конце — его стиль. Далее объект «идеальный шкаф» будет рассмотрен как целое, и отдельные его части будут переработаны, если это будет нужно.
Возвращаясь к вопросу со стульями — можно легко представить неограниченное количество одинаковых стульев в разном положении (массив объектов), а можно — несколько разных. В данном случае объект «Стул №2» будет унаследован от базового объекта «Стул», и к нему будут добавлены колёсики, мягкая сидушка,….
Собственно к чему я всё это — если вы представляете несколько стульев, то после определенного их количества, вместо отдельных экземпляров мозг будет создавать ссылки на стул, который он уже представляет в настоящий момент.
Попробовал сейчас представить 4 разных стула рядом. В целом получилось, но заметил интересную деталь — мне ни разу не удалось сфокусироваться именно на картинке "4 разных стула" — всегда фиксировался только одном из них, а остальные были фоном. Т.е. я "знал", что они рядом тут стоят, но не могу с уверенностью сказать, что реально в этот момент их "видел".
PS А вот 4 одинаковых стула рядом представляются уже гораздо легче.
К этому я и вёл — мозг с большой неохотой (или из-за ограниченности ресурса, во что я не хочу верить) работает одновременно с несколькими разными сущностями. Поэтому, представляя 4 стула, он просто даёт ссылки сам себе, «клонируя» то, что представил один раз.
Можно даже представлять не разные стулья, а 4 одинаковых, но направленных в разные стороны — результат будет тем же самым, поскольку каждый отдельный стул перестанет быть ссылкой и обзаведётся собственным значением приватного поля.
На сколько я могу судить, именно на базе этой его особенности и построена часть игр на развитие мозга, где требуется среди похожих элементов найти что-либо, развивая таким образом связи, отвечающие за «количество разных стульев», которые можно удержать в воображении.
Можно даже представлять не разные стулья, а 4 одинаковых, но направленных в разные стороны — результат будет тем же самым, поскольку каждый отдельный стул перестанет быть ссылкой и обзаведётся собственным значением приватного поля.
На сколько я могу судить, именно на базе этой его особенности и построена часть игр на развитие мозга, где требуется среди похожих элементов найти что-либо, развивая таким образом связи, отвечающие за «количество разных стульев», которые можно удержать в воображении.
Вариант два, я тоже специально искал информацию по поводу данного вопроса.
Зрительная информация поступает в зону мозга расположенную сзади, а за представление отвечает префронтальная кора, находящаяся спереди, в результате чего информация напрямую не поступает. Кстати, префронтальная кора отвечает и за постановку задач, копайте в эту сторону.
Есть временное разделение. Обработка разных объектов идёт в разных тайм-слотах. Хотя с другой стороны объекты одного типа оказываются в одном слоте. В один момент внимание работает только с одним объектом. Как отдельные стулья вы их видите поочерёдно.
Ага, объясняем одно через непонятное другое. Вот в мозгу есть «внимание» — это такая обезьянка, у которой наверняка есть свой собственный мозг.
Какие-то кирпичики рассматриваются, но общей архитектуры не видно. Кто коммутирует эти кирпичики, как.
Какие-то кирпичики рассматриваются, но общей архитектуры не видно. Кто коммутирует эти кирпичики, как.
Почему непонятное. Я описал факты. Если интересоваться темой, то информацию об этом можно найти и здесь на хабре. Синхронная обработка нейронами объектов, которые мозг воспринимает как цельные, обнаружена экспериментально полвека назад. Аналогично есть синхронизация между группами нейронов, когда вы переключаете своё внимание между объектами. Я не говорил, что это и есть вся архитектура, а всего лишь ответил на ваш вопрос, — как вы видите три стула.
Вы сильно недочитали. И мало что поняли из реальной работы мозга.
Если у вас есть желание, время и энергия, которую вы хотите потратить на понимание как работает мозг, то предлагаю вам решить совсем на первый взгляд простую задачу. По решению задачи, вы сможете написать книгу, которая будет очень популярна.
Есть очень популярный модельный организм с достаточно сложным поведением. Обучающийся. Переключающий свое поведение. Запоминающий свойства среды и что ему в этих средах делать. Но мозг существа состоит всего из 302 нейронов. Существо это — Caenorhabditis elegans. Есть тонны литературы.
Попробуйте понять и описать как работает этот мозг. И как конкретно этот мозг генерирует каждый варант поведения существа. Для начала хотя бы как он самообучается. Без внешней перенастройки «весов связей».
Например, часть описания очень интересной функции. Червь ползет себе вперед (что само по себе сложная программа с регуляцией) и сталкивается головной частью с препятствием. Мозг тут же отключает программу ползания и включает сложную программу реакции на препятствие. За это отвечает 1 (ОДИН!) нейрон. Его дендриты чувствуют деформации кожи и как только эти деформации соответствуют механике реагирования он возбуждается и вбрасывает в определенную область мозга специфический нейромедиатор. Непосредственно этот нейрон вообще не соединен ни с одним нейроном. Но вброшенный нейромедиатор изменяет поведение групп нейронов до которых он дошел и которые имеют чувствительность к нему. Изменяют поведение так, что теперь они некоторое время начинают генерировать программу уклонения от препятствия. Проходит время, и червь продолжает двигаться далее. Как вы понимаете описанное предение никак не вклеить в ваше описание поведения и взаимодействия нейронов.
И таких программ сотни (половые, пространственные, средовые, программы движения, программы обработки и потребления пищи и управления пищеварением). Вот где пространство для предметного реверс инжиниринга.
Нейрон умеет активироваться и передавать сигналы другому нейрону.Проблема в том, что сигналы бывают очень разные. Нейроны бывают очень разные. Окружения нейронов бывают очень разные. 30 нейромедиаторов природа придумала не от дури и избыточности. А именно комбинации этих медиаторов на определенных нейронах и вызывает изменение поведения нейрона.
Другой нейрон, получив сигнал — заряжается, и приближается к активации.Проблема в том, что сигналы бывают очень разные. Не только активирующие, но и наоборот пассивирующие нейроны. И вообще не имеющие никакого отношения собственно к сигналу, а только меняющие состояние нейронов или даже частей нейронов. Все это вы зря пропускаете.
Один нейрон может принимать сигналы от нескольких нейронов.И снова сигналы бывают очень разные. И принимают нейроны их очень по разному.
Когда нейрон активируется, он передает сигнал всем связанным с ним нейронам.И снова сигналы бывают очень разные. И передавать сигналы нейроны могут очень по разному. И нейроны на сигналы реагируют очень по разному. А еще многие нейроны самостоятельно генерируют сигналы. Без какой либо активации.
Если у вас есть желание, время и энергия, которую вы хотите потратить на понимание как работает мозг, то предлагаю вам решить совсем на первый взгляд простую задачу. По решению задачи, вы сможете написать книгу, которая будет очень популярна.
Есть очень популярный модельный организм с достаточно сложным поведением. Обучающийся. Переключающий свое поведение. Запоминающий свойства среды и что ему в этих средах делать. Но мозг существа состоит всего из 302 нейронов. Существо это — Caenorhabditis elegans. Есть тонны литературы.
Попробуйте понять и описать как работает этот мозг. И как конкретно этот мозг генерирует каждый варант поведения существа. Для начала хотя бы как он самообучается. Без внешней перенастройки «весов связей».
Например, часть описания очень интересной функции. Червь ползет себе вперед (что само по себе сложная программа с регуляцией) и сталкивается головной частью с препятствием. Мозг тут же отключает программу ползания и включает сложную программу реакции на препятствие. За это отвечает 1 (ОДИН!) нейрон. Его дендриты чувствуют деформации кожи и как только эти деформации соответствуют механике реагирования он возбуждается и вбрасывает в определенную область мозга специфический нейромедиатор. Непосредственно этот нейрон вообще не соединен ни с одним нейроном. Но вброшенный нейромедиатор изменяет поведение групп нейронов до которых он дошел и которые имеют чувствительность к нему. Изменяют поведение так, что теперь они некоторое время начинают генерировать программу уклонения от препятствия. Проходит время, и червь продолжает двигаться далее. Как вы понимаете описанное предение никак не вклеить в ваше описание поведения и взаимодействия нейронов.
И таких программ сотни (половые, пространственные, средовые, программы движения, программы обработки и потребления пищи и управления пищеварением). Вот где пространство для предметного реверс инжиниринга.
Нематода — это аналог демок 4K. )) Изучать с дизассемблером по ним работу мозга более высших животных непрактично, поэтому и не выгорел проект виртуальной нематоды.
Существо это — Caenorhabditis elegans. Есть тонны литературы
И таких программ сотни (половые, пространственные, средовые, программы движения, программы обработки и потребления пищи и управления пищеварением).
По последнему утверждению — не могли бы вы привести ссылки на конкретные работы?
UFO just landed and posted this here
Влезу. Не знаю, как у червя, а у человека нейрон может иметь связи с несколькими тысячами (!) других нейронов. Каждый нейрон головного мозга! Битов тут дофига :-)
Битов тут дофига :-)
Приведите расчет…
Если из N нейронов каждый нейрон связан с каждым, и каждая последовательность K нейронов является «программой», то число «программ» — число сочетаний из N по K. То есть число «программ» X=N!/(N-K)!
X=N!/(N-K)!K! — потенциально возможных «программ». Доступных (max реализуемых) скорее всего будет ~N/K, где K — средняя длина программы
Ну, это конечно оценка сильно сверху, но там ограничения по максимально реализуемым скорее со способностью нейрона к распознаванию и маршрутизации сигналов будут связаны, а так один нейрон может быть задействован в нескольких программах.
1. Я поставил вопрос о емкости памяти для того чтобы прояснить до конца представление о модели памяти участников дискуссии (кол-во «битов» — оценка емкости памяти будет зависеть от принятой модели).
2. Меня терзают смутные сомнения утверждения отн. наличия большого кол-ва моторных программ у Caenorhabditis elegans. К сожалению, fivehouse — автор этого утверждения не ответил на мой вопрос о работах и авторах соотв. исследований. Насколько можно ли доверять этим данным?
С другой стороны гораздо более привлекательной выглядит идея предложенная qw1 (см. ниже habr.com/ru/post/491460/#comment_21380266) — у существ подобных Caenorhabditis elegans вообще нет памяти, это конечные автоматы
2. Меня терзают смутные сомнения утверждения отн. наличия большого кол-ва моторных программ у Caenorhabditis elegans. К сожалению, fivehouse — автор этого утверждения не ответил на мой вопрос о работах и авторах соотв. исследований. Насколько можно ли доверять этим данным?
С другой стороны гораздо более привлекательной выглядит идея предложенная qw1 (см. ниже habr.com/ru/post/491460/#comment_21380266) — у существ подобных Caenorhabditis elegans вообще нет памяти, это конечные автоматы
Простите, а что есть не конечный автомат? Есть ли существа, число внутренних состояний которого бесконечно?
Простите, а что есть не конечный автомат?
Хорошо, хорошо… существо действующее в соотв. след. схемы:
1. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <реакция>
2. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <состояние рецепторов (часть внутреннего состояния)>
3. (<текущее внутреннее состояние><стимул — текущие состояние внешней среды>) --> <новое текущее внутреннее состояние>
где набор таких правил небольшой (~10) и <текущее внутреннее состояние> не зависит от <внутренних состояний в предшествующие моменты времени>
Набор правил 1 неизменен.
Правило 2 может быть включено в 3
Есть ли существа, число внутренних состояний которого бесконечно?
С небольшой поправочкой:
Есть существа, число внутренних состояний которого неопределено, переменно — например: участники этой дискуссии
Доказательством объёма памяти это было бы, если бы в эти 302 нейрона можно было записать произвольную информацию (возможно, кодированную в виде программ) и затем восстановить без потерь.мозг существа состоит всего из 302 нейроновспасибо за шикарный пример и повод для ламерского вопроса: можно ли это использовать как доказательство, что память (для этих программ) содержится не в нейронах, а в чем-то еще?
(но)
программ сотни
А так, возможно, эти сотни программ запрограммированы не столько памятью, сколько являются свойством всей системы (организм + внешняя среда). Вспомним клеточные автоматы Вольфрама и его правило 30. В номере правила (8 бит) закодированы довольно длинные последовательности, генерируемые автоматом. Но не потому, что в 8 бит можно уместить эти последовательности, а потому что такие свойства у автомата.
UFO just landed and posted this here
Про каких-то червей есть известный эксперимент (мож, уже опровергнутый? Я не знаю), когда обученных червей скармливали необученным — и каннибалы приобретали новый опыт именно таким образом.
— Мак-Коннелл (McConnell) и его сотрудники; 1962; первые эксперименты проводились с планариями. J. V. McConnell, (1962) Memory transfer through cannibalism in planarium, J. Neuropsychiat. 3 suppl 1 542-548
Если я не ошибаюсь, то это был как раз один из случаев фальсификации результатов исследований или по крайней мере некорректной их постановки и анализа результатов.
Как оказалось, что планарии, съев своего обученного сородича, действительно умнеют и обучаются лучше. То же самое получается, если их просто хорошенько покормить обычным мясом.
UFO just landed and posted this here
Но остается вопрос об обучении без всякого каннибализма: куда и как сохраняется опыт, нажитый непосильным трудом по выживанию?
Я просил дать ссылку на соотв. работы, чтобы как-то верифицировать заявления fivehouse. Однако ответа от fivehouse не получил. Да ладно…
1. Какая-то пластичность в нервной системе Caenorhabditis elegans все таки есть.
2. Аналогом может быть устойчивая (правильнее — стационарная) конфигурация
типа «паровоза» клеточного автомата игры Джона Конвея «Жизнь» (о чем писал qw1), только для состояний нейронной сети Caenorhabditis elegans. Это что-то вроде
наборов стационарных паттернов нейронной активности, между которыми происходит переключение под действием внешнего стимула.
О чем скорее всего и писал qw1. Пусть он меня поправит если я не прав.
И это еще я не дошел до вопросов «глупца мудрецам» о различии между памятью и процессором, который выполняет команды из той памяти: а на чем или как реализован сам процессор? Или хотя бы где он локализуется?
«Лента машины Тьюринга» (программа) у Caenorhabditis elegans отсутствует, есть только «головка» — нервная система нематоды. Памяти как таковой у этого паразита скорее всего также нет. Т.е. все устроено на уровне безусловного рефлекса.
UFO just landed and posted this here
Я просил дать ссылку на соотв. работы, чтобы как-то верифицировать заявления fivehouse. Однако ответа от fivehouse не получил.Проблема в том, что все эти формы поведения изучаются отдельно или небольшими группами в каждой отдельной научной статье. Для поиска статей хорошо подходит GoogleScholar. Приведу некоторые названия статей и некоторую статистику.
Всего Google.scholar находит около 366 тыс научных статей посвященных «caenorhabditis elegans».
kofas Только по поиску «caenorhabditis elegans learning» находит 62 тыс статей.
Темы: Pathogenic bacteria induce aversive olfactory learning in Caenorhabditis elegans,
Caenorhabditis elegans: a new model system for the study of learning and memory,
The insulin/PI 3-kinase pathway regulates salt chemotaxis learning in Caenorhabditis elegans,
Serotonin mediates food-odor associative learning in the nematode Caenorhabditis elegans,
HEN-1, a secretory protein with an LDL receptor motif, regulates sensory integration and learning in Caenorhabditis elegans,
Functional organization of a neural network for aversive olfactory learning in Caenorhabditis elegans,
Caenorhabditis elegans senses bacterial autoinducers,
По поиску «caenorhabditis elegans behavior» 136 тыс статей.
Темы: Dietary choice behavior in Caenorhabditis elegans,
Light activation of channelrhodopsin-2 in excitable cells of Caenorhabditis elegans triggers rapid behavioral responses,
Sensory regulation of male mating behavior in Caenorhabditis elegans,
Normal and mutant thermotaxis in the nematode Caenorhabditis elegans,
A circuit for navigation in Caenorhabditis elegans,
Functional mapping of neurons that control locomotory behavior in Caenorhabditis elegans,
Mammalian TRPV4 (VR-OAC) directs behavioral responses to osmotic and mechanical stimuli in Caenorhabditis elegans
VDG
Нематода — это аналог демок 4K. )) Изучать с дизассемблером по ним работу мозга более высших животных непрактично, поэтому и не выгорел проект виртуальной нематоды.И так и не так. Изучая демки 4К можно хорошо поучиться ассемблеру и тонкостям аппаратного обеспечения. Изучая червя мы можем хорошо понять какие конкретно сигналы передают нейроны, что конкретно они означают, как конкретно и с какой целью нейроны объединяются в группы и как конкретно группы нейронов генерируют поведение, как конкретно обучаются, как переключают свою работу, как регулируют свои функции. Наши искусственные нейронные сети демонстритуют совершенно деградационный уровень по сравнению с этими несчастными 302 нейронами червя и результатами работы этих нейронов. Они элементарно не могут самообучаться без внешнего воздействия на них. А для обучения требуют огромное количество образцов.
Теперь чего нет в мозге червя. Естественно нет обработки сложных образов. Естественно нет вшитой культуры и психики млекопитающих и позвоночных. И естественно нет всеми искомого общего ИИ. Мало того общего интеллекта нет и в человеческом мозге при рождении. Только годами обучаясь человеческой культуре мозг человека становится способен показывать общий интеллект. Да, расстояние большое. Но его надо пройти для достижения большого приза.
1. Спасибо за рекомендации. В свою очередь дам другую ссылку. Есть хороший обзор
Timbers T.A., Rankin C.H. Caenorhabditis elegans as a Model System in Which to Study the Fundamentals of Learning and Memory. p. 227-
242 в сборнике: HUMAN LEARNING. Biology, Brain, and Neuroscience, 2008
Впрочем: таких же результатов достигала и «черепаха» Грея Уолтера — для ее работы не требовалось сложной нейронной сети. Но это адаптивное поведение.
Коротко, чтобы затевать дискуссию, осмелюсь утверждать: самообучение =/= адаптивное поведение.
2.
Боюсь, что все эти исследования (те в которых было обнаружено видоизменение «поведения» Caenorhabditis elegans в результате накопления индивидуального опыта) повторят путь экспериментов Мак-Коннелла с планариями и в конце концов придется переместить в мусорную корзину (пусть даже они «освящены» нобелевской премией. В прочем: их объединяет лишь модельный объект).
3.
Можете назвать какой-нибудь организм (за исключением небольшого класса млекопитающих) который может самообучаться без внешнего воздействия на них?
4.
Это не удивительно. Все модельные нейроны (формальные нейроны, используемые в искусственных нейросетях), фактически моделируют лишь небольшие участки дендритных деревьев биологических (реальных) нейронов. Также как и достаточно простое объединение модельных «дендритных деревьев» не может «выдавать» такие же результаты как простейшая естественная нервная система (правда: в том и другом случае задачи стоящие перед ними совершенно различные).
Timbers T.A., Rankin C.H. Caenorhabditis elegans as a Model System in Which to Study the Fundamentals of Learning and Memory. p. 227-
242 в сборнике: HUMAN LEARNING. Biology, Brain, and Neuroscience, 2008
Впрочем: таких же результатов достигала и «черепаха» Грея Уолтера — для ее работы не требовалось сложной нейронной сети. Но это адаптивное поведение.
Коротко, чтобы затевать дискуссию, осмелюсь утверждать: самообучение =/= адаптивное поведение.
2.
Проблема в том, что все эти формы поведения изучаются отдельно или небольшими группами в каждой отдельной научной статье
Боюсь, что все эти исследования (те в которых было обнаружено видоизменение «поведения» Caenorhabditis elegans в результате накопления индивидуального опыта) повторят путь экспериментов Мак-Коннелла с планариями и в конце концов придется переместить в мусорную корзину (пусть даже они «освящены» нобелевской премией. В прочем: их объединяет лишь модельный объект).
3.
Они элементарно не могут самообучаться без внешнего воздействия на них.
Можете назвать какой-нибудь организм (за исключением небольшого класса млекопитающих) который может самообучаться без внешнего воздействия на них?
4.
Наши искусственные нейронные сети демонстрируют совершенно деградационный уровень по сравнению с этими несчастными 302 нейронами червя и результатами работы этих нейронов.
Это не удивительно. Все модельные нейроны (формальные нейроны, используемые в искусственных нейросетях), фактически моделируют лишь небольшие участки дендритных деревьев биологических (реальных) нейронов. Также как и достаточно простое объединение модельных «дендритных деревьев» не может «выдавать» такие же результаты как простейшая естественная нервная система (правда: в том и другом случае задачи стоящие перед ними совершенно различные).
Да, расстояние большое. Но его надо пройти для достижения большого приза.Но 95% этого пути, на мой взгляд, будут пройдены впустую, если цель только интеллект, — общего между пирамидальным нейроном (базовым элементом коры) и всеми типами нейронов нематоды может оказаться очень мало.
Это как изучение устройства микропроцессора по схеме лампового телевизора. Кстати, там было много оригинальных решений, типа того, как на одну лампу вешали и ВЧ и НЧ и генератор, — совмещение функций как в нематоде. Но вот понять по этим лампам ключевой КМОП транзистор не получится, хотя они оба находятся на одном пути эволюции.
Тогда я вывернусь наизнанку: если автомат прошит насмерть, то как реализуется «обучение» и прочее?Не насмерть. Какая-то память есть, она немного конфигурирует поведение.
Если развивать дальше эту аргументацию, то ответ: обучается не оптимально. Если полное пространство возможных программ «100500 триллионов миллиардов», то сеть с небольшой памятью физически может выучить только узкое подмножество, например, миллиард программ (для выбора программы достаточно памяти в 30 бит. то есть, программы сложные, но их кол-во относительно небольшое и в памяти для запуска программы нужно хранить только номер программы). Тогда при обучении выучится не самая лучшая программа, а наиболее подходящая из доступных.
Проблема в том, что сигналы бывают очень разные. Не только активирующие, но и наоборот пассивирующие нейроны. И вообще не имеющие никакого отношения собственно к сигналу, а только меняющие состояние нейронов или даже частей нейронов. Все это вы зря пропускаете.
Я еще напишу про регуляцию. Это будет отдельная статья. Выброс нейромедиаторов (и не только их) в «свободный доступ» важная штука, без которой не сложить картинку. И про понижение силы связей — тоже.
Суть статьи, а вернее серии — сделать обзор. Есть вот это, вот это, и еще это, если очень грубо приближать — оно работает вот так. Пока работает — будем пользоваться этим приближением. Перестанет работать — детализируем.
Для этой статьи и объяснения концепции «связной подсети» хватило только усиления связей и L-LTP. А вот для объяснения того, почему что-то вообще фиксируется L-LTP — уже не хватит. Или для объяснения того, как мозг «отстраивает» связи сам, решая какую-то задачу. Для этого понадобятся дополнительные сущности, и вот когда они будут нужны — я их и опишу)
Вываливать сразу тонну информации — не стоит. Это стандартная ошибка человека, который более-менее разобрался в вопросе и «уложил его в голове», при объяснении другим людям. Тебе все очевидно. Только ты потратил год, на то, чтобы это стало «очевидно», а теперь пытаешься пересказать все за полчаса)
Сила связей — это и есть наши данные.Это очень спорное утверждение. Эффективность синапса может быть связана с его характеристикой как «время жизни синапса».
Если мы активировали один нейрон и за ним активировался следующий — связь станет сильнее., если синапс близок к соме, или — слабее, если он находится на окончаниях дендритного дерева.
В мозгу существуют сильно-связные сети нейронов.Это давно не новость. Когнитивные группы, кластеры, модели «малого мира» и т.п.
Активация такой сети рождает чувство «одного объекта» или «целого».Верно, но тоже не новость. Достаточно даже активации всего двух нейронов («сердцевинных») кластера для вызова всего последующего каскада восприятия.
Это давно не новость. Когнитивные группы, кластеры, модели «малого мира» и т.п.
Верно, но тоже не новость. Достаточно даже активации всего двух нейронов («сердцевинных») кластера для вызова всего последующего каскада восприятия.
Вот они, проблемы отсутствия профильного образования! Несколько месяцев строишь велосипед, потому что не смог придумать ключевое слово, чтобы его нагуглить.
Это очень спорное утверждение. Эффективность синапса может быть связана с его характеристикой как «время жизни синапса».
О, кстати, а можете рассказать поподробнее? Я в курсе, что есть нейрогенез и образование новых связей, и понимаю, что они так-же могут «умирать». Но подробно этот вопрос не изучал, т.е. я не в курсе когда и как это происходит. Буду благодарен за статьи или какие-то другие источники информации.
Вот они, проблемы отсутствия профильного образования!У меня тоже нет профильного образования в нейронауках, просто плотно слежу за темой. В конце года Анохин делает доклад "итогов года". В этот раз кластерам и сердцевинным клеткам он посвятил треть доклада (во второй половине). Рекомендую просмотреть все его лекции и лекции "Института перспективных исследований мозга МГУ".
Про синпасы. Под «временем жизни» синапса я подразумевал время сохранения его высокой эффективности. Насколько мне известно, все усиления синапсов, которые произошли за сутки, во сне стираются в более 90% случаев. Оставшиеся ослабляются. Если днём произошло большое усиление синапса, то у него больше шансов после сна сохранить это усиление. В итоге, синапсы, которые работают редко ослабляются и в дальнейшем оказывают малое влияние на мембрану (и вызов ПД, соответственно).
Так вроде же, за сохранность «силы» синапса и отвечает L-LTP. Который врубается в довольно редких (ну, на самом деле не очень, но по сравнению со всей жизнью — редких), случаях. Т.Е. все что вы «наповторяли», вторичными активациями действительно живет пару дней максимум. А вот L-LTPшные связи — остаются с вами очень надолго. Конкретнее инфа гуглится через Epigenetics Mechanisms in memory. Их ослабить тоже можно, но там идет Long-term depression, т.е. это уже не обычное «ослабевание» связи в течении суток, там мозг ее направленно деградирует, через вызовы в «обратном порядке». И, как я понимаю, как и с LTP — можно понизить силу «временно», на пару часов, а можно стереть окончательно и освободить место.
Синапс имеет разные механизмы управления своей эффективностью. Главное в той идее, что эффективность связывается не с весом связи с другим нейроном (как в ИНС), а с продолжительностью существования этой связи. LTP в таком случае говорит не «сильная связь» этого синапса, а «постоянная связь». Слабый же контакт означает, что связь между этими двумя нейронами непостоянная, часто отсутствует/пропадает. Т.е. в модели с графами, рёбра имеют вероятность своего существования, граф/сеть постоянно перестраивается.
Я специально добавил в модель LTP и затухание нейронных связей, которого нет в ИНС именно по этой причине.
Я предполагаю, что вы прочитали слово «вес» и связали его с ИНС, так как там используется тот же термин. Да, я взял его оттуда, и дополнил так, чтобы он отражал процессы в реальном нейроне. Веса меняются, затухают со временем, усиливаются только с E-LTP. L-LTP — не механизм усиления а механизм фиксации в текущем состоянии.
Я даже картинку в статье сделал) Вот эту:
Вторая связь «сильнее», но не зафиксирована. Первая — наоборот. Через несколько часов — вторая «затухла», а первая — осталась такой же.
Дополню, что в моей модели отсутствие связи — эквивалентно нулевому весу связи в плане активации нейрона к которому она идет. И при бесконечном времени вес связи будет стремиться к нулю, если она не «зафиксирована» L-LTP.
Но при этом, ребро неплохо изображает наличие синапса и потенциальную возможность усилить связь. Поэтому я не удаляю «ослабшие» ребра.
Как вы и описали у себя в комментарии)
Я предполагаю, что вы прочитали слово «вес» и связали его с ИНС, так как там используется тот же термин. Да, я взял его оттуда, и дополнил так, чтобы он отражал процессы в реальном нейроне. Веса меняются, затухают со временем, усиливаются только с E-LTP. L-LTP — не механизм усиления а механизм фиксации в текущем состоянии.
Я даже картинку в статье сделал) Вот эту:
Вторая связь «сильнее», но не зафиксирована. Первая — наоборот. Через несколько часов — вторая «затухла», а первая — осталась такой же.
Дополню, что в моей модели отсутствие связи — эквивалентно нулевому весу связи в плане активации нейрона к которому она идет. И при бесконечном времени вес связи будет стремиться к нулю, если она не «зафиксирована» L-LTP.
Но при этом, ребро неплохо изображает наличие синапса и потенциальную возможность усилить связь. Поэтому я не удаляю «ослабшие» ребра.
Как вы и описали у себя в комментарии)
PS
При составлении модели я вообще не смотрел на ИНС. Я составлял ее из описания нейрона в начале статьи и механизмов LTP/LTD и регуляции нейромедиаторами.
Я честно говоря не совсем понял, почему уже третья ветка комментариев идет про ИНС.
Можете пожалуйста объяснить, что конкретно в статье навело вас на мысль, что моя модель не учитывает регуляцию связей между нейронами? Я просто видимо сделал что-то не так если уже третий человек увидел здесь стандартную ИНС со стабильными весами, без возможности регуляции нейромедиаторами извне, без затухания, без E-LTP и L-LTP, хотя когда я читаю статью — я вижу по абзацу на каждую из этих тем.
Может я как-то неправильно выразился? Или слово «вес» — это такой общий триггер, на «о, ну вот сейчас мне опять будут про ИНС затирать, ну не работают они как мозг»?)
Просто не совсем понял, что я не так сделал в статье, если мне приходится дополнять ее комментариями)
При составлении модели я вообще не смотрел на ИНС. Я составлял ее из описания нейрона в начале статьи и механизмов LTP/LTD и регуляции нейромедиаторами.
Я честно говоря не совсем понял, почему уже третья ветка комментариев идет про ИНС.
Можете пожалуйста объяснить, что конкретно в статье навело вас на мысль, что моя модель не учитывает регуляцию связей между нейронами? Я просто видимо сделал что-то не так если уже третий человек увидел здесь стандартную ИНС со стабильными весами, без возможности регуляции нейромедиаторами извне, без затухания, без E-LTP и L-LTP, хотя когда я читаю статью — я вижу по абзацу на каждую из этих тем.
Может я как-то неправильно выразился? Или слово «вес» — это такой общий триггер, на «о, ну вот сейчас мне опять будут про ИНС затирать, ну не работают они как мозг»?)
Просто не совсем понял, что я не так сделал в статье, если мне приходится дополнять ее комментариями)
Или слово «вес» — это такой общий триггерВозможно. Можно использовать термины из нейробиологии, чтобы отсечь у читателей шаблонное восприятие.
Я честно говоря не совсем понял, почему уже третья ветка комментариев идет про ИНС.По картинкам у вас просто направленный граф. Такие картинки рисуют и в нейробиологии и в ИНС и в бигдате. Каждый видит то, что знает.
То, что у вас есть не ИНС, а что-то новое, станет понятно не по картинкам, а по описанию — что дальше делать с этими связями между вершинами графа. )
Кстати, у вас на схеме отсутствуют тормозные связи. На одних только возбуждающих связях сеть не работает. От любой активности через пару шагов она впадает в эпилептический припадок (все нейроны станут активны).
Есть такой Florian Fiebig, в своей докторской он описывает и демонстрирует с помощью компьютерной модели как рабочая память может работать на эффектах кратковременных изменений в синапсах (short-term potentiation и short-term depression)
На ютубе есть несколько видео (1, 2, 3)
Может быть будет интересно
На ютубе есть несколько видео (1, 2, 3)
Может быть будет интересно
Не знаю соответствует ли это вашей теории или ее опровергает, но попробую побороться за 50$. Из моих собственных наблюдений и чтения материалов других людей я вижу систему образов как облако хэштегов, помните такое вешали на сайты лет 10 назад? Когда наводишь на какое то слово и оно становится крупным, но вокруг него болтаются слова с ним чаще всего встречающиеся рядом. Может я слишком хорошо думаю о создателях этой игрушки и слова там в рандомном порядке, но в мозге это не так. Грубо говоря на примере вашей буквы А, или чего-то сложнее, например уха. У вас в сознание вызывается образ уха, на готове по связанному облаку хэштегов находятся другие объекты или понятия, которые у вас с этим ухом связаны. Слово из букв «ухо», его перевод на другой язык, эмоция, которую вы когда то испытали на счет этого объекта, какой то звук, запах, все вызывается в «оперативную память» в фоновом режиме и как бы ждет, куда вы захотите сместить свой фокус сознания, если например это была сильная эмоция то даже поверхностная активация этого участка может вспыхнуть так что вытеснит все остальные. Это к тому что эмоции хранятся отдельно, я с этим не согласен. Эмоция это тоже воспоминание и это такая же группа сильно связанных нейронов со своими хештегами, которые вызываются при появлении других связанных образов в сознании. Так же в сознание вызываются фоном и ждут другие похожие на этот объект определения и понятия, например разные виды ушей которые вы видели в жизни, или созвучные слову «ухо» слова, так иногда мы, что-то забывая говорим «крутится на языке». Мы вызвали облако, катаемся мышкой по нему, но слова которое пришло на ум никак не можем распознать, потому что не помним его отдельно, но помним созвучные и грубо-говоря «место» в памяти, где предположительно может находиться объект.
Еще пример, когда я стал часто разговаривать и думать на другом языке. В голове появились полностью новые участки, не сильно связанные со старыми. И если вызывать образы из этого нового участка, они там достаточно тесно все связаны, потому что информации пока не много и она вся как-бы на эту тему всплывает, объедененная языковой конструкцией. Т.е если система не сложная то связность у нее довольно хаотична, по мере усложнения системы мы уже можем начинать выделять какие-то группы. Это мне напомнило граф друзей вконтакте, когда у вас всего 10 они все свящанны друг с другом, когда переваливает за 100, начинают прорисовываться какие-то группы объединенные по признаку времени или локации. Таким же образом наше облако хештегов при недостаточном количестве компонент достаточно хаотично, при усложнении оно уже дробится на отдельные подгруппы хештегов по какому-то признаку.
Еще пример, когда я стал часто разговаривать и думать на другом языке. В голове появились полностью новые участки, не сильно связанные со старыми. И если вызывать образы из этого нового участка, они там достаточно тесно все связаны, потому что информации пока не много и она вся как-бы на эту тему всплывает, объедененная языковой конструкцией. Т.е если система не сложная то связность у нее довольно хаотична, по мере усложнения системы мы уже можем начинать выделять какие-то группы. Это мне напомнило граф друзей вконтакте, когда у вас всего 10 они все свящанны друг с другом, когда переваливает за 100, начинают прорисовываться какие-то группы объединенные по признаку времени или локации. Таким же образом наше облако хештегов при недостаточном количестве компонент достаточно хаотично, при усложнении оно уже дробится на отдельные подгруппы хештегов по какому-то признаку.
Вы немного спешите)
Про то, как «кататься по памяти» (на самом деле вы довольно неплохую аналогию подобрали, там действительно облако связей) — будет в одной из следующих статей. Собственно, моя статья кончается на том, что память — это граф объектов. А вот штука которая позволяет его «обходить» — находится в немного другой части мозга, и сделана для другой цели)
Про то, как «кататься по памяти» (на самом деле вы довольно неплохую аналогию подобрали, там действительно облако связей) — будет в одной из следующих статей. Собственно, моя статья кончается на том, что память — это граф объектов. А вот штука которая позволяет его «обходить» — находится в немного другой части мозга, и сделана для другой цели)
Sign up to leave a comment.
Реверс-инжиниринг мозга. Память