Pull to refresh

Comments 53

смотря на попытки создания ИИ на основе нейронных сетей, у меня возникают два вопроса:
1) копирование птицы для создания самолета. иногда более простая система более эффективна, а вдруг не надо заморачиваться на полное копирование, а только на базовые принципы.
2) не факт, что полное копирование «в кремнии» даст тот-же результат. что если это будет точная копия радиоприемника, но в нем, почему-то, не будет главного-музыки и голоса диктора.

С ИИ вопрос интересный. У биологических мозгов есть много архитектурных особенностей, которые приходится подпирать костылями.
Они не адаптированы для быстрых и точных расчетов. Не замечают, когда оперируют понятиями, которые на самом деле являются ссылкой в /dev/null (воркалось, хливкие шорьки… и все такое). Позволяют создавать циклические зависимости без «stackoverflow exception» (Летающий макаранный монстр не ошибается, ибо так написано в книге о летающем макаронном монстре, а книга правильна, потому что летающий макаронный монстр не ошибается). Вот список эксплойтов, особенностей и багов. Внушительный и при этом не полный.

Если создавать ИИ, то переносить туда все это — не стоит, действительно можно создать что-то эффективнее.

Но мне кажется, что помимо попыток создания ИИ есть и другие задачи: Мы все еще не знаем, как правильно работать с уже имеющимися мозгами. Как их правильно обучать? Как чинить, если полетела регуляция нейромедиаторов? Как патчить от списка эксплойтов выше?
И вот здесь может понадобиться более точная с точки зрения биологии модель.

что если это будет точная копия радиоприемника, но в нем, почему-то, не будет главного-музыки и голоса диктора.
Если у вас есть работающий радиоприемник, а вы сделали точную копию, то велика вероятность что он тоже заработает, даже если исходный приемник тёплый и ламповый, а у вас например полностью кремниевый «аналог». Даже если вы не в курсе про радиоэфир, он просто начнет приниматься вашим новым прибором.
смотря на попытки создания ИИ на основе нейронных сетей, у меня возникают два вопроса:
1) копирование птицы для создания самолета. иногда более простая система более эффективна, а вдруг не надо заморачиваться на полное копирование, а только на базовые принципы.


Оох. Опять это.
У искусственных нейронных сетей с биологическими сходства не больше, чем у лунохода с танком. И то и другое может самостоятельно перемещаться, и даже имеет круглые колёсики для этого, но на этом сходства заканчиваются.
Иногда что-то интересное из биологии удаётся адаптировать к ИНС, но едва ли не чаще получается наоброт, что работающие идеи в ИНС, придуманные исключительно для них без всякой оглядки на биологию, вдруг удаётся разглядеть в некоторых биологических системах. Но повторюсь, и то и другое — в лучшем случае «иногда». И уж точно никто в ИНС не копирует биологические системы. Никак. Совсем. В ИНС давно прошли уже не то, что стадии самолёта, к космолётам вплотную приблизились.
копирование птицы для создания самолета

На птицу действуют те же законы аэродинамики, что и на самолет. Для создания самолета надо либо понять законы аэродинамики, либо понять как летает птица и на основе этого понять законы аэродинамики.


В области ИИ этого не наблюдается. Я бы даже сказал, многим кажется, что уже построили самолет, но он почему-то все никак не полетит.

Какова информационная емкость одного нейрона? Т.е. сколько состояний он помнит?

Нейрон бинарный, либо выкл либо вкл. Но у него входов много и включается он если сигналов на входах много, количество выше некоторого уровня

Все немного сложнее.
Нейрон — это как целая микросхема, с прошивкой. Не тьюринг-полная, но довольно неплохая. А два — уже можно скомбинировать в нормальный исполнитель, если сделать рекурсивные связи. И если я правильно понимаю концепцию тьюринг-полноты — могу ошибаться.

Из того что я знаю, из двух нейронов получится штука, на которую можно записать операции для полубесконечной ленты, так что они будут условно эмулировать сдвиг вправо/влево и чтение с одного конца ленты и запись на другой. Чего хватает для машины тьюринга.

На одном нейроне, кажется, нельзя сделать сдвиг влево, так что эмуляции рекурсивных функций не получится.
Мне кажется, что для реализации машины Тьюринга в НС все-таки, прежде всего остального, необходимо понимать, как в такой сети может быть реализована адресуемая память («лента»). Так в отн. недавней работе [Alex Graves, Greg Wayne, Ivo Danihelka, Neural Turing Machines (Submitted on 20 Oct 2014 (v1), last revised 10 Dec 2014 (version, v2))] по реализации машины Тьюринга в ИНС использовано «натаскивание» ИНС на адреса ячеек внешней памяти.
У биологического нейрона на вход и на выход идут нейромедиаторы. +- их можно считать алфавитом. (В нормальном мозге есть еще отдельные белки синтезирующиеся на лету, так что не все так просто))

Так что ячейка ленты — это по сути, комбинация нейромедиаторов принятая нейроном за условный такт, и выданные им из синапсов нейромедиаторы в ответ.
И внутри эта штука умеет суммировать разные типы нейромедиаторов, переводить себя в кучу состояний. А на каждую его связь влияет нейрон, к которому эта связь идет.

Машины тьюринга на ИНС — это немного не тот уровень. Если всего два биологических нейрона могут регулировать друг друга и таким образом эмулировать рекурсию через обратный вызов, то для построения миниатюрного тьюринг-полного вычислителя — нужно совсем немного биологических нейронов. Я попробую посчитать сколько, но это займет время. Пока у меня есть что рассказать про более высокие уровни мозга, так что я займусь этим где-нибудь через месяц.

В мозгу — 80 миллиардов нейронов. Если на эмуляцию машины тьюринга на биологических нейронах потребуется 1000 штук (я уверен, что это число на порядок больше реального) — это 80 миллионов, объединенных в одну сеть машинок. И они не просто «что-то делают» по отдельности. Есть отдельный кластер для синхронизации вычислений — префронтальная кора.

Примерно поэтому ИНС «моделируют мозг», примерно на том же уровне, на каком набор «лего-космодром» моделирует запуск Falcon Heavy)
Я попробую посчитать сколько, но это займет время. Пока у меня есть что рассказать про более высокие уровни мозга, так что я займусь этим где-нибудь через месяц.

Подождем…
Вы еще в предыдущей статье обещали про реализацию ссылок… Тоже жду…
Про Тьюринга не скажу, но это и не столь важно, кмк.
Верно то, что биологический нейрон — штука исключительно сложная и до сих пор малопонятная. В самом простом случае биологический нейрон может апроксимироваться по меньшей мере двуслойной искусственной нейросетью. Точнее сказать, теоретически это точно верно, поскольку строго доказано, что двуслойная ИНС (достаточной емкости) может апроксимировать любую гладкую функцию (правда тут мы делаем неявное допущение, что бионейрон это такая функция). Однако с т.з. практики и наших умений получать от ИНС что-то полезное, скорее всего (в текущих технологиях) для апроксимации биологического нейрона потребуется больше двух слоёв.

Поэтому возвращаясь к исходному вопросу про информационную емкость одного (био) нейрона я думаю, что правильный ответ будет — никто ещё этого не знает даже весьма приблизительно.
Про Тьюринга не скажу, но это и не столь важно, кмк.

По-моему мнению, ключевым элементом, необходимым для описания (понимания большой проблемы мышления и сознания) или реализации (воспроизведения, эмуляции) в ИНС основных функций ВНД, является возможность воспроизведения какой-либо модели вычисления (машины Тьюринга, НАМ и т.п.). И тут вам не помогут ссылки на возможность аппроксимации любой функции многослойной ИНС.
теоретически это точно верно, поскольку строго доказано, что двуслойная ИНС (достаточной емкости) может аппроксимировать любую гладкую функцию (правда тут мы делаем неявное допущение, что бионейрон это такая функция).

Да, если ИНС натаскивать на определенную задачу. Я думаю этого, для озвученных выше задач, будет недостаточно.

Поэтому возвращаясь к исходному вопросу про информационную емкость одного (био) нейрона я думаю, что правильный ответ будет — никто ещё этого не знает даже весьма приблизительно.

Согласен, я к этому вел в своем комментарии ниже.

биологический нейрон может апроксимироваться по меньшей мере двуслойной искусственной нейросетью

Простой нейрон апроксимируется двухслойной DNN, а пирамидальный типа L5PC — семислойной.

Single Cortical Neurons as Deep Artificial Neural Networks
Поскольку ссылку вы дали здесь — отвечу здесь
Простой нейрон апроксимируется двухслойной DNN, а пирамидальный типа L5PC — семислойной.

При этом забывается несколько очевидных фактов, отличающих целостный нейрон от ИНС:
1. Нейрон имеет один выход — аксон. Да он ветвиться, но если спайк начал распространяться (нейрон возбудился) он рано или поздно (разномоментно, асинхронно) достигнет коллатералей, а далее терминалей и соотв. синапсов на других нейронах или на одном, но в разных местах дендритного дерева (вариантов много) постсинаптического нейрона. Но согласно действующей доктрине это один тот же сигнал пресинаптического нейрона.
Да каждый синапс будет иметь свой спектр нейромедиаторов и нейромодуляторов.
2. Как правило (в большинстве исследованных случаев) выделение медиаторов происходит квантованно. Т.е. возможная реакция зависит целиком от структуры синаптического кластера и морфологии мембраны вблизи синапсов. Я как раз не могу представить, к моему сожалению, как единичный синапс мог бы стать высокоселективным детектором временных последовательностей.
Еще раз спасибо за ссылку:
Analysis of the DNN filters provides new insights into dendritic processing shaping the I/O properties of neurons

Это то о чем я говорил в ответе вам ниже. С моей точки зрения, правильной должна быть следующая формулировка:
Дендритное дерево простого нейрона аппроксимируется двухслойной DNN, а для дендритное дерево пирамидального нейрона типа L5PC — семислойной.
1. Если кто-то захочет заменить нейрон на ИНС, то у него не будет проблем имитировать и разную задержку достижения ПД терминалей. Если это имеет смысл, конечно, так как в живом нейроне эти задержки — особенность/издержки архитектуры.

2. Я смоделировал этот процесс, опираясь на графики из этой работы. Чтобы получить такую закономерность (вероятность появления ПД от развёрнутых во времени срабатываний синапса) достаточно просто складывать его активности и делать затухание по экспоненте. И так как тут оказалась задействована экспонента, то скорее всего «эффект памяти» синапса реализован на растекании заряда по окружающей синапс мембране.

Да каждый синапс будет иметь свой спектр нейромедиаторов и нейромодуляторов.
Моё личное мнение, что уникальный «коктейль», который добавляется к основному нейромедиатору — это защита от спилловера. Иначе бы активность синапсов вмешивалась в работу соседних. Неосновные медиаторы через метаботропные рецепторы разрешают проход основного медатора, по типу системы ключ-замок, которая в разных вариантах широко задействована в клетке.
Зависит от нейрона, но прикинуть можно так:

Связи — Я видел оценку, что на один синапс приходится порядка 4,5 бит в среднем. Их могут быть тысячи на нейрон.

Нейрон с одним типом нейромедиатора — условно можно взять информацию о текущем заряде и пороге. Если взять сложный нейрон, с несколькими нейромедиаторами для регулирования — опять складываем. Я думаю, можно где-то в 16 бит уложиться.

Из этого — 1 нейрон в среднем — минимум несколько килобит, в основном за счет связей.

Потом надо еще вспомнить про Late-LTP — это тоже состояний к связи добавит. Каждое возможное состояние может быть записано в долговременную память. Учитывая это мы явно дошли до килобайтов.

И, скорее всего — это не все особенности влияющие на его емкость, еще что-нибудь я обязательно забыл.

До мегабайта врятли дойдем, но к десятку кб — приблизимся.

Какова информационная емкость одного нейрона? Т.е. сколько состояний он помнит?
Нейрон некоторого реального существа может иметь 400 дендритов. Каждый дендрит можно разделить на 2-5 участков. Каждый участок может иметь разную чувствительность к разным нейромедиаторам, которых около 30. Каждый участок уже может нести на себе неромедиаторы от других нейронов в разной концентрации. Если другие нейроны не высвобождают нейромедиаторы на выбранный участок, то их концентрация падает со временем. Итого: 400 дендритов Х 5 участков (в мозге человека может быть и 200 участков, берем 20 участков) Х 30 типов рецепторов медиаторов Х 100 градаций чувствительности к каждому медиатору Х 30 собственно медиаторов Х 100 градаций текущей концентрации самих медиаторов = прибл 10^11 состояний на дендритах = прибл 37 бит. Без учета собственного внутреннего состояния нейрона (активизации собственных разных программ по программе в ДНК и дифференциации во время развития организма), без учета текущей электрохимической динамики нейрона и без учета каких либо соединений с другими нейронами.
С информационной емкостью нейрона возникает парадокс. Вопрос по емкости — не вопрос о том сколько имеется потенциально возможных комбинаций, которые могут быть активированы и блокированы синаптических контактов на дендритном дереве или соме нейрона, а сколько возможных комбинаций сигналов такой нейрон может выдать в ответ на предъявленные входы. Если считать, что нейрон есть пороговый элемент, то на выходе он может либо ничего не выдать либо выдать единичный спайк. Т.о. можно считать, что нейрон может разделять все множество входных комбинаций только на два класса — «возбуждающие» и «не возбуждающие» каким бы большим не было количество синапсов и возможных уровней их состояний. Что дает оценку информационной емкости — ровно в 1 бит. Можно было ожидать чего-то большего, ведь давно известно, что дендритные веточки (см. например достаточно старые работы Позина с сотрудниками: Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и Позин Н.В. Моделирование нейронных структур) могут вести обработку информации как дискретные логические элементы, так же как и выполнять квазианалоговую обработку. В силу этого можно было бы вести речь о наличии в ответах нейрона последовательного кодирования. Но тогда встает вопрос о принципах такого кодирования (унифицированного по крайней мере для некоторой нейронной подсети). Если такое кодирование есть, то ваши оценки информационной емкости имеют смысл (полностью отрицать такую возможность нельзя — вопрос в том, как это работает: важно не только сгенерировать кодовую посылку, но и декодировать. Я не понимаю, как в рамках существующей модели синаптической связи можно построить достаточно простой декодер на дендритной ветви нейрона). Иначе нам придется смириться с тем, что реально памятью обладает не нейрон, а некоторые нейронные кластеры (подсети), а кодирование выполняется номером канала.
Т.о. можно считать, что нейрон может разделять все множество входных комбинаций только на два класса — «возбуждающие» и «не возбуждающие» каким бы большим не было количество синапсов и возможных уровней их состояний.

В работе, на которую выше я дал ссылку, видно, что на ПД и мембранный потенциал влияет не только текущее состояние, но и всё произошедшее за предыдущие 60-80 мс. А на дендритных ветках сила возбуждения зависит не только от количества сработавших синапсов, но и от их временной последовательности. Нейрон распознаёт временной паттерн.
Прошу прощения вставил не там:
В работе, на которую выше я дал ссылку, видно, что на ПД и мембранный потенциал влияет не только текущее состояние, но и всё произошедшее за предыдущие 60-80 мс

Это и есть временная суммация, обеспеченная «известными» механизмами.
Спасибо за ссылку.
А на дендритных ветках сила возбуждения зависит не только от количества сработавших синапсов, но и от их временной последовательности

Да. Я приводил ссылки на монографии:
1. Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и
2. Позин Н.В. Моделирование нейронных структур.
Этим работам уже под 50.
Известно, что для этого требуются структуры, аналогичные наблюдаемым в кохлеарных ядрах, мозжечке и гипокампе.

Нейрон распознаёт временной паттерн

Не вопрос. Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?
Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?

Не знаю на тот ли вопрос я отвечаю. ) Но я считаю, что ни синапсы ни нейроны ничего не вычисляют и не распознают в том виде как обычно полагают.

Уникальный паттерн (временной или пространственный) создаёт синхронную активацию уникальной группы нейронов — кластер/нейрокод. Сообщение, закодированное азбукой Морзе, активирует последовательность кластеров. Они совершенно случайны, но постоянны. Можно на них смотреть как на идентификатор сообщения. Здесь в комментариях более подробно описал работающую модель.
Но я считаю, что ни синапсы ни нейроны ничего не вычисляют и не распознают в том виде как обычно полагают.


Иногда мне кажется, что основной затык объяснений в том, что люди ожидают увидеть привычную им абстракцию. И не совсем понимают, что для успешного моделирования любой системы нужно лишь создать достаточно точное ее отображение. При этом алфавит отображения может быть любым: нули-единицы, камушки и ведра, нейромедиаторы, нейроны и кластеры из них.
Грубо говоря, любая система инвариативна относительно преобразования ее базовых объектов и определяется только отношениями между ними.
А мы почему-то ожидаем увидеть систему похожую на те, что видели раньше)
Иногда мне кажется, что основной затык объяснений в том, что люди ожидают увидеть привычную им абстракцию.

Не просто «кажется» — так оно и есть. Это фундаментальный принцип лежащий в основе опознания, коммуникации и познания — в новом выделяются известные признаки (или раскладывается на известные составляющие) после чего осуществляется интерпретация в известной «системе координат» (когнитивном базисе).
Другого увы не дано…

Грубо говоря, любая система инвариативна относительно преобразования ее базовых объектов и определяется только отношениями между ними.

Инвариантом выступают система отношений.
Не просто «кажется» — так оно и есть.

Да, я знаю)

Просто у меня есть привычка не говорить прямо вещи формата «я знаю как это работает», особенно если дело касается людей. Особенно публично. Ибо я знаю еще один интересный факт — если я скажу что-то такое — это может вызвать отторжение, и не приведет к пониманию.

Поэтому если я пытаюсь объяснить свою мысль, я предпочитаю говорить что это — часть моей модели. Давать человеку выбор — принимать мысль или нет.
И если я хорошо объяснил — мысль обычно принимают и без постулирования ее истинности. Более того, лучшее объяснение — это когда человек сам приходит к мысли, которую ты хотел объяснить. А ты только помогаешь, подкидывая нужные предпосылки для ее возникновения.

Но, разумеется, это все — лишь мое скромное личное мнение по данному вопросу)
Вы работе в рамках модели Редозубова?
Сообщение, закодированное азбукой Морзе, активирует последовательность кластеров.

Согласен с тем что для этого нужна небольшая, но все таки нейронная группа или кластер нейронов. Собственно об этом я писал. С небольшими оговорками:
я не понимаю, как в рамках существующей модели синаптической связи можно построить достаточно простой декодер (дешифратор) кодовой последовательности (последовательное или временной кодирование) на синаптическом кластере (локальной группе синапсов). Но это отнюдь не означает отсутствие обработки единичным нейроном на его дендритном дереве.
Вы работе в рамках модели Редозубова?

Нет, причём я считаю, что она нерабочая, так как требует невозможных вещей.
Я скорее работаю в рамках модели Анохина. Правда про его модель узнал после получения собственных результатов. Причём совершенно случайно, увидел у него в лекции «свои» рисунки его когов.

я не понимаю, как в рамках существующей модели синаптической связи можно построить достаточно простой декодер (дешифратор) кодовой последовательности (последовательное или временной кодирование) на синаптическом кластере (локальной группе синапсов).

Синаптический кластер служит, кмк (и не только мне), для связи с нейронным кластером. У Нументы описано как легко запомнить временной паттерн.
Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex
Спасибо за ссылку. Почитаю
Я скорее работаю в рамках модели Анохина. Правда, про его модель узнал после получения собственных результатов. Причём совершенно случайно, увидел у него в лекции «свои» рисунки его когов.

1. Как мне кажется модели Редозубова и Анохина относятся к разным уровням обработки информации в ЦНС и соответственно разным уровням описания. С моей точки зрения, они вполне могут быть совместимы.
2. Модель Анохина скорее — модель представления (репрезентации) информации (не только знаний). Она явно заимствует идеи из когнитологии — его гиперсети, КОГи, ЛОКи, КВАЛОНы и ХОЛОНы полные аналоги семантических сетей, фреймов, когнитивных схем, их элементов и т.д. Кстати, у меня вызывает удивление отсутствие у него отсылок на это недавно так популярное направление. ФС и элементы репрезентации информации безусловно связаны, но в изложении Анохина нет явного описания этой связи.
3.
Нет, причём я считаю, что она нерабочая, так как требует невозможных вещей.

Можно пояснить в чем модель Редозубова у вас вызывает сомнения?
С уважением.
Кстати, у меня вызывает удивление отсутствие у него отсылок на это недавно так популярное направление.
Он сам недавно сказал, что даже слово граф для нейробиологов в основной их массе просто не знакомо.

Можно пояснить в чем модель Редозубова у вас вызывает сомнения?

В его модели колонки образуют полносвязный граф. Это минимум биологически недостоверно. Требуемое количество связей (для количества колонок коры) сравнимо с общим количеством атомов, из которых состоит мозг. Даже если отказаться от биологической достоверности (главное, чтобы работало), то даже будь работающий алгоритм, то технически его не запустить в сколько-нибудь практичном объёме. Сложность n^2. А в случае распознавания в разных масштабах и т.п. там будет не квадрат, а сумма ряда под каждый масштаб.
У Нументы описано как легко запомнить временной паттерн.
Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex

У них прямо говориться о синапсах на различных частях дендритных деревьев (апикальных, проксимальных и базальных) отдельного нейрона и группах нейронов (мини-колонках).
Jeff Hawkins и Subutai Ahmad это показывают на своей модели.
О чем постоянно говорилось… Я приводил ссылки в своем комментарии
Несколько не в тему.
Некоторое замечание на ваш комментарий от 2 февраля 2020 г.:

Сетчатка поставляет в ЛКТ и первичную зрительную кору не только наборы признаков, но «сырое» изображение из фовеальной области. На это указывают еще результаты экспериментов Хьюбела-Визеля с зрительной депривацией обезьян. Это аналог микрофонного эффекта. Все это намного сложнее поскольку зрительное восприятие активно. Зрительное восприятие гораздо сложнее чем принято думать при его моделировании в ИНС.
Все это намного сложнее поскольку зрительное восприятие активно.

Возможно опять же я знаю по какому принципу это может работать. )
Много работ говорит о том, что мозг быстро узнаёт тот стимул, к которому готов. Он делает предсказание и ищет это в сенсорных данных.
Ровно так же поступаю я
Вот сейчас я использую группы нейронов в 200шт, исследуя узнавание слов в инвариантном положении в строке. Мне не требуется просчёт всех 200 нейронов (как в ИНС), достаточно только проверить кластер из 4-6 клеток (сердцевинные), чтобы на 95% быть уверенным, что искомое слово есть. Если активизировались два или более кластера, например, в строке слово МАША, и ложно сработал ещё и кластер КАША, то достаточно сделать проверку ещё нескольких «периферийных» нейронов. Кластер МАША выиграет соревнование у КАШи. Т.е. работает как и у животных, на мгновение может показаться/почудиться ложный образ, но как только подтянется больше нейронов, — картина проясняется.
Уникальный паттерн (временной или пространственный) создаёт синхронную активацию уникальной группы нейронов — кластер/нейрокод

Как временной паттерн создаёт синхронную активацию уникальной группы нейронов? Меня, прежде всего в этом вопросе, интересует биологическая НС. Не модель. Как это может реализовываться в в нервной системе животного?
В работе, на которую выше я дал ссылку, видно, что на ПД и мембранный потенциал влияет не только текущее состояние, но и всё произошедшее за предыдущие 60-80 мс

Это и есть временная суммация, обеспеченная «известными» механизмами.
Спасибо за ссылку.
А на дендритных ветках сила возбуждения зависит не только от количества сработавших синапсов, но и от их временной последовательности

Да. Я приводил ссылки на монографии:
1. Позин Н.В., Любимский И.А., Левашов О.В., Шараев Г.А., Шмелев Л.А., Яхно В.П. Элементы теории биологических анализаторов и
2. Позин Н.В. Моделирование нейронных структур.
Этим работам уже под 50.
Известно, что для этого требуются структуры, аналогичные наблюдаемым в кохлеарных ядрах, мозжечке и гипокампе.
Нейрон распознаёт временной паттерн

Не вопрос. Я о другом: а если понимать временной паттерн как последовательную кодовую последовательность (т.е. что-то в роде азбуки Морзе)?

У меня возник вопрос, который я не уверен, что вполне по теме, но я рискну :) Я прошелся по Хабру в поисках материалов об импулсных моделях нейронов, наткнулся в том числе на вашу статью, а также на вот эти две:
habr.com/ru/post/151628
habr.com/ru/post/201220
Меня смутила одна вещь, которую я до сих пор не могу объяснить. В обеих статьях есть графики «вход/выход». Но в первой статье говорится, что амплитуда входа влияет на частоту на выходе: т.е., чем сильнее подан импульс на вход, тем более высокочастотный отклик даст нейрон на некотором промежутке времени (см. график). Во второй же статье об этом не говорится ни слова: не важно, насколько сильным был вход, на выходе будет просто один спайк. Кто из двух авторов прав? Ведь это очень существенное отличие в моделях, посколько в первом случае получается, что вход не бинарный, а выход не мгновенный. Во втором случае получается, что вход бинарный, а выход мгновенный.
Вопрос вполне по теме)

Если рассматривать химический нейрон — то более «сильный сигнал» (а точнее — большое количество нейромедиаторов), должен дать большую частоту активаций синапса.

Грубо говоря, нейромедиатор вставляется в рецептор и открывает нейрон для зарядки. Больше нейромедиаторов -> больше входной поток положительных ионов -> быстрее выстрелит нейрон.
Со временем нейромедиатор покидает рецептор, и нейрон прекращает заряжаться и начинает течь как конденсатор. Но, когда в синаптических щелях много нейромедиаторов у вас есть «запас», для того, чтобы заполнять освободившиеся рецепторы. И нейрон продолжает заряжаться и стрелять.

Так что в модели сильный сигнал должен соответствовать большей частоте.

Ну и да, учитывая что нейромедиаторы — частицы, то скорость заряда и, следовательно частота скорее всего затухают по экспоненте. Чем их больше в синаптической щели, тем быстрее они будут оттуда уходить. Хотя, возможно что обратный захват — как-то лимитирован, но этого я уже не знаю)

Получилось ответить?
Получилось, спасибо, но сразу возникло несколько follow-up вопросов :)

1. Я правильно понимаю, что частотность выходного сигнала обуславливается рефракторным периодом? То есть, если бы рефракции не было, то по сути и спайка бы не было как такового — был бы некий продолжительный выход (пока нейрон медленно не разрядится)?

2. Если предыдущий пункт я понял правильно, то почему на графике из первой статьи меняется частота выходных импульсов? Ведь если я правильно понял, то эта частота должна быть обратнопропорциональна рефракторному периоду (то есть быть константной для нейрона)?

3. Если выход все же зависит от амплитуды входа, то получается, что эта зависимость проявляется только на нейронах «первого слоя», то есть тех, которые непосредственно связаны с рецепторами? Ведь если нейроны получают входы от других нейронов, то там входная амплитуда получается фиксированной?
Я правильно понимаю, что частотность выходного сигнала обуславливается рефракторным периодом? То есть, если бы рефракции не было, то по сути и спайка бы не было как такового — был бы некий продолжительный выход (пока нейрон медленно не разрядится)?

Да, там есть рефрактерный период, но нет, это не причина отсутствия продолжительного сигнала. Вернее, это одна из причин, вторая — нейрон разряжается почти мгновенно, а заряжается — дольше. Даже есть убрать рефрактерный период после разряда нейрона — нам бы пришлось заряжать его до порога активации и мы все равно получили бы частотный сигнал.
Собственно, это ответ и на ваш второй вопрос, — амплитуда меняется, потому что рефрактерный период определяет только минимальную задержку между пиками. А так, она варьируется от силы сигнала.

Если выход все же зависит от амплитуды входа, то получается, что эта зависимость проявляется только на нейронах «первого слоя», то есть тех, которые непосредственно связаны с рецепторами? Ведь если нейроны получают входы от других нейронов, то там амплитуда получается фиксированной?

Сила сигнала — это сила связи. Грубо говоря, то сколько нейромедиаторов она готова выкинуть, когда нейрон выстрелит. Она меняется динамически, как — описывает пункт 6 из этой статьи)
Поэтому амплитуды нужно учитывать для всех нейронов, а точнее у всех связей. Ну, если нужна такая точность, конечно.

Последнюю часть понял — логично, как-то пропустил, что это в пункте 6 как раз объясняется. Но зависимость частоты от силы входного сигнала все равно не могу мысленно отследить. Если, допустим, на вход пришло условно «100», а порог срабатывания, положим, «20». Нейрон срабатывает — получаем первый спайк с амплитудой, скажем, 25 (она ведь больше порога срабатывания?). Нейрон уходит в «отключку», но заряд остается равным 75 (может, чуть меньше из-за пассивной разрядки). Моментально выдать второй спайк нейрон не может из-за рефракции. Но когда рефракторный период проходит, он выдает следующие 25, т.к. срабатывает от внутреннего заряда. И так, получается, 4 раза подряд (если забить на пассивную разрядку). Откуда здесь берется разная частота исходящих спайков? Что вы имеете в виду, когда говорите что нейрон заряжается «долго» — ведь в данном случае он уже был заряжен на 100, изначальным входящим импульсом? Ему теперь нужно просто отдать этот заряд за несколько исходящих спайков, разве нет? Мне кажется, я упускаю здесь что-то концептуальное…
Смотрите. Один нейрон выдает 100 нейромедиаторов. Предположим, что каждый нейромедиатор — заряжает наш нейрон на +1.
Начальный расклад такой: заряд нейрона получателя — 0, порог срабатывания — 20.
Когда нейрон из которого мы отправляем сигнал активировался — нейромедиаторы (далее нм) не сразу попадают в нейрон получатель. Они идут в синаптическую щель.
Расклад:
Щель — 100нм, Заряд нейрона — 0.

Потом они дошли до нейрона получателя, он начал заряжаться:
Щель — 90нм, Заряд нейрона — 10

Теперь мы дошли до порога активации. Заряд нейрона сбросился:
Щель — 80нм, Заряд нейрона — 0.

И процесс начинается сначала, мы заряжаем нейрон, вставляя нейромедиаторы в освободившиеся рецепторы:
Щель — 70нм, Заряд нейрона — 10.

Это очень грубое описание, главное понимать, что нейромедиаторы выброшенные в синаптическую щель не мнгновенно заряжают нейрон, а подпитывают его, когда он разряжается. Можно представить, что у нас 2 конденсатора подряд идут. Первый — щель — он большой и может удержать весь заряд. Второй — нейрон — он маленький, и мгновенно разряжается, когда напряжение достигает определенного значения. Когда второй конденсатор разряжается — он начинает подпитываться из первого. Так мы и получаем пульсацию.
Хорошо, допустим. Но частота-то из-за чего меняется? В вашем примере заряд из щели пошагово переходит в нейрон и потом нейрон его отдает. Количество выходных спайков равно количеству переходов. Но почему эти переходы происходят чаще или реже? Если что, то вот график, который мне не дает покоя:

Рис. 4. Схематичное изображение условий генерации пассивных и активных сигналов.
image


В вашем примере выше я не понимаю, почему нейрон будет пульсировать чаще, если на него подать 200, чем если на него подать 100? Пока что получается, что спайков просто будет в два раза больше (приблизительно). Но ведь они будут отдаваться и за большее время, то есть я все равно не вижу, что заставляет нейрон отдавать их чаще при большем входном заряде.

Или чем больший заряд в щели, тем быстрее он попадает в сам нейрон?

P.S. Я не силен в физике, поэтому не знаю, как будут вести себя реальные конденсаторы в этой схеме. Я просто программист, который заинтересовался вопросом :)
Или чем больший заряд в щели, тем быстрее он попадает в сам нейрон?

Заряд есть только у мембраны. Прочитайте на вике как устроен синапс.

Но частота-то из-за чего меняется?

Нет у нейрона переменной частоты, она не меняется. Период между спайками в пачке постоянен. Меняется размер пачки (и то не всегда). Биологи же вообще оперируют средней активностью нейрона, называя это «fire rate», что часто у нас неверно переводят как частота.

Тогда получается, что график выше — неверный? Потому что там частота меняется (более сильный вход приводит к генерации большего количества спайков за ту же единицу времени)?

В пределах одной пачки — период постоянный (ну, скажем так, с хорошей точностью постоянный)
В разных пачках — нет.
более сильный вход приводит к генерации большего количества спайков

Силы тоже нет. Пресинаптический нейрон выпускает равные порции медиатора. Считайте, что вход нейрона — бинарный вектор, каждый бит которого умножается на соответствующую эффективность синапса. В общем виде — чем больше сработало синапсов, тем более вероятнее, что произойдёт спайк.
Тогда выходит, что график из второй статьи неверен?

Рис. 3 — Генерация нервного импульса.
image


Тут величина входящего сигнала вообще не приводит к созданию пачек на выходе: один вход — один выход.
Тогда выходит, что график из второй статьи неверен?

Верен. На входной импульс тока модель демонстрирует переходный процесс, похожий на спайк.

Тут величина входящего сигнала вообще не приводит к созданию пачек на выходе: один вход — один выход.

В той статье сказано:
В данной модели наблюдаются такие характерные для нейронов свойства как: генерация спайка в ответ на одиночный импульса внешнего тока и генерация последовательности спайков с определённой частотой при подаче на нейрон постоянного внешнего тока.

Для постоянной генерации спайков требуется подавать постоянный ток.
На сколько я понимаю вопрос RoykerZen про рефрактерный период относился к аксону?

Я решил взять перерыв, чтобы побольше почитать про это все. Но снова в процессе гугления очередного вопроса вышел на эту же статью (видимо, тут собраны все ключевые слова, которые меня интересуют). Сейчас актуальный вопрос такой: у синаптической щели есть максимальный «объем» (подозреваю, что да)? Что будет происходить, если с пресинаптического нейрона поступают импульсы с очень большой частотой (допустим, с максимально возможной), а максимальная вместительность синаптической щели уже достигнута? Куда будут деваться «входящие» нейромедиаторы?

Гуглите «спилловер». «Лишний» медиатор выльется из щели в межклеточное пространство. Часть оттуда будет захвачена пресинаптическим синапсом и повторно вернётся в работу. Остальное будет удалено во время ночной чистки.
{sarcasm} В тред призывается мозговед Савельев с его срывом покровов над несчастными ИИ-шниками и «китайцами с паяльниками в черепушке» {/sarcasm}
Савельев обещал сам запрограммировать «скотину». Не знаете, есть ли успехи?
Sign up to leave a comment.

Articles