Комментарии 4
Моё объяснение возможного варианта этого механизма.
Текущий сенсорный и отложенный в памяти коды (sensory and memory representations) разделяют общее пространство. Задача записать два кода в одно пространство, так чтобы можно было их различить. Если мы запишем в одно бинарное слово коды 10100000 и 10100000, то не сможем их отличить — 10100000 OR 10100000 = 10100000.
«Поворот» (оно же хеширование) отображает один код в другой таким образом, что значащие биты кода оказываются в других позициях («ортогональный» код). 10100000 отображается в 01000010. Теперь можно их сложить без потери способности их различать: 10100000 OR 01000010 = 11100010.
Интерференция (коллизия кодов) возникает в результате того, что операция «поворота» отображает в код, в каких-то битах пересекающийся с исходным. Например, 10100000 в 001000010. И сложение даст интерференцию 10100000 OR 00100010 = 11100010 (интерференция в 6-м бите, 00100000). Интерференция «съедает» часть кода. В первом примере memory representation было 2 бита, а с интерференцией упало до 1 бита. Это ухудшает последующее распознавание этого кода.
В итоге, в нейронном слое одновременно хранится текущий сенсорный код и хешированный код с предыдущего «тика»: S(t) | hash(S(t-1)). Фактически, кодируется уникальным кодом пара следующих друг за другом стимулов. Подобным способом можно закодировать последовательность стимулов произвольной длины.
Текущий сенсорный и отложенный в памяти коды (sensory and memory representations) разделяют общее пространство. Задача записать два кода в одно пространство, так чтобы можно было их различить. Если мы запишем в одно бинарное слово коды 10100000 и 10100000, то не сможем их отличить — 10100000 OR 10100000 = 10100000.
«Поворот» (оно же хеширование) отображает один код в другой таким образом, что значащие биты кода оказываются в других позициях («ортогональный» код). 10100000 отображается в 01000010. Теперь можно их сложить без потери способности их различать: 10100000 OR 01000010 = 11100010.
Интерференция (коллизия кодов) возникает в результате того, что операция «поворота» отображает в код, в каких-то битах пересекающийся с исходным. Например, 10100000 в 001000010. И сложение даст интерференцию 10100000 OR 00100010 = 11100010 (интерференция в 6-м бите, 00100000). Интерференция «съедает» часть кода. В первом примере memory representation было 2 бита, а с интерференцией упало до 1 бита. Это ухудшает последующее распознавание этого кода.
В итоге, в нейронном слое одновременно хранится текущий сенсорный код и хешированный код с предыдущего «тика»: S(t) | hash(S(t-1)). Фактически, кодируется уникальным кодом пара следующих друг за другом стимулов. Подобным способом можно закодировать последовательность стимулов произвольной длины.
А как расшифровывать такой код?
Можно, например, вычислить корреляцию между сенсорным кодом или его хешем с этим получившимся композитным кодом.
Можно просто использовать композитный код как уникальный код для последовательности пары стимулов. Код AB будет отличаться от кода BA.
Если рекурсивно хешировать код не предыдущего стимула, а предыдущий композитный код, то можно кодировать в уникальные коды произвольные последовательности стимулов.
Можно просто использовать композитный код как уникальный код для последовательности пары стимулов. Код AB будет отличаться от кода BA.
Если рекурсивно хешировать код не предыдущего стимула, а предыдущий композитный код, то можно кодировать в уникальные коды произвольные последовательности стимулов.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Мозг «поворачивает» воспоминания, чтобы обезопасить память от новых ощущений