Комментарии 8
Не интересовался ранее «древними» моделями и, как теперь оказывается, переизобрёл их нейрон полтора года назад. Мне в голову не приходило, что это было такой фундаментальной вещью в прошлом, тем более, что эта примитивная модель у меня — только начало. И обучение в неё встраивается как у живого нейрона. Эх, если бы у них были современные компы, да погоняли бы они 70 лет назад сеть из таких нейронов, а не один единственный с десятком входов. На таком мелком масштабе ничего интересного там не разглядишь. Не туда они пошли в своих исследованиях из-за невозможности пощупать сеть.
Вообще первые идеи о том, как учить искусственные нейронные сети, появились в конце 1940-х годов в работах последователей Мак-Каллока и Питтса (Альфонсо Шимбел, Анатоль Рапопорт), а первые эксперименты с сетями искусственных нейронов, в которых было обучение, начались уже в начале 1950-х: сначала Минский и Эдмондс со своим SNARC, затем Фарли и Кларк. Причём последние уже использовали многоцелевые ЭВМ (IBM 704). А потом был Розенблатт, который вообще сильно опередил время, но о нём мы скоро отдельно напишем)
Кто знает, может быть и к модели нейрона Мак-Каллока и Питтса вернется интерес, вот есть уже полностью бинарные модели, например, XNOR-Net, и соответственно, техники их тренировки. Я так понимаю, разница осталась только в действии тормозящих входов.
Вполне возможно, она достаточно проста, чтобы её было удобно имплементировать в виде физических структур. Ну и, опять же, есть импульсные сети (spiking neural networks, SNNs), которые по некоторым параметрам ближе к модели Мак-Каллока и Питтса, чем мейнстримные варианты ANN.
Спайковые нейроны обычно обладают состоянием, тут вроде нет, обогатить состоянием, вероятностным срабатыванием или еще какими фичами можно, но это будет принципиально другая модель.
Ну в сетях Мак-Каллока и Питтса тоже есть состояние в пределах одного кванта времени. Это состояние — это счётчик активаций нейронов, связанных возбуждающими связями с данным. Для импульсных сетей, которые используют парадигму STDP, можно сказать, что у них квант времени более «дробный», чем у классических ANN или сетей Мак-Каллока — Питтса, то есть в них расчёт «потенциала действия» происходит в пределах более чем одного кванта времени.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Информация

Дата основания
2019
Местоположение
Россия
Сайт
sberdevices.ru
Численность
501–1 000 человек
Дата регистрации

Блог на Хабре