Comments 8
Не интересовался ранее «древними» моделями и, как теперь оказывается, переизобрёл их нейрон полтора года назад. Мне в голову не приходило, что это было такой фундаментальной вещью в прошлом, тем более, что эта примитивная модель у меня — только начало. И обучение в неё встраивается как у живого нейрона. Эх, если бы у них были современные компы, да погоняли бы они 70 лет назад сеть из таких нейронов, а не один единственный с десятком входов. На таком мелком масштабе ничего интересного там не разглядишь. Не туда они пошли в своих исследованиях из-за невозможности пощупать сеть.
Вообще первые идеи о том, как учить искусственные нейронные сети, появились в конце 1940-х годов в работах последователей Мак-Каллока и Питтса (Альфонсо Шимбел, Анатоль Рапопорт), а первые эксперименты с сетями искусственных нейронов, в которых было обучение, начались уже в начале 1950-х: сначала Минский и Эдмондс со своим SNARC, затем Фарли и Кларк. Причём последние уже использовали многоцелевые ЭВМ (IBM 704). А потом был Розенблатт, который вообще сильно опередил время, но о нём мы скоро отдельно напишем)
Кто знает, может быть и к модели нейрона Мак-Каллока и Питтса вернется интерес, вот есть уже полностью бинарные модели, например, XNOR-Net, и соответственно, техники их тренировки. Я так понимаю, разница осталась только в действии тормозящих входов.
Вполне возможно, она достаточно проста, чтобы её было удобно имплементировать в виде физических структур. Ну и, опять же, есть импульсные сети (spiking neural networks, SNNs), которые по некоторым параметрам ближе к модели Мак-Каллока и Питтса, чем мейнстримные варианты ANN.
Спайковые нейроны обычно обладают состоянием, тут вроде нет, обогатить состоянием, вероятностным срабатыванием или еще какими фичами можно, но это будет принципиально другая модель.
Ну в сетях Мак-Каллока и Питтса тоже есть состояние в пределах одного кванта времени. Это состояние — это счётчик активаций нейронов, связанных возбуждающими связями с данным. Для импульсных сетей, которые используют парадигму STDP, можно сказать, что у них квант времени более «дробный», чем у классических ANN или сетей Мак-Каллока — Питтса, то есть в них расчёт «потенциала действия» происходит в пределах более чем одного кванта времени.
В названии статьи не хватает слова «Сказ»
Sign up to leave a comment.
О том, как гениальный беспризорник и профессор пили виски и придумывали первую модель искусственного нейрона