Кратко об архитектуре нейроморфных процессоров: взгляд изнутри

[ASTAPP]

А бенчмарки есть?
И как это соотносится с NVidia TPU, интересно.

[rkfg]

Как-то узкоспециализированно выглядит. Только свёрточные слои? А как же LSTM? GAN для генерации данных? Reinforcement learning для обучения агентов поведению во времени? Или вообще свои архитектуры? Понятно, что в железе сделать произвольное конфигурирование сложнее, чем управлять более абстрактными примитивами типа тензоров на TPU. Но для этого ведь всё и делается.

Посмотрел презентацию:
Limitations
• No Unsupervised Learning
• Limitation of Connectivity
• Network Scalability
• Low GSOPS

Ну т.е. да, для описанных там задач распознавания, классификации и отслеживания объектов подойдёт, но как нейросеть общего/произвольного назначения — увы.

[Mad__Max]

Не только сверточные слои:

[ 0033 ] A deep convolution network of neurosynaptic cores can comprise of multiple layers of cores. It may be a feed — forward network comprising various type of layers such as сonvolution layers, splitter layers, or averaging ( pooling ) layers. Convolution layers perform three — dimensional convolution for a given patch size, stride, and group. In some embodiments, different TrueNorth cores are used for different topographic locations and groups. Such a construct provides natural sparsity in the network with convolution cores. Averaging layers may perform pooling on each feature map for a given patch size and stride. In some embodiments, a single TrueNorth core can pack large number of features from the same feature map, resulting in a densely — connected network. Similarly, in splitter layers, random choice of inputs for splitter cores may generate complex connections in the network "

Т.е. слои разных типов можно реализовать.
А так как формальных ограничений на связи между нейронами нет:

This is the first time we have been able to get a sense of what one of IBM’s neurosynaptic cores with mesh router looks like. Arrays of extremely low power neurosynaptic processing units (the neurosynaptic cores) use spikes to encode information. In a network of neurosynaptic cores, neurons on each core can connect to any axon of any other neurosynaptic core (including itself)

то можно реализовать и разные разновидности рекурентных нейронных сетей.
Conversion of Artificial Recurrent Neural Networks to Spiking Neural Networks for
Low-power Neuromorphic Hardware
В том числе и LSTM впихнуть можно:
A spike-based long short-term memory on a neurosynaptic processor

Только в топологии сети при этом нужно минимизировать количество «дальних» связей между нейронами иначе растет потребление энергии и может резко падать производительность — при большом количестве дальних связей роутер и шины передающие сигналы между ядрами захлебнутся потоком пакетов.
В этом смысле сверточные сети лучше всего на подобное железо переносятся.

Но вообще естественно весьма специализированная и ограниченная архитектура. Одно из самых серьезных ограничений — синапсы (связи) и спайки (бегающие пакеты/сигналы) вообще в этом процессоре однобитные, есть/нет связь, пришел сигнал да/нет. Дробные веса связей можно только грубо эмулировать используя несколько отдельных связей.

Но зато такая узкая специализация и упрощение позволили достичь высочайшей эффективности вычислений: один чип может в реальном времени моделировать сеть размером до 1М нейронов с 256М связей между ними, потребляя при этом всего десятые доли Вт по мощности и по выделению тепла.

[VDG]

структура позволила смоделировать работу миллиона нейронов и 256 миллионов синапсов

Попробовали бы смоделировать ближе к живому мозгу — полносвязную сеть одного кубического мм — 10К нейронов с 10К синапсами на каждый нейрон.