Изобретаем велосипед или пишем персептрон на С++. Часть 1 и 2

Ящик водки и всех обратно!
Как-то навеяло.

Когда я писал ИНС (2001 г.) "велосипедов" (библиотек) было всего пару штук и под мои задачи не подходили — писал сам тоже. :) Недавно обновил под современный C++: https://github.com/akontsevich/NeuroNet — но не дописал к сожалению, т.к. задач под неё пока нет.

На самом деле спасибо за статью! Очень не хватает в интернете подобных гайдов, чтобы самому посмотреть и разобраться как внутри все устроено. Большинство статей по ML используют популярные библиотеки и по факту являются не более чем документацией к ним. Часто говорят про сложную математику, но никто не пытается ее показать либо объяснить. Если накидаете еще таких вот вводных статей, а не «как я использовал тензорфлоу в сотый раз» буду прям благодарен.

Недавно в процессе археологических раскопок нашёл свой велосипед десятилетней давности на Java.

Активационной функцией может быть любая функция, имеющая предел, т.е значении, к которому она стремится, но никогда не достигнет. Таких функций огромное множество, но мы воспользуемся наиболее популярной – сигмоидой

Тогда я изучал тему методом тыка в рамках хобби, в математике терялся, а с тех пор вообще перестал интересоваться, но помню как сильно недоумевал по этому поводу. Почему там вообще должен быть предел? Я пытался построить не столько "перцептрон", сколько нейронную сеть, которую можно было бы обучить решать произвольное уравнение от нескольких переменных, читай дифур. Ожидалось, что за счёт обучения сети она научится подбирать коэффициенты, при которых решение дифура для заданного временного ряда входных параметров будет стремиться к заданному временному ряду выходных — сродни задаче получения матмодели объекта или подбора коэффициентов для ПИД-регулятора, только вместо ПИД у ней неонка нейронка.

Это я к чему. В довольно-таки простом случае, когда на входе всего один параметр x = 0, 1, 2, 3..., на выходе ожидается y = 0, 1, 4, 9..., сигмоида — это не совсем то, что хотелось бы видеть. При усложнении временных рядов становится нифига не очевидно, какие функции стоит использовать в качестве передаточных ("активация" тут немного не то слово, как собственно и "перцептрон", одинаковое только архитектура и backpropagation).

Поковырялся я с ними, начал потихоньку осмысливать математику и читать статьи, оказалось, что подход действительно имеет место быть, но математики нужно более чем много, иначе это превращается в неуниверсальный инструмент для решения одного-единственного уравнения. Ссылок на использованную тогда литературу я не приведу, быстрый гуглёж подсказывает что-то такое:

• https://habr.com/ru/company/ods/blog/442002/
• https://becominghuman.ai/neural-networks-for-solving-differential-equations-fa230ac5e04c
• https://www.sciencedirect.com/science/article/pii/S209044791630034X
  (Забавно, что по второй ссылке как раз сигмоиды используются.)

Резюме: если не хотите лезть по-настоящему глубоко в математику, не стоит вскрывать эту тему. Вы молодые, шутливые, а это не архивы спецслужб.

Также я всегда открыт для конструктивной критики и советов по коду, это важно, для этого и существует сообщество.

Очень не хватает в интернете подобных гайдов, чтобы самому посмотреть и разобраться как внутри все устроено.