dprotopopov Oct 30 2018 at 21:10

Аппроксимируем функцию с помощью нейросети

4 min

17K

Programming*Mathematics*Machine learning*

Comments 7

Andy_U Oct 30 2018 at 21:53

Очевидно, что при равномерном распределении значений M[i] на отрезке (x0,x1) найдутся такие величины W[i], при которых формула P(x) будет наилучшим образом апроксимировать функцию f(x).

Не могли бы вы пояснить, что математически означает «наилучшим образом апроксимировать функцию»?

dprotopopov Oct 30 2018 at 22:04

«наилучшим образом» зависит от выбранной методики сравнения двух функций, например среднеквадратичное отклонение, или максимальное отклонение или другая методика сравнения.
Далее для нейросети я использовал cost = tf.losses.mean_squared_error(y, model) — минимизация среднеквадратичного отклонения.

ProLimit Oct 30 2018 at 22:38

В условии задачи одно определение E(x,M), а потом вы нигде к нему не возвращаетесь. В этом определении возникают вопросы относительно "...1/2, при x=M… " — есть ли смысл сравнивать два вещественных числа?

dprotopopov Oct 30 2018 at 22:45

Вы правы — я сперва определил разрывную в точке M функцию E(x,M) для указании в формуле, а потом быстро заменил её на непрерывную функцию сигмоида S(x) = 1 / (1 + exp(-x)).
Значение 1/2 при x=M я указал для похожести со значением S(0)=1/2.

aamonster Oct 30 2018 at 23:19

(подавив желание запостить картинку с троллейбусом)
Но зачем? Проверили ли вы, что нет более простых и удобных методов для этого? (метод наименьших квадратов, само собой)
Нашли ли случаи, когда использование нейронной сети оправдано? (мой опыт: когда мы не знаем, как решать задачу… В данном случае можно подумать о ситуациях, когда приближать надо не суммой, а какой-то более сложной композицией функций)
Исследовали ли устойчивость полученного решения? (вспоминается классика: интерполяция полиномами Лагранжа на равномерной сетке может развалиться, несмотря на "хорошее" поведение функции)

dprotopopov Oct 30 2018 at 23:30

Цель была обозначена в самом начале статьи — освоение библиотеки работы с нейронной сетью, в большей мере для саморазвития. Полного исследования я не делал.
Запуская программу при разных параметрах (коэффициент переобучения, количество итераций обучения, количество нейронов внутреннего слоя) я получал разные (в том числе не особо удовлетворительные) результаты.
Я и ранее использовал тему аппроксимации функций для статьи habr.com/post/277541

aamonster Oct 31 2018 at 01:11

Освоение — дело хорошее, но разобраться в пределах применимости инструмента — сложнее и важнее.

Show the best of all time