Комментарии 7
Описаный способ подстройки модификатора гораздо точнее определяется словом «инерция». Вес который «разогнался» в своем изменении медленно меняет скорость. Также надо не забывать, что полезны нулевые коэфициэнты для ускорения обучения. К примеру когда у вас шаг 0.01 и коэфциент инерции еще уменьшает это значение, то выгодно вообще остановить изменение веса на несколько итераций. При этом вычислений нужно производить меньше, соответственно скорость обсчета возрастает.
не совсем инерция, для этого есть понятие момент, о нем можно прочитать тут внизу http://www.learnartificialneuralnetworks.com/backpropagation.html
а в данном случае модифицируется так сказать степень шага в определенной размерности пространства весов
а в данном случае модифицируется так сказать степень шага в определенной размерности пространства весов
Цитата: «Если не вдаваться в математику, то можно сказать так, что алгоритм поощряет те веса (рост в рамках какой то размерности пространства весов) которые сохраняют свое направление относительно предыдущего момента времени, и штрафует тех, кто начинает метаться.»
Это и есть «инерция», если масса начинает менять свою скорость делает она это с «инерцией», тот самый ваш «штраф на тех кто мечется»
Это и есть «инерция», если масса начинает менять свою скорость делает она это с «инерцией», тот самый ваш «штраф на тех кто мечется»
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Локальная скорость обучения весов нейронов в алгоритме обратного распространения ошибки