Комментарии 3
Вот что интересно. Красивая математическая модель нейронных сетей с обратным распространением ошибки, на которую возлагалось так много надежд, ведь теоретически она могла решить чуть ли не все задачи, в конечном итоге оказалась не у дел. И внезапно стохастические методы, для которых не всегда и теоретическое объяснение подберешь, бьют NN на всех фронтах. А NN у них на посылках, для рутинного вычисления.
Какая-то в природе вещей другая математика.
Какая-то в природе вещей другая математика.
Модель NN была без привязки метода оптимизации, без градиентного спуска. NN это только система уравнений. Методы решения этой системы есть и детерминированные(как градиентный спуск), стохастические, так и комбинированные (стохастический градиентный спуск). Поэтому сравнения метода с системой уравнений не корректна.
Перечисленные методы оптимизации — параметрические. DNN это структурный метод оптимизации начальной NN. Так что NN жива.
Перечисленные методы оптимизации — параметрические. DNN это структурный метод оптимизации начальной NN. Так что NN жива.
А можно уточнить, что подразумевается под зондированием? Я видел, что оно как-то приводит к избеганию локальных оптимумов (подлодка, остающаяся на глубине), но не вполне понял, каким образом.
И ещё. В случае с подлодкой и с шагателем в качестве нейронки используется однонаправленная сеть, или RNN? Если RNN, то LSTM? Можно какую-нибудь инфу о том, какая структура сети (число слоёв, размеры слоёв) применялись в каждой из задач?
И ещё. В случае с подлодкой и с шагателем в качестве нейронки используется однонаправленная сеть, или RNN? Если RNN, то LSTM? Можно какую-нибудь инфу о том, какая структура сети (число слоёв, размеры слоёв) применялись в каждой из задач?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Добро пожаловать в эру глубокой нейроэволюции