Pull to refresh

Comments 11

задаём начальные случайные значения коэффициентам линейной регрессии

a = np.random.randn(1)
b = np.random.randn(1)

Никогда не понимал, ради чего. Это же выпуклая задача, не важно откуда мы стартуем, а работать с 0 в качестве инициализации проще. Зачем shuffle тоже не понятно


Ну и да, при наличии аналитического решения использовать GD как-то наивно

В данном случае функция выпуклая, но в общем случае у функции могло бы быть несколько локальных минимумов, поэтому в начале обычно и берут рандомы, чтобы не проваливаться стабильно в один и тот же локальный минимум, начиная с одних и тех же начальных условий.
А shuffle думаю тут нужен был на случай разбиения данных на train и test, которого в данном коде и нет %)

Думается мне, что это был типа задел на еще одну статью про обучение нейронок. Тогда shuffle это для минибатчей, а случайная инициализация для того, чтобы сломать симметрию градиентов.
Прощупывать минимумы при помощи рандома конечно можно, но делают так редко ибо нет особых гарантий. Для мл, как мне кажется, проблема плохого минимума при обучении не особо стоит. Другое дело, что модели с разной инициализацией можно использовать для ансамблей.

Вот лепят нейронки куда не попадя. В нейчур была недавно статья про предсказание землетрясений. Там использовалась очень глубокая сеть. Но как оказалось достаточно лишь двух параметров, чтобы достичь той же точности предсказания. А тремя параметрами можно даже лучше.
При этом аналитическое решение требует всего O(1) дополнительной памяти и O(N) вычислений.
«мы имеем» как калька с английского «we have» — это плохая практика перевода :)
UFO landed and left these words here
Скомпилировав код, можно заметить...

… что текст и код писали разные люди? :)

Тоже резануло глаз:
Сочетание питоновского кода и слов «Скомпилировав код» вызвали глубокий когнитивный диссонанс.
Скомпилировав код

Питон как бы не компилируемый язык =)
Есть в общем-то и компиляторы для питона, но автор, конечно, имел в виду «запустив код» или что-то вроде.
Only those users with full accounts are able to leave comments. Log in, please.