Как стать автором
Обновить

Комментарии 18

На данном этапе мой уровень развития не позволяет задать умный вопрос по этой теме. Но очень интересно знать сколько зарабатывает программист разбирающийся в теме статьи?

Ну мне хватает))
Цифры назвать не могу.
Вообще хочу открыть свое дело на своих разработках, но это не реально сложно, вряд ли получится, но надо по пробовать. Вот мой основной проект, если интересно. Возможно и о нем напишу. Как закончу с НС.


НЛО прилетело и опубликовало эту надпись здесь
Пожалуйста, объясните, почему веса нейронов — это константа, умноженная на b?

K — это нормировочный коэффициент. А b_k показывает насколько важен k-й признак для классификации.

Тогда почему для b_k используется именно такая функция, а не что-нибудь другое, показывающее важность признака, скажем, корреляция какая-нибудь? Это было проверено на практике и работает лучше, чем другие решения?
И, кстати, а почему берется именно f(0.99), а не f(0.98) или f(0.995)?

Да было проведено несколько тестов, вообще-то до сих пор тестирую. Вариант с корреляцией был проверен, вот ссылка на него https://vk.com/ai_2016?w=wall-64012508_204.
Я изменил на f(0.999). Вообще этот коэффициент пока подбирается экспериментально. По логике он должен стремиться к +inf. Но на практике, я получил хорошие результаты когда подставил вместо f(x) 25.

Здорово, что эти значения были взяты именно из практики. А вы сравниваете полученные результаты с другими методами обучения той же самой модели, скажем, градиентным спуском? Было бы очень интересно посмотреть, насколько отличается качество и скорость на разных реальных задачах.

А насчет коэффициента, повышающего веса — интуитивно кажется, что чем он больше, тем выше будет качество модели, и тем проще переобучиться. Не зря же во всяких L1,2 и иже с ними штрафуют слишком большие коэффициенты.
Для линейно сепарабельного случая конкретно такая пропорциональность весов вполне может иметь место. А более сложные случаи однослойный персептрон и не должен охватывать.

Ниже есть видео, там двухслойная сеть, но пока в том выражении по генерации архитектуры слишком много параметров, которые неоднозначно подбираются. Поэтому про этот метод я писать не готов, тестирую с разными параметрами. Собираю статистику. Потом планирую обобщить на любое кол-во слоев.

Я имею право так делать, т.к. стоит задача классификации, а не регрессии. И имеется ф-я с насыщением, которая "сгладит" все неточности.

И все же непонятно, почему вы имеете право так делать. Здесь ведь нет итераций, значит, мы хотим получить точный ответ сразу, разве не так?

Точный ответ для задачи классификации это 1 или 0, 1 если принадлежит выбранному классу, 0 в обратном случае. И эта формула дает такой ответ. Было проверено 4 различных формулы, у каждой есть свои плюсы и минусы, но в качестве основной была выбрана, та что используется в статье.
Вчера записал видео теста(пред. обработка БПФ):



Без пред. обработки, рабочее отношение шум/сигнал так же до 6-ти:
Единственное, теперь точность зависит еще и от фазы.
image


Но метод полностью справляется со своей задачей, для регрессии я бы использовал корреляцию, но зачем тратить лишние ресурсы.

Есть ли какие-то основания полагать, что та же самая формула будет оптимальна и при решении любой другой задачи классификации?

Ну что тут сказать, тестирую! На MNIST`е буду сегодня завтра гонять.

На MNIST плохой результат, 63%. Сейчас дорабатываю метод обучения скрытого слоя.

здравствуйте, а код посмотреть можно?

Выше, в статье есть.

Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории