К сожалению я не могу продолжать дискуссию здесь в связи с очевидными последствиями для моей хаброкармы — я бы хотел иметь возможность продолжать публиковать статьи на ресурсе. Мы можем переместиться в личку.

Основной мой поинт в том, что реальные законы природы и ключевые методы (такие, как конструкция нейросетей, не говоря уже о алгоритмах типа KNN и линейной регрессии в машинном обучении, или, скажем, законы гравитации в физике) носят относительно тривиальный и исключительно эмпирический характер. Действительно сложные конструкции (к примеру, VC-размерность или ОТО) носят сугубо теоретический характер и почти либо целиком оторваны от реальности, не говоря уже о фактических применениях — как сейчас, так и в гипотетическом будущем. Сложные конструкции основанные на фундаментальных носят инженерный характер и дают отдачу в кратко- или среднесрочной перспективе. Конструкции, изложенные в статье, находятся на разумной грани, к ним претензий нет.

По сабжу последнее, что хотел бы заметить — это то, что в свое время я собирался заниматься академической наукой — и имел все предпосылки для этого, однако был шокирован реальными практиками академического сообщества и забил. Касательно конкретно машинного обучения я могу сослаться на Макса Милованова (Nvidia, результаты на каггле), утверждавшего что зачастую академические ресерчеры делают грубейшие ошибки при валидации своих алгоритмов и на упоминавшегося Хинтона, где-то жаловавшегося на невозможность публиковать определенные статьи ввиду необоснованного отказа со стороны сообщества. Фактический масштаб бедствия значительно больший и я мало где наблюдал такой уровень неприкрытого цинизма как в неформальных обсуждениях в академической среде.

============

1) В статье — вроде ничего. С концепцией черезмерного теоретизирования на тему уже подобранных эвристик при этом совершенно не согласен.
2) Тут я, пожалуй, погорячился. Всё-таки похоже на то, что основываясь на размышлениях о локальных максимумах функций в R^n можно придумать что-то разумное на тему последующих эвристик.

Your account

Sections

Information

Services