Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории

Я таки влезу в ваш спор со своим мнением.
1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы). По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности. Эта система всяко сложнее, чем искусственные НС, где этого нет. У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.
2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).
3) Когда "суммируются" спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.

По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.
Возможно, мы имеем перед глазами пример схем наших компьютеров (из элементов и-или-не), и пытаемся натянуть эту модель на реальность, а в реальности элементарная база работает, например, с учётом времени или с учётом контекста, а не как простая функция двух аргументов. А как работает — непонятно, ибо мудрено.

У вас хорошая статья, спасибо! Не со всеми тезисами согласен, но про то, что CS становится экспериментальной наукой, очень верно подмечено. И selective reporting конечно же)))
Про ситуацию в целом в CV и ML после AlexNet-а можно много дискутировать, но сейчас это наиболее быстро развивающаяся сфера. Очень интересно наблюдать например за cite score CVPR, в 2012 году было 3.23, а в 2018 — 37.26, больше чем у Nature. Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно. В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))

Мой комментарий выжимка лекции, я студентам рассказываю, про отличия между нейронками и мозгом, и скоро ли мы придем к сильному ИИ и сингулярности)))

Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).

deep learning это примерно как "нейропроцессор", по большей части маркетинговый термин. Я его употребил как обобщение всех нейросетевых подходов, которые умеют переваривать большие выборки. Вы расширили мой тезис, с чем я совершенно согласен — все нейронные сети, не только глубокие, это универсальный аппроксиматор, согласно Цыбенко))) Т.е. все это — просто очень хороший метод оптимизации.
То, что мозг обучается на основе однокритериальной оптимизации — маловероятно, слишком неэффективно. Если есть пруфы, что это действительно так — приводите.

Давным-давно доказано что активационная функция может быть любая нелинейная.

Ну строго говоря, не любая. Если я я правильно помню, теорема Цыбенко доказана для сигмоиды))), есть требование не полиномиальности, 95 года по-моему. И все теоремы не конструктивны, не дают ответа как эффективно подобрать параметры модели, а SGD дает. Теоремы обосновывают модель, а SGD и его производные — относительно эффективный метод оптимизации.

Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.

Можно хоть перебором, вопрос в скорости сходимости.

Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС.

Проблема few-shot learning не решается в лоб при помощи классических CNN, пока что ее решают разными хаками, специфичными для разных задач.
Эта проблема сложная, но подходы к ее решению вроде как есть. Тот же самый reinforcement.

Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят.

Все так, исходный тезис был в том, что моделей когнитивных функций мозга на сегодня нет)))

Это вообще не про биологию с математикой, а про философию.

Это к сожалению не про философию, а про методологию, на основе которой можно создать сильный ИИ. Если мы не знаем, как физическая система порождает субъективный опыт, мы не сможем построить такую систему))) И в отличие от проблемы few-shot learning тут даже примерно подходы не прослеживаются. Ну кроме полного перебора)))