Открыть список
Как стать автором
Обновить

Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории

Open sourceBig DataМашинное обучениеНаучно-популярноеИскусственный интеллект
🔥 Технотекст 2020 🔥 Технотекст 2020
Всего голосов 226: ↑225 и ↓1 +224
Просмотры51.2KКомментарии 244

Комментарии 244

В статье не упомянута ещё одна причина — кризис масштаба науки. Когда выходит столько статей, то читать все статьи по популярной теме невозможно. В результате через сито peer review даже на топовые конференции проходят результаты, которые были сделаны раньше и опубликованы. Бывает даже на той же самой конференции. Иван Оселедец недавно на одном форуме упоминал такую ситуацию.
Да, есть такая тема! В том числе с arXiv.org входной поток информации становится запредельно плотным и непонятно, как успевать следить. И ревьюверы даже топовых конференций (внезапно!) тоже живые люди, которые тоже не успевают.
Уже в 1600 г. Уильям Гильберт жаловался, что интеллектуалы должны ориентироваться в «столь обширном океане книг, которые смущают и утомляют умы занимающихся наукой»

Дэвид Вуттон, “Изобретение науки. Новая история научной революции”
В то время наука была очень слабо специализированной, и «интеллектуалы» должны были ориентироваться ВО ВСЕХ публикациях.
А сейчас даже узкому специалисту по условной «эволюции средиземноморских 2-створчатых моллюсков» может быть сложно уследить только за своей темой.

А что уж говорить, когда нужно обладать знаниями в нескольких сферах. Это реально может быть нужно для определенных исследований.

Отличная идея, нужно прикрутить к этому нейронку, пусть она определяет была ли статья/ доклад ранее ;)
походу скоро так и будет)

Главное не забыть выложить к ней исходники :)

Позволю нескромно процитировать самого себя:
В мире, в котором каждые десять секунд выходит по научной статье (в рецензируемых международных журналах, если считать все прочее, то еще больше), уже наступила пресловутая сингулярность, только не технологическая, а академическая. Обыватель держит в уме напрочь устаревшие школьные знания и тонет в потоке информации, в котором нужно уметь различать науку, псевдонауку, и желтую прессу. Люди с хорошим высшим образованием потенциально способны на апгрейд школьных и вузовских знаний путем самообразования, как и способны найти нужную информацию. Но зачастую плохо представляют масштабы этого потока знаний, его скорость, и стремительность того, насколько быстро устаревают их представления. Ибо если школьные знания порой устарели на десятки лет, то то, что встречается в масс-медиа, может устареть как на годы, так и на столетия. К тому моменту как этот весьма образованный читатель масс-медиа прочтет, осмыслит, и начнет транслировать окружающим некое новое знание, вполне вероятно, что это знание уже базнадежно устарееет, и апдейты к этому знанию если даже будут спешить к читателю со всех ног, рискуют так же устареть, как и это знание, пока будут опубликованы, примечены специалистом, переведены и осмыслены в кругу специалистов, адаптированы и ретранслированы научными журналистами быстрее и громче журналистов желтой прессы, и ухвачены взором того самого читателя в ревущей лавине информации.
Но если всё устаревает настолько быстро, что ни один специалист не будет способен за этим поспевать, то откуда тогда новые знания будут браться? Ведь чтобы синтезировать новое знание, нужно сначала усвоить предыдущее. Значит, либо в скором времени работы будут повторяться, но никто этого не поймет в таком большом потоке, либо их скорость выхода должна замедлиться.
Значит, либо в скором времени работы будут повторяться, но никто этого не поймет в таком большом потоке

Скорей всего так это уже происходит. По крайней мере даже в мире программистов существует куча велосипедов.

Как компании, так и государства осознали, что данные — это «новая нефть». Компании при покупке других компаний уже давно оценивают накопленные ими данные как актив, и только ради данных могут купить какую-то компанию. В таких условиях «раскрывать» данные просто так никто не будет. И исследования по многим темам будут концентрироваться в компаниях.
Я выше даю ссылку на каталог датасетов от Kaggle в котором 25 тысяч датасетов. Т.е. часто компании открывают вполне неплохие по размеру датасеты (хотя бы для бенчмаркинга и хайринга))).

Из свежих примеров в нашей области Байду недавно выложила датасет для матирования людей. github.com/aisegmentcn/matting_human_datasets 34к фото, это для матирования очень большой.

Так что положительные примеры есть.

Но массовый тренд, абсолютно согласен, на накопление данных внутри, про это пунктиром выше было.
Скорее будет история как с исходным кодом. Который вначале был «бесплатным приложением к железу», потом его стали закрывать, а потом поняли, что некоторые «ключевые вещи» — лучше разрабатывать совместно.

С нейросетями наверняка то же самое будет: кой-какие вещи будут делаться «всем миром» (и данные будут собираться «со всего мира»), а какие-то — будут «тайной фирмы» (и её «секретным ингридиентом»).
Поскольку проблема воспроизводимости не только общественная, но и личная, то люди работают над повышением воспроизводимости. Появляются разные фреймворки для организации экспериментов. Стадия развития — начальная, поэтому такого доминирования, как PyTorch / TensorFlow в них пока нет, но надо бы использовать и следить.
Безусловно. Может кто-то опишет? ) У меня на описание всего фронта сил не хватает )
Боюсь, в России последнее время процент «липовых» статей значительно подрос… Ну нереально, если ты занимаешься в основном железом, писать больше одной статьи в 2-3 года. Однако, «сверху требуют», вот и приходится клепать псевдостатьи в «мурзилки». Как-то после «корчевателя» страсти утихли, и опять «верхи» взялись за старое…
Что лично наблюдаю — катастрофически низкий уровень обзоров в отечественных статьях и убогие ссылки (в худшем случае — только на себя). И явно написано по разнорядке (отчет по гранту или просто чтобы числом поболе).

Да, беда-беда…
В настоящих рецензируемых журналах еще более-менее. Хотя тоже качество падает. А вот намедни мне жаловались, что «сверху» заставляют нашу редколлегию с латеха на «ворд» переходить. Вот уж где маразм так маразм…
Забавно. А чего ради? В латехе же банально верстка аккуратнее.
В латехе не то, что аккуратней, а еще и намного проще.
Но дело в том, что как известно, руководство страны — те еще [censored]. И в компьютерах они разбираются примерно как мартышки. Им невдомек, что word — это вообще проприетарщина и по ГОСТу она не должна использоваться. Они привыкли играть в ворованные игры на ворованных прошивках для игровых приставок. И набирать три строчки текста в ворованном «ворде».
То, что к верстке «ворд» вообще никакого отношения не имеет, этим [censored] невдомек! Но свою «волю» же надо высказать!
Слушайте, это точно не уровня руководства страны ворд или латех решение.))) Какого уровня начальство настаивает?
А на гос. сайтах бывает и так: проприетарный архив rar, а в нем — проприетарный doc/xls/ppt.

И что? Doc и rar никто не запрещает создавать в свободных пакетах (libreoffice, 7zip)

С этого момента поподробнее. Особенно про Rar интересно — откуда брать, какие команды задавать чтобы Rar получился и так далее.

Потому как оффициальная версия умеет Rar только распаковывать, а та, которая из исходников собирается — так и этого не умеет.

А вам зачем? Прочитать его свободным софтом вы сможете? Сможете. Что вам ещё надо?

Прочитать его свободным софтом вы сможете? Сможете.
Нет. 7zip умеет распаковывать Rar (причём не последних версий) только за счёт проприетарного модуля, работоспобность которого в будущем не гарантирована (вспоминаем историю с ACE, да?). При этом все способы распаковки последних версий Rar контролируются немецкой компанией (национальность автора в данном случае значения не имеет).

И кто тут говорит об импортозамещении?

Я не совсем понимаю цель вопроса. Кого-то в чем-то обвинить? Намекнуть, что RAR'ы нельзя создавать без разрешения автора WinRAR?


Как минимум, я могу предложить три условно честных варианта


  1. воспользоваться триальной версии WinRAR (как бы ее не обязательно покупать, но я ее лицензионное соглашение, ес-но, не читал — что там про использовании организациями, но госструктуры ТОЧНО НЕ В КОММЕРЧЕСКИХ ЦЕЛЯХ ПАКУЮТ В РАР).
  2. воспользовать бесплатной rar for pocket pc (видимо, имелось в виду — Pocket RAR)
  3. apt install rar во вполне бесплатной и свободной ubuntu.

Я уж не говорю о том, что у WinRAR как компании могут быть особые условия для госорганизаций.
Да, 7zip создавать rar не умеет — это мой промах… неожиданно.

2. воспользовать бесплатной rar for pocket pc (видимо, имелось в виду — Pocket RAR)
Вы всерьёз верите, что кто-то в госструктурах пользуется именно этим методом?

1. воспользоваться триальной версии WinRAR (как бы ее не обязательно покупать, но я ее лицензионное соглашение, ес-но, не читал — что там про использовании организациями, но госструктуры ТОЧНО НЕ В КОММЕРЧЕСКИХ ЦЕЛЯХ ПАКУЮТ В РАР).
3. apt install rar во вполне бесплатной и свободной ubuntu.
Оба этих метода не дают вам дополнительной лицензии: через 40 дней вы должны либо прекратить использовать Rar, либо купить лицензию. У немецкой фирмы, прошу заметить.

Я уж не говорю о том, что у WinRAR как компании могут быть особые условия для госорганизаций.
Вот только если, вдруг, немецкое правительство решит ввести санкции — то все эти «особые» условия вдруг испарятся.

Да, 7zip создавать rar не умеет — это мой промах… неожиданно.
Почему неожиданно? Рошаль тщательно следит за тем, чтобы никто не мог вот так «запросто» «соскочить с иглы». Отсюда и периодические изменения формата файла и прочее.

Это его право — но это классический пример Lock-In… то есть вот ровно эталон того, что «импортозамещение» должно было извести… прямо в палату мер и весов рядом с лошадью ростом один метр и весом один килограмм.

Я ничего не думаю. Это вредно.
Но если Вы очень хотите — можете написать в компетентные органы с просьбой провести проверку по факту выкладки файла в проприетарном формате на официальном сайте госструктуры.


немецкой фирмы, прошу заметить.

Согласен с тем, что авторы — немецкая фирма — является фактором риска. И в тренде импортозамещения выглядит странно. Реально — лучше бы паковали в ZIP или 7z. Единственное, чем могу объяснить — традиционной любовью к формату РАР у пользователей России в силу исторических причин. Этот формат реально жал файлы лучше, был лучше по безопасности, по избыточности (если надо было таскать данные на ненадежных носителях) + фактор того, что никто не покупал лицензию.


Вот только если, вдруг, немецкое правительство решит ввести санкции — то все эти «особые» условия вдруг испарятся.

Вы априори не знаете куплен ли winrar на госорганизацию. И я тоже не знаю. Но, да, вероятность не очень велика. Но если программа куплена, то вряд ли она превратится в тыкву. Она прекрасно продолжит работу я даже если немцы перекроют поставку новых версий. Тем более, что для нас, как для потребителей данных — никакой проблемы нет. Все популярные архиваторы могут рар распаковывать БЕЗ необходимости что-либо платить Рошалю. Поэтому прошу проблему не преувеличивать.


Я уж не говорю о том, что в широком смысле в госкомпаниях нет культуры обращения с данными. Это и про хранение, и про структуризацию, и про многое другое.

Но если программа куплена, то вряд ли она превратится в тыкву
Всему своё время. Вспоминаем историю с ACE.

Все популярные архиваторы могут рар распаковывать БЕЗ необходимости что-либо платить Рошалю.
Все распаковщики Rar — контролируются Рошалем. Никаких других — просто нет.

Тот факт что сегодня он позвляет включить этот модуль в бесплатный 7-zip (и при этом там нет поддержки последних версий формата, заметим) — не обозначает, что там будет всегда.

Я уж не говорю о том, что в широком смысле в госкомпаниях нет культуры обращения с данными. Это и про хранение, и про структуризацию, и про многое другое.
Дык я ж про это в первую очередь. Всё «импортозамещение» — больше фарс и распил, чем полезные телодвижения.

Если бы хотели безопасности — то классифицировали бы риски: какие страны с большей вероятностью могут ввести санкции, какие с меньшей, потеря чего важна, а чего можно и пережить.

Вместо этого — какой-то сплошной «цирк с конями».
Тот факт что сегодня он позвляет включить этот модуль в бесплатный 7-zip (и при этом там нет поддержки последних версий формата, заметим) — не обозначает, что там будет всегда.

Последних — это каких? 5-й? Ну, вообще Вы пишете, будто издеваетесь. Ну, уберут из новой версии 7-zip модуль для rar, но историю невозможно повернуть назад и старые версии 7-zip ВСЕ ЕЩЕ БУДУТ доступны для скачивания. Ну, физически невозможно их удалить со всего интернета. И невозможно запретить их использование. Короче, предлагаю закругляться с обсуждением RAR. Т.к. мы так и не придем к единой точке зрения на эту проблему.


Если бы хотели безопасности — то классифицировали бы риски: какие страны с большей вероятностью могут ввести санкции, какие с меньшей, потеря чего важна, а чего можно и пережить.

Дело НЕ только в санкциях.


Вместо этого — какой-то сплошной «цирк с конями».

Да. Все так.

старые версии 7-zip ВСЕ ЕЩЕ БУДУТ доступны для скачивания

Стремительно устаревающие и открывающие всё меньше файлов? Спасибо не нужно.

Я недавно открывал 7-zip'ом файл, лежащий внутри zip внутри ext4 внутри vmdk внутри ova (он же tar), а ещё занятно ковырять ресурсы elf'ов и exe, лежащих внутри этого всего. Набор поддерживаемых (пусть и только для чтения) форматов поистине внушителен. Число необходимых для простой архивации и/или обмена файлами форматов гораздо меньше, в 99% достаточно "обычных" zip,rar,7z,tar{gz,bzip,xz}.

Какое это имеет отношение к истории с Rar'ом?

Да — 7zip отличная программа, поддерживает «нативно» кучу форматов… а вот Rar — исключение. Его она может поддерживать только за счёт использования бинарного плагина, исходников от которого у них нет.

Ну а дальше — добро пожаловать в ад.
Какое это имеет отношение к истории с Rar'ом?

Я к тому, что форматы приходят и уходят, пока пользователи о них могут и не подозревать, а банальный и неэффективный zip родом из прошлого века жив и будет жить. В большинстве случаев пользователю другого и не нужно. Какая разница, поддерживает ли архиватор последнюю версию cpio, когда используются одни rar'ы или одни zip'ы. То же, в принципе, и про новые версии rar'a.

Какая разница, поддерживает ли архиватор последнюю версию cpio, когда используются одни rar'ы или одни zip'ы.
В том-то и дело, что они не «одни и те же». Новые версии Rar'а создают файлы, которые «сторонние» архиваторы (7zip, в частности) не открывают.

Через какое-то время соответствующий модуль лицензируетя, на какое-то время наступает идиллия… а потом выходит новая версия Rar'а.

То же, в принципе, и про новые версии rar'a.
В том-то и дело, что нет. Новые версии 7-zip выходят сразу с исходниками, их кто угодно может использовать. Zip уже очень давно не менялся. А вот Rar — как я написал выше…

Ну, не откроет у человека архиватор rar — попросит переслать в zip, а в следующий раз ему сразу в zip пришлют. И вроде как проблема нечитаемого формата решена, все почти довольны. Кроме суровых профессионалов или гиков, которым не плевать на отличия rar и zip.
И автор проприетарного модуля будет не в плюсе от такого шага конём.

Ну, не откроет у человека архиватор rar — попросит переслать в zip
Это кого он попросит переслать, извините? Мы тут говорим о документах, многие из которых должны по полвека храниться, говорим.

Когда Rar не откроектся человека, который его создавал, может уже и в живых не быть, а огранизацию может быть расфомирована…

Кроме суровых профессионалов или гиков, которым не плевать на отличия rar и zip.
Ну… есть ещё компетентные органы и суды… хотя они же могут являться и решением проблемы: если просто выкидывать из судебых материалов договора, не соотвествующие ГОСТу и, в частности, запакованные в Rar, за счёт чего обанкротить некоторое количество компаний и уволить некоторое количество функционеров — то можно продвинуть импортозамещение куда быстрее и сильнее, чем любыми другими методами.
Мы тут говорим о документах, многие из которых должны по полвека храниться.

Пожалуй, я не копал настолько глубоко… В таком случае должна быть хотя бы спецификация формата архива. Это довольно большой срок.

Ну вот посмотрите на ту же историю с NGINX'ом. Там речь идёт о вещах, проиходивших почти 20 лет назад.

И для подобных исков, связанных с авторским правом или контрактами, в частности с госсзакупками, 20 летний срок — это, на самом деле, не так и много.

Для некоторых документов и полтора-три года — нормальный срок хранения, потом они выкидываются/удаляются… там и Rar нормально можно использовать… но ведь пакуют в него особо над всеми тонкостями не разбираясь…
Не существует возможности создать rar свободными приложениями! Только unrar.
А созданный опенофисом docx в «ворде» будет расползаться. В принципе, это проблема самого «ворда», т.к. в разных версиях этой чудоподелки мелкомягких файлы тоже по-разному будут отображаться.
Все-таки, «ворд» — это текстовый редактор с расширенными возможностями, а никак не приложение для ВЕРСТКИ! ВЕРСТКУ делают в латехе, больше не существует приложений, в которых можно удобно научные тексты ВЕРСТАТЬ.

Если нужна верстка, т.е. документ в том виде, в котором он уедет на печать, без возможности редактирования, или с ограниченной возможностью — для ввода печатных форм — идеальный вариант, на мой взгляд, PDF. И вопрос был именно не про научные статьи, а про некий госсайт, которые дает возможность скачать документы.


В принципе, это проблема самого «ворда», т.к. в разных версиях этой чудоподелки мелкомягких файлы тоже по-разному будут отображаться.

+1. Не говоря уже о совместимости между Word Win и ТОТ же Word Mac OS.


LaTeX — Вы правы, это про другое.

С тех пор, как еще в аспирантуре мне пришлось собственные статьи переписывать из латеха в ворд, потому что журналы не принимали латех — я пересмотрел своё мнение о косных российских журналах. Потому что в аспирантуре я публиковался не в российских и не в косных, а в очень даже приличных высокоимпактных журналах (почему-то все они были в американском ACS, хотя работал я тогда в Европе но потом я, работая в Америке, публиковался в журналах британского RCS — и даже не порывался использовать LaTeX, ни один коллега его не использовал. Это было особенно неудобно с учетом того, что микрософтовского ворда у нас на рабочих компах не было вовсе, но всё-таки все отсылали статьи именно в doc).
Вот! Что и требовалось доказать!!!
Наличие огромного количества идиотов (и прежде всего — на руководящих должностях) — особенность не одной только России, но всего мира в целом!

Т.к. победить это невозможно, как минимум — снизу, то остается возглавить этот идиотизм и, возможно, тогда появится возможность что-то изменить к лучшему. Хотя бы для кого-то.

У нас в биологии (за исключением совсем уж консервативных классических областей — ботаники там какой-нибудь с "флористическими списками такого-то региона") статья пишется либо нормальная, либо на русском. Одно из двух. Русская пишется либо потому что горят дедлайны и отчётность, либо потому что тебя редакция лично вежливо попросила что-нибудь им отправить. Ну или потому что ты в принципе в английский не можешь, но тогда ты и работаешь так себе.


Знаю, что с русскими журналами примерно так же у химиков и физиков (по крайней мере среди моих знакомых). У гуманитариев получше. В CS скорее всего хуже, потому что быть хорошим программистом и не понимать английского — это нонсенс.

В целом — да, но часто на русском студенты тренируются. Банально потому, что из русской статьи удобнее куски потом в диплом копипастить, работы меньше)

А так — да, английский, но это отдельная большая история.

Чтение и написание статьи на английском это совсем разные уровни знания языка, бывает просят помочь перевести части "около ИТ" текстов на русский тех авторов которые считают что они "умеют писать статьи на неродном им языке", увы, понять очень сложно...

В нормальных группах нанимается как минимум пруфридер нейтив (сегодня просто и не очень дорого), а если бюджет позволяет — редактор.

Пруфридер практически не помогает. Вопрос именно подачи материала, logical flow. То, что называется creative writing.
Высокорейтинговые журналы и конфы уровня cvpr, iccv это во многом маркетиговая подача материала. Не уверен, что можно найти редактора не из сферы, который так умеет. Мы обычно берём в соавторы нейтива или почти нейтива из сферы.
Очень хорошо весь процесс написания статьи описан здесь — https://billf.mit.edu/sites/default/files/documents/cvprPapers.pdf

Интересная презентация, спасибо! (позднее внимательно посмотрю) Третий слайд, все более и более актуален в том числе и в России, к счастью))). Еще пять лет назад я бы только вздохнул тяжело )

Там еще очень хороша пара слайдов "Our image of the research community". Да все хороши)))
А то, что Publish or Perish набирает обороты в России очень хорошо, в Китае очень прижилось. Но в том виде, в котором это сейчас есть в топовых универах — это конечно крайне жестко...

Сам сталкивался в свое время с этим. Тут еще пагубно повлияло введение положения, когда для защиты кандидатской требуется наличие публикаций в рецензируемых ВАКовских журналах (изначально требовалась одна, сейчас, по-моему, три). Это резко снизило качество статей, так как соискатели толпой начали забрасывать журналы статьями, уровень которых зачастую оставлял желать лучшего.
Вообще, я довольно долго с изрядным скепсисом относился к нейросетям


Ура, ни я один… но почему «относилСЯ», уверовали? Невоспроизводимость, по нейросетям, это полбеды. Алгоритмы усложняются и воспроизвести окружение становится сложнее, но все таки можно. Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.

Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».
Трудно быть скептиком нейросетей, будучи в то же время одной из них…
Расскажите ваше представление о мозге нейрохирургам, им будет весело. Вычислительные графы, с пороговой функцией, близко не напоминают работу мозга. Хотя он у всех разный, конечно.
И как нейрохирурги видят работу мозга человека?
Видимо надо спрашивать у нейрохирурга, правда?
Расскажите ваше представление о мозге нейрохирургам, им будет весело.

Я надеялся, что вы расскажете, раз такое написали.
Расскажите ваше представление о мозге нейрохирургам, им будет весело. Вычислительные графы, с пороговой функцией, близко не напоминают работу мозга.

Нейрохирурги досканально знают как работает мозг?

Имхо, в работе им достаточно знать — где можно резать, а где нет, то есть — какая часть за что отвечает в общем, но не на уровне отдельного нейрона.
им достаточно знать — где можно резать, а где нет


И вторая волна смеха… Хотя может вы и правы, главное знать где отрезать.

Нейро хирургов, в основном не интересует как там мозг работает — это я на собственном опыте говорю. Они знают где резать можно, а где не стоит.


То что вы тут пытаетесь описать — это скорее к нейробиологам и нейрофизологам относится.

Неужели. А нейробиологи в свою очередь делятся еще на более специализированые секты. И кто же тогда специалист по мозгу? Ессно имелось ввиду то что есть люди куда более просвященные о работе мозга, понимание о котором не сводится к примитивщине о нейрончиках и проводах между ними.
Вообще-то напоминают. В том числе и наличием порогов у нейронов (порог активации и максимальная частота спайков).
Трудно быть скептиком нейросетей, будучи в то же время одной из них…
Они слишком разные )
Есть ощущение, что разница примерно как между птицами и вертолётом: да, в деталях — отличий полно, но аэродинамика определяет схожесть конструкций по многим параметрам…
Да, птиц и самолеты часто приводят в пример, когда объясняют разницу между нейросетями в computer science и в нейробиологии )
Можно хоть 5 пунктов различий?
Чтобы набрать 5 нужно заметно лучше знать микробиологию, но как минимум (на примере CNN):
* вычисления CNN точные цифровые, а в природе аналоговые, и это важно в первую очередь в плане получения детерминированного результата, а в природе зависит от нейромедиаторов и массы факторов,
* архитектуры, которые делает человек строго детерминированы и постоянны (как обучил веса, так все и фиксируется)
* процедуры трейна и инференса строго разделены, а в природе не так,
* отдельная богатая тема — забывание,
* нетривиальная зависимость работы нейронов как минимум от глюкозы и кислорода
И, думаю, еще много чего )))

Человек, конечно, вдохновился птицами, но авиация, это в первую очередь весьма нетривиальная инженерия, а не биология. Точно так же для успеха с нейросетями нужно уметь хорошо программировать и уметь готовить данные, а не знать биохимию. Как-то так, если кратко. )
Во-первых микробиология тут совсем не при делах в отличие от нейрофизиологии. По пунктам:
1. Во-первых не факт что в мозгу аналоговое ибо число рецепторов — натуральное число и спайк стандартизирован по длительности с амплитудой. Но самое главное — это не важно. Если сеть не переобучена то небольшие погрешности в результатах вычислений для нее безразличны. Ну и перцептрон Розенблатта ни как не цифровой.
2. Есть примеры как дообучения в процессе работы у искусственных нейросетей (Дота, Го) так фиксированных естественных (зрительный отдел с которого потырены эти ваши сверточные сети).
3. Это вообще не про нейросети, а про способы их обучения.
4. А именно? RNN, LSTM и Clock Work уже давно есть. Как именно работает память у нейронов пока не известно, но как станет известно — можно будет накодить аналог за пару дней.
5. Вот только организм стремиться поддержать постоянные концентрации того и другого. То что происходит при выходе из диапазона — нюансы реализации, а не фундаментальные отличия.
И, думаю, еще много чего )))

А я знаю что все будет притянуто за уши с разной степенью силы натяжения. Есть разница между типичными архитектурами — в мозгу RNN, а на компах пока слоистые в основном (хотя и рекуррентные есть). Но при конечном времени работы рекуррентной ей соответствует слоистая. Плюс мы не знаем точно какая именно функция активации во всех-всех нейронах. Но в искусственных нейросетях требований к функции нет вообще если используются не-градиентные методы обучения и «лишь бы дифференцировалась» если градиентный спуск.
Точно так же для успеха с нейросетями нужно уметь хорошо программировать и уметь готовить данные, а не знать биохимию.

Для написания моделей в тензорфлоу особых познаний в программировании не требуется. Биохимия нейрофизиологу нужна примерно так же как ява-программисту архитектура микропроцессоров.
Сдаюсь) Все различия между нейросетями в мозу и CNN приятнуты за уши! ) Уговорили! )
Ваши примеры из разряда «мозг не на кремнии, а на углероде». Все прочие которые я видел — от туда же.
Вы, похоже, хорошо разбираетесь. Можете 5 обоснованных пунктов сходства привести? )
1. В обоих случаях имеем систему простых (по поведению в нормальных условиях, а не по нюансам конструкции) элементов, объединенных в сеть контактами-синапсами.
2. И там и там синапсы могут быть как положительными, так и отрицательными. В случае с нейробиологией они называются возбуждающими и тормозящими. От того через какие синапсы на нейрон приходит сигнал в обоих случаях зависит величина его отклика.
3. Для решения практических задач и те и другие обучаются путем модификации синапсов.
4. Ультранормальные сигналы бывают у обеих даже на хабре писали.
5. Для распознания изображений мозг использует структуры аналогичные CNN.
Во-первых еще не оказалось ибо это препринт. Во-вторых именно что «не совсем»
We show that these phenomena cannot be explained by standard local filter-based models, but are consistent with multi-layer hierarchical computation, as found in deeper layers of standard convolutional neural networks.
Зачем тогда ссылку на препринт было давать?
потому что статья в Nature — платная, вдруг у вас сейчас нет свободных денег на ее аренду. поймите меня правильно, я просто указал на наличие новых данных.
У вас интересные ссылки, спасибо за них!
У меня с работы открылась без вопросов. Возможно институтский айпи помог проверю из дома. Но в любом случае нэйчур бесплатно покажет абстракт из которого уже понятно о чем статья примерно. Аналогично поймите меня правильно — на архиве много чего бывает. В рецензируемых тоже, но вероятность лажы меньше хотя-бы в теории.
кстати, у червяка C-elegans всего 302 нейрона, которые были полностью описаны. И сейчас существует проект на тему как это всё проимитировать в железе: www.si-elegans.eu

Но вообще, интересно что червяку этих 302 нейронов хватает чтобы двигатся, искать еду и размножатся и даже чему-то учится.
Система нейронов пиявки была изучена еще несколько десятилетий назад. Меня, когда я про нее читал, поразило, что столь простая система позволяет пиявке, например, менять своё поведение, когда рядом проходит корова и земля трясется под ее копытами.
В разных работах утверждается, что тут:
K. J. Muller, J. G. Nicholls, G. S. Stent (eds.), The Neurobiology of the Leech, 1981
— изучены не вся сеть, но многие отдельные нейроны в нервной сети пиявки. Причем всего нейронов у неё меньше десяти тысяч, собранных в одинаковые ганглии по 400 штук.
Как говорится в анекдоте: не Волгу а сто рублей, не в покер а в очко и не выиграл, а проиграл.

Вы путаете пиявку с нематодой. У нематоды C.elegans действительно полная карта (коннектом) составлена в этом году — и нейронов и синапсов, у обоих полов, и да, их несколько сотен всего. А вы цитируете книгу про пиявок.
Я путаю? Перечитайте дискуссию: я с того и начал, что сказал, что нервная система пиявки изучена уже несколько десятилетий назад. Да, я то ли был введен в заблуждение каким-то старым учебником, то ли неправильно его запомнил, и на самом деле полная карта нервной сети пиявки ни тогда, ни даже сейчас не готова, однако она действительно была довольно подробно изучена сорок лет назад и продолжала изучаться в последующие десятилетия. Причем выяснилось, что нейроны как таковые — это только часть дела: изучаются детали их поведения.
Он просто использует силу рекуррентных нейронных сетей и генетических алгоритмов обучения. Мы же не можем нормально учить чистые RNNки (хотя придумали несколько хаков для обхода проблемы) ибо ресурсов обычно хватает только на градиентный спуск, о он не всегда работает о чем и в статье было.

Кстати, есть ещё плесень, которая вообще коллектив одноклеточных организмов, тоже может решать "сложные проблемы" и обладает коллективной памятью: https://en.m.wikipedia.org/wiki/Physarum_polycephalum

Решение проблемы кратчайшего пути, транспортировки, память… Забавно! ) Я далек от этой темы, но все равно у вас очень интересные ссылки, спасибо!
Но вообще, интересно что червяку этих 302 нейронов хватает чтобы двигатся, искать еду и размножатся и даже чему-то учится.
Интересный пример! Походу наши текущие нейросети с миллионами нейронов чудовищно неэффективны, как минимум, которые в управлении задействованы. ))) Ну или есть большие резервы, это более конструктивная постановка вопроса.

Была недавно статья о том, что в нейронке есть меньшая подсеть, дающая те же результаты и о том, как её найти.

Ну и ещё был интересный доклад на neurips 2018, про вычислительные способности организма: https://nips.cc/Conferences/2018/Schedule?showEvent=12487
Там, помимо всего прочего говорилось про плоских червей, топовых которых можно "обучить", потом отрезать бошку и когда она регенерирует, то они своё обучение вспоминают. (7ой слайд, 7:15 на видео)

Я таки влезу в ваш спор со своим мнением.
1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы). По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности. Эта система всяко сложнее, чем искусственные НС, где этого нет. У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.
2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).
3) Когда "суммируются" спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.


По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.
Возможно, мы имеем перед глазами пример схем наших компьютеров (из элементов и-или-не), и пытаемся натянуть эту модель на реальность, а в реальности элементарная база работает, например, с учётом времени или с учётом контекста, а не как простая функция двух аргументов. А как работает — непонятно, ибо мудрено.

Очень интересно, спасибо! Вам надо статью писать, а то выше вашу карму поднять нельзя )))
1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы).
Нейромедиатор — это тупо передатчик сигнала через химический синапс. То что он конечен и его поедание теоретически может улучшить работу мозга (хотя не факт что были нормлаьные клинические исследования) — издержки элементной базы.
отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы
Еще раз, когда у вас хоть глюкоза хоть кислород выйдут из физиологического интервала — мозгу будет плохо. Так что в нормальных условиях их влияние — константа.
По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности.

Ужос-ужос, как по вашему современная фармацевтика-то работает если «рецепторы работают по отдельности»? Рецепторы нейромедиаторов ни чем не отличаются от прочих мембранных рецепторов — та же «рука-перчатка» бывшая «ключ-замок».
Эта система всяко сложнее, чем искусственные НС, где этого нет.

Эта система, во-первых, вполне простая и понятная, если в ВУЗе молекулярную биологию хоть немного изучать, во-вторых нужна только для того чтобы изменить число спайков в единицу времени у нейрона.
У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.
Еще раз, вся эта система нужна только для того чтобы нейрон решил возбуждаться ему или нет. У искусственных нейронных сетей ту же функцию выполняет взвешенное суммирование.
2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).
«Поменять вес» можно в том числе занулив его (оборвав синапс), или сделав зануленный вес ненулевым (протянув его). Можно вообще сделать веса тройкой (-1,0,1) но учить придется генетическими алгоритмами со всеми вытекающими.
создавать связи в рантайме — это очень нетипично для искусственных НС

Не типично, но возможно и исследуется. Я вот с такими сейчас работаю.
3) Когда «суммируются» спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.

Эффекты есть и вполне понятные. У мембраны есть период за который она восстанавливает потенциал действия и не реполяризуется в принципе, но он достаточно короткий. У нейронов сетчатки есть «усталость» — он со временем перестает реагировать на постоянный раздражитель, что используется при сканировании глазом пространства. А те же нейромедиаторы четко делятся на тормозящие и возбуждающие и частота спайков — функция от концентрации тех и других в синаптической щели.
По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.

О теореме Цыбенко в курсе? Искуственый нейрон вообще не обязан иметь ту же передаточную функцию что и естественный — для того чтобы аппроксимировать любое поведение реального нейрона достаточно нейросети прямого распространения с одним скрытым слоем. Разрывов у аппроксимируемой функции в данном случае не будет ибо бесконечного числа спайков не бывает. Входные сигналы ограничены конечным интервалом так что в данном случае успешная апроксимация синоним тождественности.
как по вашему современная фармацевтика-то работает если «рецепторы работают по отдельности»?

По-моему, современная фармацевтика работает недостаточно хорошо, чтобы полностью излечить какую-нибудь шизофрению (могу ошибаться). Не потому ли, что полного понимания взаимодействия всех компонентов пока нет?


«Поменять вес» можно в том числе занулив его (оборвав синапс), или сделав зануленный вес ненулевым (протянув его). Можно вообще сделать веса тройкой (-1,0,1) но учить придется генетическими алгоритмами со всеми вытекающими.

Убрать связь, занулив вес, легко. А вот обратное — уже сложнее. Наличие связи должно быть предусмотрено в архитектуре ИНС, чтобы можно было задать ненулевой вес. Разве в tensorflow или его аналогах можно просто прокидывать связи между произвольными нейронами различных слоёв, да ещё и в рантайме?


Эффекты есть и вполне понятные. У мембраны есть период за который она восстанавливает потенциал действия и не реполяризуется в принципе, но он достаточно короткий. У нейронов сетчатки есть «усталость» — он со временем перестает реагировать на постоянный раздражитель, что используется при сканировании глазом пространства.

Эти ваши описания говорят о том, что нейрон описывается какой-то системой дифференциальных уравнений, но не простым суммированием взвешенных входов с функцией активации. sigmoid(sum(w_i * x_i)) выдаёт своё значение независимо от момента вызова, в отличие от биологических примеров, которые вы привели.


Даже если эффекты элементов просты и понятны, суммарный их эффект может быть сложным и неясным.


О теореме Цыбенко в курсе? Искуственый нейрон вообще не обязан иметь ту же передаточную функцию что и естественный — для того чтобы аппроксимировать любое поведение реального нейрона достаточно нейросети прямого распространения с одним скрытым слоем.

Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно? И потом, теорема Цыбенко говорит об аппроксимации функции, а у нейрона — передаточная функция, выражаемая дифурами. Или я что-то понимаю не так, и есть какое-то относительное простое полное описание поведения нейрона, которое точно эмулируется с помощью простой ИНС?


в ВУЗе молекулярную биологию хоть немного изучать

к сожалению, не изучал. Есть чо что почитать (похардкорнее)?

По-моему, современная фармацевтика работает недостаточно хорошо, чтобы полностью излечить какую-нибудь шизофрению (могу ошибаться).

Чтобы полностью излечить шизофрению — нужно знать ее точную первопричину (вирус? мутация?). Если же известно на какие рецепторы воздействовать — препарат синтезируется быстро и решительно в том числе с помощью тех самых нейросетей (для расчетов).
Не потому ли, что полного понимания взаимодействия всех компонентов пока нет?

Нет понимания на совсем другом уровне. Известно что при шизе падает количество синаптических связей, причина этого процесса пока не известна, но она почти наверняка не связана с обработкой информации (иначе психотерапия бы давала радикальную ремиссию).
Убрать связь, занулив вес, легко. А вот обратное — уже сложнее. Наличие связи должно быть предусмотрено в архитектуре ИНС, чтобы можно было задать ненулевой вес. Разве в tensorflow или его аналогах можно просто прокидывать связи между произвольными нейронами различных слоёв, да ещё и в рантайме?

Во-первых в мозге денриты из затылочной доли в лобную не прорастут. Во-вторых даже в тензорфлоу можно делать граф любой желаемой структуры. С прокидыванием в рантайме сложнее — я лично мне для таких экспериментов самописной обучалкой пользуюсь.
Эти ваши описания говорят о том, что нейрон описывается какой-то системой дифференциальных уравнений, но не простым суммированием взвешенных входов с функцией активации. sigmoid(sum(w_i * x_i)) выдаёт своё значение независимо от момента вызова, в отличие от биологических примеров, которые вы привели.

Не говорят. Кулдаун мембраны — около десятка миллисекунд. На порядок меньше даже времени рефлекторной реакции. Усталость в функцию активации (например уменьшая биас) вписать не проблема даже в тензорфлоу — вопрос только нафига и как это учить без возможности гонять генетический алгоритм поколений так миллион да на популяции в миллионы единиц.
Даже если эффекты элементов просты и понятны, суммарный их эффект может быть сложным и неясным.
ИНС основаны именно на том что суммарный эффект у стопки последовательных нелинейных регрессий сложен. И у хардкорных не упорядоченных архитектур вроде простого перцептрона или простых рекуррентных еще и не понятно как это работает если вдруг да смогло чему-то научится.
Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно?

Про эффективность расскажите сетчатке у которой между рецепторами и собственно нейроном с доступом к оптическому нерву слой нейронов-прокладок. При том что это чудо является фильтром реагирующим на градиент и в CNN задается одним нейроном.
Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно? И потом, теорема Цыбенко говорит об аппроксимации функции, а у нейрона — передаточная функция, выражаемая дифурами. Или я что-то понимаю не так, и есть какое-то относительное простое полное описание поведения нейрона, которое точно эмулируется с помощью простой ИНС?

Есть живой нейрон. На входах у него внешние раздражители и, возможно, время, на выходе — частота спайков. Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей. Если же взаимно-однозначной связи между частотой спайков и входными сигналами нет — значит нейрон на выход передает шум и мозг из таких нейронов не сможет обрабатывать информацию кроме как Промыслом Божьим. Если же функция есть, то она гарантировано опишется сетью с одним скрытым слоем если только у нее нет разрывов. А разрывов у нее быть не может ибо частота спайков не бывает бесконечной. Следовательно, если мы исключаем Промысел Божий, любое биологически-возможное поведение живого нейрона опишется нейросетью из искусственных нейронов с одним скрытым слоем. А живому мозгу, соответственно, можно поставить в соответствие ИНС. Кому как а мне лично кажется что это вполне достаточные основание считать мозг нейросетью.
к сожалению, не изучал. Есть чо что почитать (похардкорнее)?

По-хардкорнее нет ибо учил больше 10 лет назад и специализировался на те самые нейросети, причем до того как это стало мейнстримом. А так на вскидку вспоминаются Волькенштейн «Молекулярная Биофизика» и Рубин «Биофизика» — книжки устарели, но базу достаточную для понимания о чем пишут в журналах все еще дают.
Про эффективность расскажите сетчатке у которой между рецепторами и собственно нейроном с доступом к оптическому нерву слой нейронов-прокладок. При том что это чудо является фильтром реагирующим на градиент и в CNN задается одним нейроном.

Если сетчатка менее эффективна, чем CNN, это не значит, что остальные части мозга менее эффективны, чем попытки их эмулировать. По крайней мере, пока нет (более эффективного) эмулятора.


Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей. Если же функция есть, то она гарантировано опишется сетью с одним скрытым слоем если только у нее нет разрывов.

зависит от раздражителей (и, может быть, времени) взаимооднозначно

Ваши же примеры ("У нейронов сетчатки есть «усталость»") это опровергают. Для "усталости" выходное "значение" нейрона должно зависеть от входных сигналов, времени, предыдущего состояния нейрона. А не, как вы говорите, "от раздражителей" (если, конечно, вы не считаете раздражителями время и состояние нейрона, тогда да).
И, кажется, вы всё-таки путаете функцию как модель нейрона и передаточную функцию нейрона (которая — краткая запись диффуров, описывающих поведение во времени). Чтобы аппроксимировать передаточную функцию, нужно на вход ещё и время и состояние передавать. Это у вас всё-таки рекуррентная сеть получится (и довольно большая), а не скрытый слой по Цыбенко.


любое биологически-возможное поведение живого нейрона опишется нейросетью из искусственных нейронов с одним скрытым слоем. А живому мозгу, соответственно, можно поставить в соответствие ИНС

… на порядок-другой более сложную, чем мозг, если использовать ваш подход замены 1 нейрона на ИНС со скрытым слоем. И обучать вашу ИНС, наверно, будет сложнее по причине большего объёма. А если подойти с другой стороны, можно сократить число искусственных нейронов, если использовать более близкую к действительности модель отдельного нейрона. (не пойму, почему вы приравниваете нейрон к ИНС. они не эквивалентны по крайней мере для реализации. возможно, какие-то диффуры будут более адекватны для этой цели)


Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей.

А вообще доказано, что нейроны управляются частотами спайков, а не, скажем, задержками между отдельными спайками или разностью фаз? Просто в последних случаях может иметь значение задержка передачи сигналов по разным путям, а в искусственных нейронах этого принципиально нет — сеть работает как бы мгновенно. Не допускают ли эксперименты других интерпретаций?

Весь deep learning это просто хорошая универсальная оптимизационная модель, оптимизируемая при помощи стохастического градиентного спуска. Не более и не менее. Мозг работает совсем по другому.
Если кратко 5 отличий (хотя очень многое уже перечислили):


  1. Количественное, в самых глубоких CNN, типа VGG19, порядка 10^8 весов, это примерно мозг мушки дрозофилы. В мозгу человека порядка 10^11 связей.
  2. Связи в мозгу аналоговые это один момент, второй момент, активационная функция максимально близко, на сегодня, моделируется импульсными нейросетями (afaik). Для них алгоритм обратного распространения ошибки не работает, ну и SGD тоже.
  3. Принципиальное отличие в способности к обобщению информации, мозг умеет в single-shot learning, нейросетки — не очень, и это одна из фундаментальных проблем на сегодня.
  4. Современные "хардварные" проекты которые пробуют воспроизвести мозг, это в
    первую очередь blue brain и spiNNaker всегда делают оговорку, что модель больше про физиологию, а не когнитивные функции.
  5. Ну и нельзя забывать про принципиальные проблемы воспроизведения сознания, про которые очень хорошо сказано, что вся современная наука это про третье лицо, а сознание — это первое лицо. Парадокс китайской комнаты, летучей мыши и т.д.

Хотя тем не менее есть хорошие публикации которые проводят некоторые параллели между мозгом и нейростеями. Ближе всего наверное функционирование визуального кортекса, вот например очень крутая статья, одного из основоположников нейрофидбека, — https://link.springer.com/article/10.1007/s00429-019-01828-6

Артем, у вас великолепный содержательный развернутый комментарий, спасибо!

У вас хорошая статья, спасибо! Не со всеми тезисами согласен, но про то, что CS становится экспериментальной наукой, очень верно подмечено. И selective reporting конечно же)))
Про ситуацию в целом в CV и ML после AlexNet-а можно много дискутировать, но сейчас это наиболее быстро развивающаяся сфера. Очень интересно наблюдать например за cite score CVPR, в 2012 году было 3.23, а в 2018 — 37.26, больше чем у Nature. Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно. В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))


Мой комментарий выжимка лекции, я студентам рассказываю, про отличия между нейронками и мозгом, и скоро ли мы придем к сильному ИИ и сингулярности)))

Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно.
О, да…
В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))
Для отдельных направлений, согласен, изменения тектонические и фундаментальные. А в целом для CS — это скорее появление нового технологического уклада (т.е. не столь фундаментальная вещь, хотя и важная, конечно). У меня про это в следующей статье, непонятно успею ли ее до Нового года. Если не успею — отложится до конца января)

У вас интересные лекции, похоже )
У вас интересные лекции, похоже )

Спасибо за высокую оценку, очень хочется надеяться.


С хорошим курсом, как и с хорошими публикациями есть проблема российской специфики. Хочется сделать хороший курс, и собственно абсолютно понятно, как можно сделать близко к идеалу, ну а может и в чем-то лучше чем, в частности, пресловутый http://cs231n.stanford.edu/
Но ресурсов не хватает от слова совсем… Смотришь на их Instructors+Teaching Assistants — 26 человек, и грустно становится.


В итоге лекции по двум курсам deep learning для мастеров, и перспективные информационные технологии для аспирантов еще более-менее, а на хорошие лабораторки и материалы к курсу времени катастрофически не хватает.
Хотя да, есть желание сделать курс Нейроинформатики в котором был бы и deep learning и neuroscience.

Смотришь на их Instructors+Teaching Assistants — 26 человек, и грустно становится.
Да, у нас необходимость Teaching Assistants не осознана, это суровая печальная реальность. Сейчас ситуация будет меняться с МООК (которые вузы 5/100 вводят вполне), поскольку там Teaching Assistants нужны по определению.
Хотя да, есть желание сделать курс Нейроинформатики в котором был бы и deep learning и neuroscience.
Очень хорошая богатая тема! Будете хотя бы на youtube что-то класть — присылайте ссылки.
Весь deep learning это просто хорошая универсальная оптимизационная модель, оптимизируемая при помощи стохастического градиентного спуска. Не более и не менее

Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).
Не более и не менее. Мозг работает совсем по другому.

Промыслом божьим? Том же зрительному отделу требуется решать именно задачу классификации. Для решения которого у него есть та самая универсальная оптимизационная модель из простых узлов связанных модифицируемыми синапсами, правда оптимизированная в основном генетическими алгоритмами.
Количественное, в самых глубоких CNN, типа VGG19, порядка 10^8 весов, это примерно мозг мушки дрозофилы. В мозгу человека порядка 10^11 связей.

Если ваш тезис «мозг работает совсем по-другому» то к чему количественные отличия вообще приводить?
Связи в мозгу аналоговые

Что такое по вашему «аналоговая связь», почему в мозгу именно она (какая из трех, кстати?) и чем она принципиально отличается от умножения на синапс?
активационная функция максимально близко, на сегодня, моделируется импульсными нейросетями

Давным-давно доказано что активационная функция может быть любая нелинейная.
Для них алгоритм обратного распространения ошибки не работает, ну и SGD тоже.

Вот только к тезису «мозг — не нейросеть» это отношения не имеет. Нейросеть — это вычислительный граф в узлах которого происходит взвешенное суммирование входных сигналов, добавление смещения и взятие не-линейной функции. Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.
Принципиальное отличие в способности к обобщению информации, мозг умеет в single-shot learning, нейросетки — не очень, и это одна из фундаментальных проблем на сегодня.

Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС. Следовательно формального доказательства невозможности решения проблемы с помощью ИНС нет.
Современные «хардварные» проекты которые пробуют воспроизвести мозг, это в
первую очередь blue brain и spiNNaker всегда делают оговорку, что модель больше про физиологию, а не когнитивные функции.

Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят. При этом проводится куча не нужных для собственно моделирования когнитивных свойств мозга вычислений вроде работы калий-натриевого насоса.
Ну и нельзя забывать про принципиальные проблемы воспроизведения сознания, про которые очень хорошо сказано, что вся современная наука это про третье лицо, а сознание — это первое лицо.

Это вообще не про биологию с математикой, а про философию.
Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).

deep learning это примерно как "нейропроцессор", по большей части маркетинговый термин. Я его употребил как обобщение всех нейросетевых подходов, которые умеют переваривать большие выборки. Вы расширили мой тезис, с чем я совершенно согласен — все нейронные сети, не только глубокие, это универсальный аппроксиматор, согласно Цыбенко))) Т.е. все это — просто очень хороший метод оптимизации.
То, что мозг обучается на основе однокритериальной оптимизации — маловероятно, слишком неэффективно. Если есть пруфы, что это действительно так — приводите.


Давным-давно доказано что активационная функция может быть любая нелинейная.

Ну строго говоря, не любая. Если я я правильно помню, теорема Цыбенко доказана для сигмоиды))), есть требование не полиномиальности, 95 года по-моему. И все теоремы не конструктивны, не дают ответа как эффективно подобрать параметры модели, а SGD дает. Теоремы обосновывают модель, а SGD и его производные — относительно эффективный метод оптимизации.


Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.

Можно хоть перебором, вопрос в скорости сходимости.


Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС.

Проблема few-shot learning не решается в лоб при помощи классических CNN, пока что ее решают разными хаками, специфичными для разных задач.
Эта проблема сложная, но подходы к ее решению вроде как есть. Тот же самый reinforcement.


Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят.

Все так, исходный тезис был в том, что моделей когнитивных функций мозга на сегодня нет)))


Это вообще не про биологию с математикой, а про философию.

Это к сожалению не про философию, а про методологию, на основе которой можно создать сильный ИИ. Если мы не знаем, как физическая система порождает субъективный опыт, мы не сможем построить такую систему))) И в отличие от проблемы few-shot learning тут даже примерно подходы не прослеживаются. Ну кроме полного перебора)))

Ура, ни я один… но почему «относилСЯ», уверовали?
))) Я же выше пишу. Сети развились до состояния, когда они реально начали бить state-of-the-art алгоритмы в нашей области. Реально — значит на очень больших наборах данных, а не только на том, на чем точился автор, когда писал статью )))

Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.
Имеется ввиду в работе, когда переобучились?

Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».
Это характерная черта любого хайпа. Ровно 10 лет назад я наблюдал хайп 3D стерео. Все то же самое. В область ринулось огромное число людей (по масштабам области) с крайне начальными знаниями предметной области. И это был кошмар. Они же 3D и убили. Впрочем, как я уже подробно писал — всем бы областям такую смерть (развитие идет очень бодро). А так — да, время хайпа. Большая волна. Много пены и брызг)
Количество не всегда переходит в качество.
Безусловно. И я даже привожу пример — 3D-стерео постоянно, как область, где качетво появилось, но уже после того, как люди довольно массово разочаровались, что если не убило, то сильно подкосило рост области.
Невоспроизводимость, по нейросетям, это полбеды. Алгоритмы усложняются и воспроизвести окружение становится сложнее, но все таки можно. Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.

В нейросетях есть довольно много проблем, но с помощью них можно решить задачи, которые слишком сложны для того, чтобы взять и просто решить их алгоритмически.


Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».

Действительно, современная алхимия. Но от алхимии нейросети отличаются тем, что в ряде случаев они работают. Даже не знаю, хорошо это или плохо.

с помощью них можно решить задачи, которые слишком сложны для того, чтобы взять и просто решить их алгоритмически.

Детерминированные алгоритмы -> рандомизированные алгоритмы -> нейросети. Интересно, как может выглядеть следующий пункт списка?

Интересно, как может выглядеть следующий пункт списка?
Что-то, выросшее из AutoML, очевидно. )

Эволюция нейросетей при условии радикального снижения их энергопотребления.

+1. Планирую про это в следующей статье написать)
Но от алхимии нейросети отличаются тем, что в ряде случаев они работают.
А кто вам сказал, что алхимия никогда не работала? Вы с астрологией не путаете? Вот в астрологии — вообще ничего такого, чтобы кто-то что-то сделал, а потом кто-то другой — это повторил. Сплошная магия.

А алхимия — она как раз постепенно «доросла» до повторяемости и превратилась, со временем, в химию…
А кто вам сказал, что алхимия никогда не работала? Вы с астрологией не путаете?

Читаю статью на вики и совсем не вижу разницы. Всё наподобие "Золото как совершенный металл образуется, только если вполне чистые сера и ртуть взяты в наиболее благоприятных соотношениях." Какие-то философские камни, эфиры, бессмертие, нумерология… Из работающего только дистилляция.

Из работающего только дистилляция.
То есть золото в «царской водке» начало только после Менделеева растворяться? Фильтры в химии больше не нужны? Или фарфоровые чашки стали «ненастоящими» из-за того, что у людей, которые разработали процесс была каша в голове?

Теоретические «труды» алимиков из сегодняшняго для смотрятся смешно… но вот практическая полезность того, что они наделали — несомненна.

Примерно как и с современной наукой и нейронными сетями, на самом деле…
А алхимия — она как раз постепенно «доросла» до повторяемости и превратилась, со временем, в химию…

Карно, судя по ряду источников, вывел свой цикл исходя из теории флогистона. И ряд других законов термодинамики выведена с его же помощью.
Но это не мешает им работать до сих пор.
Именно. Ситуация похожа на то, что творится сейчас с нейронными сетями: да, они работают, да, с их помощью делают полезные вещи… но я уверен — лет через 100 (а может даже 50) над сегодняшними теориями, с ними связанными, все будут просто угорать от смеха — как от «вполне чистых серы и ртути взятых в наиболее благоприятных соотношениях»…
проблема Publish or Perish в слишком узком горле научных журналов. Если бы Хирш или другая наукометрия (и вытекающее из неё финансирование) рассчитывалась по всему АрКСиву то публиковались бы гораздо больше и не было бы такого надрыва.

Тогда бы было слишком легко хакнуть наукометрию, нагенерировав сто тысяч корчевателей со ссылками друг на друга. Не могу найти ссылку, но вроде бы таким образом удавалось задрать до небес индекс Хирша по версии Google Scholar (а это отнюдь non penis canina est) для несуществующего учёного.


"Горло" на входе в журнал делает очень важную штуку — отделяет действительно научные работы от фричества, откровенно косячных исследований, рандомного спама, повторов ранее опубликованного и прочего такого. Не уверен насчёт arxiv, но в его биологическом аналоге biorxiv фильтр гораздо менее строгий. Живые редакторы там есть, но они только проверяют, что публикуемое более-менее похоже на научный текст (а не рекламу, пиратские художественные книги и т.п.). Контроля качества нет.

Тогда бы было слишком легко хакнуть наукометрию, нагенерировав сто тысяч корчевателей со ссылками друг на друга
Абсолютно так. Тема прокопана довольно хорошо и даже русских примеров полно:

У меня вся папка спама забита предложениями опубликоваться от сомнительных контор. Очевидно, раз они столько шлют, то кто-то на это идет и платит.
это как раз вопрос правильной наукометрии. Алгоритм должен быть защищен от накрутки и в то же время формализован и механизирован.
А также желательно относительно просто считаться и с понятной легко принимаемой логикой ))) И это непросто.
ну так какому как не ученым разработать правильный алгоритм и совершенствовать его? А они только открещиваются от всей наукометрии «платите всем поровну!»

А потом удивляются что госфинансирование направляется условному Петрику.
Хотя все сделано точно по рецептам ученых: финансируются поровну все кто назвался ученым.

Простите, non penis canis est.

Ваша правда, canis. Я почему-то думал, что в этой присказке только est не хватает.

Ещё лучше будет non verpa canis est.
"«Горло» на входе в журнал делает очень важную штуку — отделяет действительно научные работы от фричества, откровенно косячных исследований, рандомного спама, повторов ранее опубликованного и прочего такого."

это очень непроизводительная проверка и неформализованная. В результате масса хороших статей не может пробиться через это узкое сито. Не потому что плохие, просто не влезли
В результате масса хороших статей не может пробиться через это узкое сито. Не потому что плохие, просто не влезли

Есть пруфы этого утверждения? Не касаясь nature/science, а про обычные хорошие тематические журналы.
Но вот допустим. Обучается огромное количество аспирантов. Постоянно появляются докторы и профессоры. Кажется невероятным, чтобы каждый из них генерировал на регулярной основе качественную фндаментальную статью. Я когда писал, то сознательно делил работу на несколько статей, выдавая по чайной ложке в полгода. И то мне говорили мало, тебе надо десяток статей. То есть, с одной стороны, система заставляет тебя проводить DoS-атаку на журнал. С другой, качество при раздаче плюшек не проверяется, зато количество — очень даже. А журналы как раз наоборот типа проверяют качество. Требования диаметрально-разные, а между ними научный сотрудник. С третей, что-либо гениальное создать трудно, приходится писать какую-либо обывательщину. А не писать нельзя. И весь этот ажиотаж с искусственным созданием «горла» по сути проверка на зрелость, пролезешь ты или не пролезешь. Если не пролезешь, гири будут пилить другие, но не ты. По сути это все завуалированная конкуренция за кормовую базу. Без горла тут совершенно никак нельзя, оно есть база.
«Без горла тут совершенно никак нельзя, оно есть база.»

Очень непроизводительно работает такая система оценки. Горло ДДОС атакуется, на эти атаки и защиту от них тратится половина ресурсов «базы».

Нужна более механизированная система, которая оценивает все написанные статьи без разбора.

я не работал с 3D, кто-нибудь из специалистов может прокомментировать историю создания стенда с головой — неужели сделать программную генерацию/мутацию 3D-модели было сложнее, чем стенд с манекеном?
Если кратко — да, для реальных волос сложнее. Цель: много реальных чистых данных для обучения. Реальные — значит с шумами, артефактами интерполяции байеровского паттерна и прочими радостями субпиксельного уровня (посмотрите в википедии толщину волоса). Там еще есть масса приколов с отражениями (каждый волос отражает!). Вы не представляете счастье моделирования всего этого, а тут карта отражений вполне строилась и весьма точно. Вообще эта история достойна отдельного поста, может руки дойдут.
артефактами интерполяции байеровского паттерна и прочими радостями субпиксельного уровня (посмотрите в википедии толщину волоса)
Вот кстати, а монитор в качестве фона вам эти радости не даёт? Не стоило хотя бы бумажный лист — рассеиватель применить?
Вот кстати, а монитор в качестве фона вам эти радости не даёт? Не стоило хотя бы бумажный лист — рассеиватель применить?
Там видно, что снималось на неплохой фотоаппарат, у него глубина фокуса, естественно, настраивалась и поэтому проблем не было (фоновый экран был чуть уведен из резкой области, а манекен был полностью в фокусе). Бумажный лист бы не сработал, там важна была шахматка. Таки напишу, наверное, пост… Явно детали интересны)

Если артефакты — ОК, то чем вам помешал ветер?

Если артефакты — ОК, то чем вам помешал ветер?
Есть врожденные артефакты камеры (которые есть у всех камер), а есть — у датасета. Снималось видео методом stop-motion, когда каждый кадр состоял из 5 кадров с разным фоновым освещением. Получается фактически 15-канальное изображение, из которого можно было «близко к идеалу» выделить маску прозрачности (независимо от цвета объекта) и маску отражения (важный бонус 15-канальности). Потоки воздуха колыхали волосы и на разных каналах из этих 15-ти они получались чуть-чуть в разном месте. Это полный непорядок (кадр шел в брак), который устранил короб).

У меня была когда томысль, что Facebook в первую очередь это датасет тегированных фото (в основном людей), и чисто с этого он может жить не так важно что именно они будут обучать, важно что они могут сделать просто идеальную распознавалку людей по фото

А после этой статьи я стал думать, что у них и для текстов теперь есть офигительный датасет

вторая жизнь Web 2.0 (в смысле user generated content ))
Добрый день!
Спасибо за статью, интересный взгляд.
Но мне кажется, что кризис жанра несколько в другом. Я не спорю, что статьи ужасны. Но это в том же ComputerVision было сильно до нейронных сетей. Я эту тему с 2008 года где-то пилю — и всегда всё одинаково. Результаты «неточны»/«не воспроизводимы»/«не имеют смысла»/" раздуты". Просто раньше это было значительно сложнее поймать (я помню сколько времени занимала сборка и установка OpenCV году в 2010...). Но вот, например, моя статья на Хабре за 2014 год, когда я показываю что алгоритм усиления движений работает на реальных данных сильно хуже чем приводят авторы. Сегодня тестировать сильно быстрее статьи в 90% случаях при наличии исходников. Есть некоторые сформировавшиеся правила приличия.

На мой взгляд текущий кризис скорее про неоднозначность постановки целевой задачи. Взять ту же медицину. Ну нет сегодня в ней задачи «найти рак по маммографии». Нет таких ответов в терминологии современных врачей. Она куда шире/богаче/неоднозначнее. И именно оттуда идёт неоднозначность датасетов/неоднозначность применения и понимания.
Нейронки это очень тонкий инструмент, которым можно очень круто решать некоторые задачи в ограниченной постановке. Но эту постановку надо сначала создать/оттестировать/понять. А это могут единицы. Это не могут инвесторы. Не могут большинство руководителей проектов. И тем более не может младое поколение нейроучёных.
И уже из этой проблемы неоднозначности + навязанного статьями мнения «всё хорошо работает» — прут все дальнейшие проблемы…
Видел сайт вашей команды, привет коллегам! )
когда я показываю что алгоритм усиления движений работает на реальных данных сильно хуже чем приводят авторы.
Это тот самый Selective reporting и этого в статьях кошмар как много. Если массу брать, то 50% статей минимум.
На мой взгляд текущий кризис скорее про неоднозначность постановки целевой задачи.
Тут скорее возможна дискуссия из разряда «а чем еще болен наш пациент»), ибо список недугов обширен и печален.
Это не могут инвесторы. Не могут большинство руководителей проектов. И тем более не может младое поколение нейроучёных.
Однозначно.

Мне первым делом приходится объяснять студентам: «Сразу исходите из того, что 97% статей — мусор». Это жесткая постановка вопроса, но она сразу нацеливает искать, причем зачастую не под фонарем, а в стороне от мейнстрима (заточенного на сверхрезультат на очередном узком датасете или типа того).

Отличная статья! Узнал текущее состояние дел. Теперь какие нибудь товарищи перепишут её более простым языком на более мелкие статьи и прославятся. Представляю жёлтые заголовки — "скоро нас будут лечить лекарствами которые никто не проверял", "наука больше не работает" и т. п.

Никогда не трекал, как копирайтеры мои растаскивают тексты. В какой-то момент руки дойдут, наверное. Ну или кто-то их хабровчан (в яндексе, например) напишет программу определяющую дерево переделок текстов ))). И мы узнаем много нового о том, «как наше слово отзовется» (с) ))
Качество статьи можно измерять как время полного распада на жёлтые заголовки.
Лет 50 прошло, а ничего не меняется. Фейнман уже все описал
Фейнман великолепен (в том числе как популяризатор)! ) А его шутки из той же книжки, как он троллил безопасников — это просто маленький шедевр)))

Но что ничего не меняется я не согласен категорически. Всё становится скорее заметно хуже! )

Пользуясь случаем поделюсь своим проектом о воспроизводимости. Идея — сделать так, чтобы воспроизвести результат работы распределённой задачи можно было с помощью одной не очень длинной команды. Например, такой:


mpiexec_docker alexbers/mpiexec-docker-example:exp0 -np 2 /root/hello

Внутри используется докер, который умеет интегрироваться с популярными технологиями, используемыми на кластерах: MPI, самой популярной технологией распараллеливания, и Slurm'ом, одним из самых популярных менеджеров ресурсов.


https://github.com/alexbers/mpiexec-docker.


У себя на кластере мы используем Podman вместо Docker'а, в нём есть киллер-фича — rootless-mode.

Только вот тэги в докер-реестре можно перезаписывать, и нет никакой гарантии что то что сегодня называется exp0, через год останется тем же самым.

Для вопроизводимости важно получить те же выходные результаты на тех же самых входных данных. Если тег переписан так чтобы это свойство сохранялось — проблем нет. В ином случае автору научной статьи не выгодно переписывать теги — результаты работ могут быть подвергнуты сомнению из-за того, что не получается воспроизвести.

Одна из рабочих групп MLPerf — Best Practices — занимается похожим. Текущий упор на повторяемости (reproduciability) и переносимости (portability) с технической точки зрения.
Данная проблема очень стара. Даже, казалось бы в простых вещах, например пайка микросхем, не имея опыта повторить удастся далеко не с первого раза. Это приводит к возможности повторения эксперимента только человеком, занимающимся той же или очень близкой темой. Из-за этого проблема воспроизводимости стоит очень остро. К ней добавляется стоимость проведения эксперимента, в простейшем случае это человеческое время. Да даже при написании пошаговой инструкции по работе (или настройки) программы приходится проводить процедуру с нуля несколько раз, а после написания опять проверять работоспособность алгоритма. А денег на такую, казалось бы уже произведенную работу, никто не дает.
В результате получается — или пиши статью по «сырым» данным и пытайся «проскочить по-быстрому» рецензирование, или трать кучу времени на подробное описание методологии, что все равно не гарантирует прохождения рецензирования.
В естественно-научных дисциплинах при рецензировании много внимания уделяется оценке методологии, но не пытаются повторить эксперимент, так как слишком дорого. Вероятно из-за этого процент экспериментов, которые невозможно воспроизвести ниже, хотя на мой взгляд он наоборот должен быть выше, так как часто стоимость экспериментов очень высока.
Закон лаборатории Фетта. Никогда не пытайтесь повторить удачный эксперимент.
Ну и непосредственно мошенничество как причину указывают в 40% случаев, т.е. довольно часто. Недавно я общался с китайским профессором
Кличка?)
Раньше, сильно раньше, вроде бы была практика приглашать получившего результат исследователя к себе в лабораторию и показать или, скорее, развить свой успех на тех же методиках. Тоже вполне себе воспроизводимость. А теперь такое бывает?
О вот мы и пришли к «брэйн оверфлоу» — тому моменту истории, когда скорость производства результатов исследований превышает скорость их восприятия, понимания и проверки. Один из важных барьеров на пути к сингулярности, когда понимание исследований упирается в природные ограничения когнитивных способностей и время затраченное на понимание и анализ сторонних исследований вытесняет время на свои исследования почти полностью Интересно, как он будет преодолен.
Пока еще не подошли, но приближаемся. Людей, которые в состоянии весь спектр трекать и эффективно отслеживать будет все меньше.
В пору моей работы в университете неоднократно сталкивался — все эти диссертации в значительной части являются фейками. Автор написал чего-то там достиг. Но в реальности ничего нет, представлена всего-навсего сырая заготовка, которую что не факт, что удастся довести до ума. Те, с кеми пил водку с кем хорошо знаком сами призновались в этом в частном порядке. Те, кто сами не говорили — просто исходя из своих знаний мне было видно, что это не так, что у них понарасписано красиво.
А какой это был университет?

По моему опыту это очень сильно зависит от вуза. И даже в относительно «слабых» вузах встречаются люди на уровне с хорошими публикациями и хорошими работающими результатами. Часто они разрываются между компаниями и интересной им наукой, правда.
А какой это был университет?

По моему опыту это очень сильно зависит от вуза. И даже в относительно «слабых» вузах встречаются люди на уровне с хорошими публикациями и хорошими работающими результатами. Часто они разрываются между компаниями и интересной им наукой, правда.


Полагаю, что в любом ВУЗе так.
Одно другому не противоречит. Из того, что много «фейковых» диссертаций, не следует, что все до единой фейковые в слабых ВУЗах.
Полагаю, что в любом ВУЗе так.
К счастью из того, что я вижу, все не так плохо.

Я даже не согласен с вами, что много фейковых диссертаций, наоборот, с прискорбием наблюдаю, как недоделанные диссертации с руками и человеком отрывают компании, что очень печально для университета (поскольку этот человек не защищается).
Я даже не согласен с вами, что много фейковых диссертаций, наоборот, с прискорбием наблюдаю, как недоделанные диссертации с руками и человеком отрывают компании, что очень печально для университета (поскольку этот человек не защищается).


Всё дело в отрасли.

То, что наблюдали вы — наверняка очень прикладная отрасль, где сравнительно быстрый доход для бизнеса. Строго говоря, такие специалисты должны работать или в заводских лабораториях или в университете, но непосредственно по контрактам бизнеса.

А вот с фундаментальными науками, где в результатах исследований нет быстрой выгоды для бизнеса, где доступность каких-то результатов исследований для внедрения даже в течении десятков лет в будущем не гарантирована — это не так.

Ну а уж с таким как литература или история, чьи результаты вообще бизнесу не нужны — тем более не так.
С обучением нейросетей CS более прежнего становится экспериментальной наукой со всеми вытекающими минусами.
Ноам Хомский некогда жаловался, что с новой волной увлечения ИИ наука всё больше занимается сбором статистики и всё меньше — поиском фундаментальных законов.
Ноам Хомский некогда жаловался, что с новой волной увлечения ИИ наука всё больше занимается сбором статистики и всё меньше — поиском фундаментальных законов.


Ну за этим ИИ и создавался.
Вообще цель создания компьютеров — заставить технику работать на нас самостоятельно, с минимумом человеческого участия, заменить автоматикой мозги людей в каких-то сферах.

К слову так не только в науке.

Например, если ранее в автомобилях больше полагались на просчитанную/проверенную механику — то сейчас все больше доверяют компьютерам управлять двигателями (фактически это с прошлого века, с отказа от карбюраторов), тормозами (АБС и более мудрые системы), коробками передач и даже рулевым управлением (Тесла).

Что позволяет, в свою очередь, упрощать механическую составляющую. Современные дизельные двигателя проще, чем старые с механическими топливными насосами высокого давления (что были довольно сложными устройствами, фактические механические ТНВД были устройствами почти что сложности арифмометра).

Я к тому — что компьютеры изменили все то, чему мы теперь уделяем больше внимания, а чему меньше. И при проектировании изделий и при использовании методов познания мира.

Ученые прежних поколений занимались не редко по современным меркам ерундой, с которой справляется банальный Excel. Не умоляя их работу — она и нужна и полезна и другого способа тогда не было. Но зачем это делать сейчас? Зачем лично перелапачивать огромные массивы данных?

Строго говоря, довольно значительная часть науки — это просто систематизация огромной горы наблюдений, и не всегда при этом выявляются сверхумные закономерности. Зачастую все же закономерность проста и выявить может и компьютер. А уж с обработной массивов данных все же лучше справляются они, а не люди.
Проблема не в том, что учёные стали собирать больше статистики, а в том, что статистикой они зачастую и ограничиваются.
Эх. Грустно стало. Я тоже через это начал проходить, но так и не дошел. Диссертация была написана, ПО было рабочее (и сейчас есть), но весь этот треш и угар оказался не по мне. Даже была идея написать тут на хабре о своем «опыте». Он вокруг ГИС был. Данные SRTM я там обрабатывал. Не знаю правда зачем и для кого, но прикольно получалось, и с воспроизведением не слишком сложно: ) На корчевателе да, я погорел. Тот самый журныл прикрыли вместе с моими статьями, что было последнем гвоздем в крышку гроба меня как «ученого». Кто что думает, интересна такая статья была бы? Там ничего особенного, так, пара частично реализованных идей и все.
Мне кажется, что примерно так и идет научно-технический прогресс — придумывается пара идей, публикуется. Потом кто-то это видит, и на этой основе делает свою пару идей. Ну а дальше — монографии, учебники, создание приборов на основе эффекта, внедрение в производство…

Так что публиковать смысл есть, особенно если нет давления сверху и можно честно рассказать про недостатки.
Ну и сделать ликбез для тех, кто не в теме — кратко рассказать про область в целом и аналогичные приборы/исследования (те самые ненавистные актуальность и анализ литературы). На Хабре с этим должно быть попроще — надо не воду лить, а писать просто и понятно, как в курилке коллегам из смежных областей.
Уместный юмор приветствуется, смотрим на статьи Milfgard :)
Ок, спасибо за интерес, сделаю. Нужно закрыть гештальт хотя бы так.
Про воспроизводимость еще есть проблема в полноте описания в статье методики.
Статьи в журналах обычно от 4 до 10 страниц. Больше — это уже редкость. Но это очень мало. Еще страница на ввод в курс дела, страница на заключение, страница на список источников — в итоге для описания сути предлагаемого метода остается хорошо если страницы 3, в которые надо суметь впихнуть все подряд — картинки, таблицы, алгоритм, описание данных и т.п.

Естественно, резать приходится по живому, опуская многие нюансы, чтобы впихнуть хотя бы основную идею. В итоге по такой статье воспроизвести результат в принципе не выйдет — ну или надо будет самому повторить не меньше половины работы, пройти тем же путем проб и ошибок что и автор.
Во-первых, тут выше человек жаловался, что его «слишком мелко» резать заставляли, т.е. публикация разбивается на несколько (и это реально работает), во-вторых, ровно для этого нужна публикация кода.
Естественно, резать приходится по живому, опуская многие нюансы, чтобы впихнуть хотя бы основную идею.

В чём проблема оставить подробное объяснение? Размер appendix'а вроде особо не ограничивается, и казуальному читателю не помешает — он его просто читать не будет.
Другое дело, что мотивации настолько подробно описывать методику нет.
Ну да, еще аппендискы и сколь угодно расширенная статья на arxiv.org. При желании проблем что-то подробно, детально и воспроизводимо опубликовать в принципе нет.

Проблема в повальном распространении систем антиплагиата.

С появлением нейросетей появилась ещё одна проблема: невозможно распространить код, не раскрывая исходников. Например, если проект выполнен в рамках коммерческого контракта, и права на код принадлежат фирме. Или же если автор просто хочет придержать конкретную реализацию алгоритма, чтобы продать её в будущем.


Раньше было проще: вот статья, в статье описан алгоритм, а на сайте лежит exe-шник, скомпилированный из плюсового код. Хочешь попробовать повторить результат — запускай и повторяй сколько влезет.


В случае же нейросетей основную ценность представляет собой уже не исходный код, а обученная нейросеть. Но без предоставления модели в общий доступ результат повторить уже не получится. Что в этом случае делать — непонятно. Можно реализовать веб-сервис, но это сложно, долго, затратно — у учёного на такое нет времени. Поэтому приходится отвечать, что коэффициентам нейросети мы не поделимся, но готовы просто обработать ваши данные.

Справедливости ради — с алгоритмами на шейдерах такая проблема уже очень давно.

И еще — по факту часто нужна не сама сеть, а скрипты обучения (это таки похоже на исходники). Особенно если у тебя большой приватный массив данных и ты хочешь проверить показавший себя на публичном датасете неплохо подход.

Но вы правы, с точки зрения раскрытия ценности — да, с сетью раскрывается больше (можно дообучить выложенную сеть, чего с exe никак не сделать))). И это тоже влияет на нежелание выкладывать, вы правы.

А из плюсов — сегодня можно довольно быстро запилить сервис, куда заказчик может скормить свои данные и получить результат через n секунд. Мы так делаем, когда хотим, чтобы не было завышенных ожиданий относительно результата работы сети, а заказчик хочет потестить (его право!). При этом мы ничего не отдаем вообще. Аналогично та же NVIDIA демки со своими сетями делает не раскрывая самой сети. Сегодня поднять небольшой сервис аспиранту — в общем-то недолго (10 лет назад это была бы большая история).

Так что выше нос, все не так плохо! )))
Справедливости ради — с алгоритмами на шейдерах такая проблема уже очень давно.

Ну у шейдеров вроде бы только opengl остался без возможности использовать напрямую байткод шейдера без его текстовых исходников (и то вроде в экстеншенах opengl есть spir-v). Можно текстовые исходники не распространять. Остается правда проблема с тем, что гпушный байткод на порядки проще реверсить чем плюсовый, даже после проходов оптимизатора.
Остается правда проблема с тем, что гпушный байткод на порядки проще реверсить чем плюсовый, даже после проходов оптимизатора.
О том и речь!

Отличная статья! Пишите еще! Утащил в закладки, и показал дружественным DS-DE

Наверное, выступление на конференции можно приравнять к публикации в журнале.

Несколько лет назад я посетил одну IT-конференцию. В «обычных» секциях (back, front, etc) всё было как обычно: мы сделали вот так-то и получили вот это, мы молодцы, вы тоже можете попробовать и у вас, скорее всего, получится.

Но была на той конференции ещё одна секция — «околонаучная». Там рассказывали про придуманные или модифицированные алгоритмы, внутреннее устройство БД, было что-то про data-science. В основном, выступали программисты, но на темы, которые не укладывались в тематику секции backend, например.

И был один доклад человека из университета о вычислениях в гетерогенных средах. Тема действительно была очень интересная, докладчик рассказывал, как космические корабли бороздят просторы Большого театра код компилируется под целевой компьютер, передаётся вместе с необходимыми данными на целевой узел и всё это работает вот чуть ли не прямо сейчас. Я уже успел вообразить, как соединю всю свою домашнюю вычислительную технику (от роутера до принтера) в сеть и буду на ней нейросети гонять (тоже ставшая очень «горячей» в то время тема) или ещё какую математику. И после выступления задаю два вопроса: «Спасибо за доклад, очень интересно и круто. 1) Где бы увидеть код и 2) как бы в этой теме поучаствовать?» Докладчик как-то замялся и ответил в духе: «Ну-у, это так-то академические исследования, приходите к нам в лабораторию аспирантом. И кода тоже как бы нет, на гитхабе какой-то старый-старый proof-of-concept на Ruby, который даже и не работает...» Ведущий секции пришёл на помощь, вопрос быстро замяли и обсуждение увели в теоретическую плоскость «а вот бы в этой штуке infiniband от Intel ещё бы использовать, тогда вобще сингулярность наступит».

Может, в академической среде действительно так принято, как выше отметил stilic?
Наверное, выступление на конференции можно приравнять к публикации в журнале.

Не совсем. Научные конференции — это больше work in progress. А в журналы идут уже более-менее законченные работы.

Может, в академической среде действительно так принято, как выше отметил stilic?
Я бы все в одну кучу не мешал. У stilic, очень похоже, опыт среднего университета, такого, где у преподавателей основная цель — дать линейную алгебру и т.п. И, собственно, исследованиями мало кто занимается с очевидными последствиями для дипломов, диссертаций и т.п. В таких местах те, кто реально гребет, исследует, публикуется, делает что-то интересное, нередко чувствуют себя белыми воронами. Хорошо это знаю по разговорам с коллегами. С другой стороны даже в таких вузах гребущих людей довольно много. И в последние годы, когда после 25 лет плохого времени для университетов публикации внезапно стали вдруг важны они вполне на коне.

По поводу докладов — ключевая тема — финансирование. Когда в индустрии рядом в той же теме крутятся серьезные деньги, компании переманивают аспирантов и с порога платят им 250, ученые продавать не умеют, а грантовых денег у нас в стране заметно меньше даже чем в Польше (в пересчете на сотрудника), я уж молчу про более богатые страны… Это сильно накладывает, безусловно.

Конференция CVPR и так круче большинства журналов в области computer vision, за исключением пожалуй IEEE PAMI. И попасть в core CVPR сложнее чем во многие Q1 журналы. Хотя в журналах проработка более детальная.

Плюсую. CVPR потому и была выбрана, как пример в статье, хотя в целом статей с пустыми репозиториями, увы, хватает.

Дмитрий, мне все-таки кажется, что пустой репозитарий для CVPR скорее исключение. За такие вещи рецензенты обязательно пожурят, это очень же просто проверяется по ссылке. Нас с подобным отправляли на resubmit в журнальной статье. Код и данные был приложены к статье архивом, с обещанием сделать репозитарий публичным после выхода статьи.


В вашем случае, возможно код закрыли после приема работы, так иногда бывает. Ну либо на core CVPR в этом году совсем вал и некому рецензировать…
А вот с воспроизводимостью работоспособности кода — это да, далеко не всегда.

В вашем случае, возможно код закрыли после приема работы, так иногда бывает.
Ссылка на картинку в начале статьи кликабельная.
github.com/kwanyeelin/HIQA/commits/master — вот все коммиты, они не клали код
Список Issues показательный )
github.com/kwanyeelin/HIQA/issues

Ну либо на core CVPR в этом году совсем вал и некому рецензировать…
Как вариант. Мы копаем довольно узкую тему, поэтому по ней стараемся все статьи найти. Статьи без кода, увы, норма.

Я постарался в 20 тысяч знаков уложиться (ибо иначе совсем лонгрид), а так за кадром остались эпичные истории про то, как мы не могли воспроизвести результат на своих данных даже в контакте с авторами.

Да, гитхаб показательный, это китайцы явно сжулили, и прокатило, но тем не менее 27 ссылок есть в школяре. И статья кстати интересная, тема наша, и качество и ган сетки.
У нас в целом довольно близкая тема —http://openaccess.thecvf.com/content_ICCVW_2019/papers/LCI/Nikonorov_Deep_Learning-Based_Imaging_using_Single-Lens_and_Multi-Aperture_Diffractive_Optical_Systems_ICCVW_2019_paper.pdf

китайцы явно сжулили, и прокатило, но тем не менее 27 ссылок есть в школяре
Было бы 270, если был бы код, но судя по всему совсем не работало. Других причин не класть не вижу.

А качеством в каком ключе занимаетесь? Я смотрю, вы ближе к физике.

Этот конкретно проект по реконструкции изображений для плоской оптики, на стыке оптики и обработки изображений, computational imaging. Наша команда как раз со стороны обработки изображений — деконволюция, цветовая коррекция, вот сквозная нейросетевая технология реконструкции вроде прорисовалась.


Метрика качества тут как раз интересный вопрос. Используем PSNR/SSIM, для сопоставимости результатов реконструкции с другими работами, в том числе с single image super resolution. Но понятно, что голые "X дБ PSNR" малоинформативны для конкретного приклада, плюс требуется сопоставление с эталоном, здесь тоже не до конца все прозрачно. Есть мысль сделать специализированные метрики для типовых задач технического зрения, на основе которых можно понять, достаточное качество реконструкции для этого кейса или нет.


А так есть разные проекты, в medical imaging вопрос качества тоже до конца не решенный. Мне кажется, blind image quality estimation вечный вопрос, как обратная свертка))))

Есть мысль сделать специализированные метрики для типовых задач технического зрения
Это вполне в тренде тема. Будьте только аккуратны с ML метриками. Из-за проблем с интерпретируемостью (и не только) у них разные приколы вылезают. Например:
«Hacking VMAF with Video Color and Contrast Distortion»
и «Barriers Towards No-reference Metrics Application to Compressed Video Quality Analysis: on the Example of No-reference Metric NIQE»
и это еще не все, что накопали, опубликовали. Т.е. пока использовали классику — все ок, а с ML метриками — начинается веселье… )

Да мы как раз именно ml метрики не рассматривали пока. Хотя они сейчас повсюду, рецензировал недавно статью которая предлагала сетку для слепой оценки GSD в ДЗЗ. Там как раз после эмбединга стоит дерево регрессии, и с интерпретируемостью все ок.

У нас потенциальная тема (практическая, что характерно) — варианты adversarial attack на метрики с открытыми коэффициентами. )
Как странно, что для кого-то имеет важность желтизна желтых статей, которые характеризуются только своим названием и числом 0, где 0 — это фактор повторяемости. Вот если бы для статьи было указано, что результаты эксперимента независимо воспроизведены в N лабораториях, и эти лаборатории были бы перечислены, и вот тогда бы нашлось, что рассматриваемая статья — это полная лажа, вот тогда бы и было что пообсуждать. Вот тогда бы и были: и массовые увольнения, и посадки, и чистки, и новый светлый мир. Сел бы, взял журнальчик почитать, построил граф связности лабораторий по перепроверке, тыкнул пальцем в пару самых волосатых вершинок — и правильным письмом в правильный комитет бы доложил… — вот это была бы тема. А так-то что тут наукой называть, если заведомо известно, что повторяемость проверена 0 раз?
Мы живем в очень интересное время, в том смысле что куча ученых после изобретения какой-нибудь новой удачной архитектуры внезапно оказывается у руля AI подразделений крупных компаний (от гугла и далее по списку). При этом народ понимает — отрываться от академической среды нельзя — квалификация упадет очень быстро (примеров масса), поэтому организуют новые конференции и там экспериментируют (в т.ч. с открытым ревью и т.д.). Там много интересного! ) В этом плане + в плане упрощения автоматического анализа + в плане развития анализа данных интересные перспективы (только-только) наклевываются.

Это примерно как с анализом текстов. Десятки лет профессиональные переписчики строчили диссертации за деньги чиновникам разного уровня, компилируя тексты из библиотек, а потом р-р-р-раз… И «Диссернет». И у лавочки возникли крупные проблемы. Аналогично с корчевателем. ) В общем скоро будет интересно! )

Ещё скажите, что массовые расстрелы спасут страну. Хотите воспроизведения результата в нескольких лабораториях и качество статей вместо их количества? Так это надо бороться не с учёными, а с самой системой финансирования исследований.

Хочу, чтобы люди перестали удивляться тому, что их разводят. Ну… поняли наконец.
По поводу больших датасетов. Моя практика показывает что при определённом моменте размер датасета начинает только вредить. Мелкие ошибки складываются и перерастают полезный сигнал.
Так что с этим ещё предстоит разобраться.

Лет 15 назад о исходниках можно было только мечтать. Сейчас их выкладывают. Поэтому воспроизводимость стала лучше. Собственно лет 10 я удачно переждал и сейчас по новой вхожу в эту область.
Так вот NLP есть направление «Word Embeddings» если упростить, то это набор разных алгоритмов которые делают одно и тоже. Так что есть легко можно сравнить результаты.

В деревьях решений у меня результаты сильно плавают от эпохи к эпохи. При удачном «броске костей» может выпасть 97% результат, а в худшем 23%. Но это легко устраняется несколькими независимыми прогонами(вехами).
И знаете скорость обучения компьютера за 15 лет выросла в разы. Что позволяет устранить случайные ошибки.
В совокупности эти 3 фактора позволяют хорошо воспроизводить результаты.
Да был у меня случай когда от разрешения монитора зависел результат. Но это уже ошибки реализации, а вернее где-то не учли устойчивость. Откуда можно и метод усовершенствовать. Методики по степенно всё усложняются. Тем самым снижается число факторов которые влиять или могут повлиять на эксперимент. Но вот эксперимент становится дольше ставить и описывать.

Да от датасета всё ещё многое зависит. На самом деле мы в ML используем далеко не полные датасеты, а следовательно они врят-ли могут быть репрезентативными. Но раз так нам остаётся одно совершенствовать наши методы познания. Разделять то что мы познали, а то что ещё предстоит познать.

Датасеты увеличиваются. А следовательно прикладной охват результатов тоже увеличивается. Хотя он и не является окончательным. Но для прикладного применения этого хватает. Вот фундаментальные или теоретические выводы они труднее.
По поводу больших датасетов. Моя практика показывает что при определённом моменте размер датасета начинает только вредить. Мелкие ошибки складываются и перерастают полезный сигнал.
Так что с этим ещё предстоит разобраться.

Лет 15 назад о исходниках можно было только мечтать. Сейчас их выкладывают. Поэтому воспроизводимость стала лучше. Собственно лет 10 я удачно переждал и сейчас по новой вхожу в эту область.
Так вот NLP есть направление «Word Embeddings» если упростить, то это набор разных алгоритмов которые делают одно и тоже. Так что есть легко можно сравнить результаты.

В деревьях решений у меня результаты сильно плавают от эпохи к эпохи. При удачном «броске костей» может выпасть 97% результат, а в худшем 23%. Но это легко устраняется несколькими независимыми прогонами(вехами).
И знаете скорость обучения компьютера за 15 лет выросла в разы. Что позволяет устранить случайные ошибки.
В совокупности эти 3 фактора позволяют хорошо воспроизводить результаты.
Да был у меня случай когда от разрешения монитора зависел результат. Но это уже ошибки реализации, а вернее где-то не учли устойчивость. Откуда можно и метод усовершенствовать. Методики по степенно всё усложняются. Тем самым снижается число факторов которые влиять или могут повлиять на эксперимент. Но вот эксперимент становится дольше ставить и описывать.

Да от датасета всё ещё многое зависит. На самом деле мы в ML используем далеко не полные датасеты, а следовательно они врят-ли могут быть репрезентативными. Но раз так нам остаётся одно совершенствовать наши методы познания. Разделять то что мы познали, а то что ещё предстоит познать.

Датасеты увеличиваются. А следовательно прикладной охват результатов тоже увеличивается. Хотя он и не является окончательным. Но для прикладного применения этого хватает. Вот фундаментальные или теоретические выводы они труднее.
Моя практика показывает что при определённом моменте размер датасета начинает только вредить. Мелкие ошибки складываются и перерастают полезный сигнал.

Бороться с overfittingом уменьшением размера датасета… Месье знает толк...(нет)
С DataScience вообще беда.
Я обалдел, когда один большой Российский ВУЗ устроил курс удаленный по Data Science для школьников. Мой племянник(десятикласник) туда попал. Это просто жесть. Я не знаю как оно там должно было быть в итоге, т.к. племянника оттуда мы выдернули буквально через месяц, но началось там всё с питона и обучении нейронок. Вообще без базы. Без объяснения что такое нейронная сеть, какие есть проблемы обучения и как они решаются.
Вот тебе питон, вот тебе датасет, вот тебе команда чтобы скормить датасет нейронке, дерзай…
Да уж. Это модная сегодня в определенных кругах теория (к сожалению). Знания не нужны (все есть в википедии), а нужен набор навыков. Когда такую точку зрения громко продвигает Герман Греф, это как бы ладно, он типа банкир. А вот когда министерство образования (а оно продвигает) — это уже звоночек. В рамках цензурных выражений это называется дибилизация образования…

Я бы с этим поспорил. Не каждому будет интересно погружаться в математику саму по себе. Но если условный школьник смог импортировать tf, набросать простую нейросеть, а потом с её помощью распознать что-то, то есть большой шанс, что ему это понравится и он начнёт изучать тему всё глубже с каждой итерацией. И кто знает, до чего он дойдёт через десяток лет.


А те, кому интересна наука сама по себе, они и без этих ремесленных курсов справятся.

Воспроизводимость — один из критериев качества
Любой научный журнал должен проверять этот критерий перед публикацией
Но так как вместо фанатиков чистой науки там сидят фанатики денежных знаков, то маемо шо маемо.
Вы явно плохо представляете себе процесс)

Рецензирование в большинстве научных журналов и конференций бесплатно. В крутых народ идет рецензировать, поскольку быть там в программном комитете — круто. А дальше просто. У реально продвинутых людей реально нет времени. Понятно, что все делегируется аспирантам и прочим подчиненным чтобы хоть как-то, но повторять времени точно нет. И дальше идет оценка из разряда «верю/не верю», но вполне разумная. По умолчанию ревьювер не верит, задает массу вопросов и просит доказать. Автор статьи ему отвечает, присылает ссылки на примеры, данные и прочее. И если все ок — оно заходит. Так что барьер есть, другое дело, что в условиях перегрузки лучших он сильно не идеален.
В конце-концов всё решает редактор журнала, он может и после того как рецензент отписал, что типа результаты не внушают уверенности выпустить статью.

Последнее время в некоторых известных журналах взяли за моду открывать open access версию и передавать туда всё что «не соответсвует основной тематике журнала», за денюжку.

Многие исследователи поступают так (пока не опубликуют) отправить статью в престижный журнал -> перенаправить в менее престижных журнал -> перенаправить в open access журнал типа plos one / frontiers in

Ну и рецензент, конечно ничего не получает, но зато получает журнал, которому на самом деле выгодно печатать как можно больше статей за которые платит автор.
Все так… А что у вас за область научной работы (с такими журналами)?
Neuroscience/Medical Image Analysis
Забавно! ) Насколько с вашей профессиональной точки зрения близки нейроны и CNN? ) Я в нейронах крайне поверхностно разбираюсь, скажу честно.

Ну я тоже не биолог, но насколько я представляю, примерно как сферические кони в вакууме.

Кстати, под CNN вы, надеюсь, не Convolutional Neural Network имеете в виду?

Спасибо за статью! я примерно с точки зрения neurocience откомментил про различия между мозгом и нейронками.

В химии такая проблема, как правильно отмечает автор, тоже давно известна и было придумано некое подобие решения: статьи с методиками по органической (и не только) химии лично перепроверяются научными группами и выходят статьи с «проверкой» этих методик и подробным разбором и комментариями каждой методики в журнале Organic Syntheses.
Возможно в будущем в CS тоже до чего-то такого дайдут.
Возможно в будущем в CS тоже до чего-то такого дайдут.
Обязательно. Других вариантов как-то не просмотривается.
это создание достаточно крупных датасетов и бенчмарков
3Dvideo, а Вам не кажеца, именно в этом и проблема? Ежели указанный приём требует в обучении огромных объёмов примеров, он изначально неэффективен!

Человеку можно показать изображение кошки 1 раз и он узнает в любой кошке именно кошку в высокой вероятностью (причём в объёмном меняющемся или анимированном изображении, и именно в них человек наиболее эффективен)! А указанным приёмам нужны миллионы кошек, и всё равно очень легко найти рисунок кошки, который они не опозна.т как кошку (не говоря уже об анимации).

Возможно, лучше изучить и копировать распознавание сигналов вообще (ибо мозг очень легко переучивает зоны распознавания изображений на звук или обоняние) в человеческом мозге? Ибо возникает ощущение попытки решения очень сложной проблемы — а распознавание произвольных образов — в целом сложная проблема — при помощи нейросетей менее мощных, чем мозг у насекомого.

И вообще, многими учёными высказана (в целом, наверное, правильная) мысль, что невозможно проектирование сколь-либо сложного и полезного ИИ без эмуляции сознания.
Человеку можно показать изображение кошки 1 раз и он узнает в любой кошке именно кошку в высокой вероятностью
Новорожденному? Ага. Щаз. Человек годами учится «распознавать кошку» — а кой-чего в него вообще встроено на «железном уровне».

Вот научившись опознавать кошку, мышку, посмотрев на них с разных сторон и кой-чего ещё и пощупав… вот после этого — можно иногда кого-то с одной фотографии узнавать.

Современные нейросети опознают лица уже лучше, чем большинство «сторонних людей» (хотя матери своё чадо могут отлавливать лучше) — с одного предъявления,v так что…

И вообще, многими учёными высказана (в целом, наверное, правильная) мысль, что невозможно проектирование сколь-либо сложного и полезного ИИ без эмуляции сознания.
Всему своё время. Как вы верно заметили — имеющиеся у нас нейросети пока что менее мощны, чем мозг насекомого. А насекомых с сознанием — в природе не наблюдается, как бы.

Так что… всё будет. Своевременно или несколько позже.
Вот научившись опознавать кошку, мышку, посмотрев на них с разных сторон и кой-чего ещё и пощупав
Ещё раз — человеку нужен намного меньший обучающий набор, чем нейросети ;-)
Как вы верно заметили — имеющиеся у нас нейросети пока что менее мощны, чем мозг насекомого. А насекомых с сознанием — в природе не наблюдается, как бы.
Все еще интереснее. Человек научил нейросети играть в шахматы и го лучше, чем играет сам. Вряд ли можно считать эти задачи простыми. На данный момент удается научить нейросети решать многие (в том числе очень сложные) задачи лучше человека (и даже лучше лучшего человека))), но пока только в узких областях. И скорость прогресса поражает. Вам спасибо за содержательные комментарии! )
Играть по формальным правилам — ничего необычного! Кроме суперкомпьютеров нужных им! ибо программа не играет осозанно, а перебирает разлиные варианты ;-) Вы наверняка слышали о программах компьютерной алгебры, безо всяких нейросетей решающих символьно сложнейшие интегралы. Хомский был прав — статистические приёмы — возможный тупик в CS — ибо человек мыслит иначе.
У вас убеждение — программа себя не осознает, значит это все тупик.

Это очень неблагодарное занятие — переубеждать. Для кого-то это ящик Пандоры и море возможностей, для кого-то тупик. Почему бы нет? )
ибо программа не играет осозанно, а перебирает разлиные варианты ;-)

А человек не перебирает варианты? И перебор в компьютерах совсем не тупой.

Количество связей в VGG19 ~10^8, это мушка дрозофила. У человека ~10^11.


Для опознавания лиц с нескольких примеров требуется трюк с введением метрики в пространстве ембединга, после этого начинает работать few-shot-lerning. Трюк этот придуман человеком. Так же как трюк с АльфаГо, т.е. мы умеем докрутить нейронку до уровня слабого ИИ в разных приложениях. Но от этого мы не на шаг не приближаемся к сильному ИИ или сознанию.


Очень хорошо иллюстрируется это тем, что вся наша наука это исследования от первого лица, а сознание — от первого лица, и как к этой "трудной проблеме сознания" подступиться, пока не понятно. Количественное увеличение количества связей в нейронке, даже на три порядка, вряд ли даст переход от третьего лица к первому...

3Dvideo, а Вам не кажеца, именно в этом и проблема? Ежели указанный приём требует в обучении огромных объёмов примеров, он изначально неэффективен!
Не кажется ). Почитайте про transfer learning. И вам khim отлично ответил!
Не кажется
Но разве наши цели не в получении по меньшему — и порой неполному — набору как можно больше полезной информации?
Нет, конечно. У алгоритма цель ставится по-другому, в каждой предметной области по-своему. Почитайте про разные задачи компьютерного зрения.
А разве универсальность не является признаком хорошей научной или инженерной концепции? Иначе можно на каждую кошку запилить свой алгоритм — великолепно распознающий именно её!
В прошлой статье, где я эту тему затрагивал, я давал ссылку на отличную подборку метрик ИИ алгоритмов в разных областях: www.eff.org/ai/metrics

Там ОЧЕНЬ хорошо видно, какие метрики оптимизируются в каждой области.

Ваш подход «невозможно проектирование сколь-либо сложного и полезного ИИ без эмуляции сознания», а подход ИИ исследователей — можно кратно уменьшить количество ошибок в распознавании рукописного текста, номеров домов, устной речи, объектов на фото (и далее по длинному списку) с новыми подходами, основанными на ML/DL.

Вам совершенно необязательно принимать точку зрения, что это хоть сколько-нибудь сложные и полезные вещи )
Ваши узкоспециализированные нейронки ничем не отличаются от бинокля — хорошие инструменты, но лишь улучшающие наши органы чувств. Принимать решение они не умеют — ибо не «знают» что это вообще такое. И нормальное распознавание речи, без понимания речи вообще невозможно. В общем, все они важны и полезны, но не нужно назвать их ИИ.
Совершенно не против!

Обратите внимание, что у меня в статье ИИ не упомянут ни разу и первым про него заговорили вы)

И, кстати, у него забавный дрейф значения. В 80-х ИИ называли простейшую (по нынешним меркам) генерацию голоса, в 90-х разпознавание текста, в 2000-е — игру в шахматы, причем в каждое следующее поколение общественность и журналисты (которые в основном любят этот термин) дружно решали — нет, что было раньше, это не ИИ, а ИИ это… В этом плане ваши мысли абсолютно в тренде)
Иногда складывается ощущение что всё просто: любая задача, которую мы умеем решать с помощью компьютеров — это не ИИ.

В этом случае ИИ невозможен в принципе, просто по определению.

P.S. Даже если всё пойдёт по «плану Б» Курцвейла: мы так никогда и не сможем разработать исскуственный интереллект, который сможет проходить Тест Тьюринга… но сможем перенести сознания человека в кремний (или там ареснид галлия… неважно) — даже тогда можно будет утверждать что ИИ невозможен.
любая задача, которую мы умеем решать с помощью компьютеров — это не ИИ
Если УЖЕ умеем — конечно же нет! ))) Это слишком банально, чтобы называть такое ИИ)
Очень интересная ссылка! «Joelle Pineau doesn’t want science’s reproducibility crisis to come to artificial intelligence (AI).» Делают, что могут.
И я про rescience.github.io ранее не слышал. Спасибо, короче!
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.