Comments 63
Круто если это действительно так, а не только попытка поднять немного инвестиционных денег.
В этом плане известный хабру тов. Редозубов ушел еще дальше. Вот только тоже пребывает в забвении. Пока идет хайп по поводу Deep learning это все никому не нужно, т.к. слишком сложно. И по моим оценкам пока компы такое не потянут. Нужны или десятки терабайт в секунду пропускной способности шины памяти при текущей архитектуре и сотнях гигабайт dram или сотни параллельных процов, каждый со своим всего лишь в несколько гигабайт объемом sram. Это более возможно, но стоить будет миллионы на дизайн, мануфактуринг, тесты. Ничего этого пока нет. А без этого даже POС сделать нереально. Замкнутый круг. Никто миллионов на просто прототип не даст — уже нужно иметь что-то, кроме идеи, т.к. сама схема такого аппаратуса выглядит для сегодняшней науки и тем более венчурных фондов довольно дико. До них ML/DL тридцать лет доходил и все равно они его не понимают, если бы не голимый пиар и хайп.
У него в какой-то из статей была запомнившаяся мне аналогия: мол, дайте самым умным ученым девятнадцатого века современный компьютер, и посмотрите, как они будут его изучать. Они заметят зависимости сигнала на выходе от сигнала на входе, может быть замерят электрическую активность в разных частях схемы и найдут какие-то закономерности этой активности от входного сигнала, может быть в конце концов распилят какую-нибудь микросхему и установят, что «она сделана на основе кремния». Но вот поймут ли они, что именно перед ними — это вряд ли. Потому что у них еще не будет понятийного аппарата, в котором слова «устройство, аппаратно реализующее двоичную арифметику на базе кремниевых транзисторов» что-то значат. И вот мы сейчас в изучении мозга находимся где-то на такой же стадии. Изучаем какие-то закономерности, эффекты и реакции на внешние воздействия, ФМРТ вот освоили. Но понять, что это такое и как оно работает, на каких принципах — пока что не осиливаем.
Я с Вами не соглашусь. Вполне осиливаем. Есть несколько интересных теорий как оно там все крутится. Но повторить, чтоб точно доказать, что это вот так и так мы пока не в состоянии. Вот эти вот коммутирующие все со всем машины пока не созданы. А без них теории есть, но проверить и допилить не получается. Кстати, мозг по всем этим передовым взглядам — скорее не компьютер, а супергибкий свитч с очень большой RAM, т.е. хранит и регулярно модифицирует эти свои route-tables. Имеет значение только вход, а выход и все сопутствующее имеем согласно коммутации.
А где можно почитать эти существующие теории?
15 лет назад заинтересовался корой, и уже тогда тема «свитча» не была передовой. Она растёт где-то из 80-х, когда и появилось само сетевое оборудование. А может и из начала века, с появления телеграфа и понятия коммутации. Налицо топтание на месте.
Супер-компьютеры НЕ фон-неймановской(традиционной) архитектуры, а по идеологии — «распределенная память + огромный роутер обрабатывающий циркулирующие сигналы» тоже разрабатываются, проектируются. И даже первые пробные реализации уже строятся
Подробнее (статья выше поверхностная весьма): apt.cs.manchester.ac.uk/projects/SpiNNaker/architecture
Коммутация «все со всеми» поддерживается. Максимальное количество связей на 1 нейрон конечно ограничено, но ограничений на топологию этих связей и их дальность (с какими другими нейронами может быть связан данный) нет.
Подробнее (статья выше поверхностная весьма): apt.cs.manchester.ac.uk/projects/SpiNNaker/architecture
Коммутация «все со всеми» поддерживается. Максимальное количество связей на 1 нейрон конечно ограничено, но ограничений на топологию этих связей и их дальность (с какими другими нейронами может быть связан данный) нет.
> У него в какой-то из статей была запомнившаяся мне аналогия: мол, дайте самым умным ученым девятнадцатого века современный компьютер, и посмотрите, как они будут его изучать.
Была, только не у него, про биологов и радиоприёмник. www.metodolog.ru/00373/00373.html
Была, только не у него, про биологов и радиоприёмник. www.metodolog.ru/00373/00373.html
Есть еще потрясающая статья «Could a neuroscientist understand a microprocessor?», где авторы на двадцати с лишним страницах проводят целый реверс-инжиниринг, с графиками, схемами и т.д. — так как если бы они изучали процессор, подобно мозгу.
А я вот поддержу сегодняшнюю науку и тем более венчурные фонды. Насколько я понял, человек чисто умозрительно строит очень сложную систему из компонентов, которые сами находятся в лучшем случае в стадии раннего прототипа, а то и просто гипотезы. Шанс на то, что ежели сейчас вложить триллион долларов и построить всё так, как сказал Редозубов, то оно заработает так, как хочет Редозубов — исчезающе мал. В теории эволюции это называется hopeful monster, и все эволюционные теоретики в один голос утверждают, что это не работает. А работает постепенное отлаживание отдельных компонентов и комбинирование уже отлаженных компонентов вместе. То, что называется функциональная декомпозиция.
Я не говорю, что Редозубова и ему подобных не надо слушать и ни в коем случае не давать их денег. Быть может, какая-то из его идей выстрелит. Быть может, даже не одна. Но давать кучу денег на реализацию очень сложной идеи — это пустая трата денег, лучше уж ещё один остров купить.
Я не говорю, что Редозубова и ему подобных не надо слушать и ни в коем случае не давать их денег. Быть может, какая-то из его идей выстрелит. Быть может, даже не одна. Но давать кучу денег на реализацию очень сложной идеи — это пустая трата денег, лучше уж ещё один остров купить.
Так надо же POC сначала сделать — на нем отлаживать хард и софт. Двигаться ступень за ступенью. Вполне себе итерационный подход. Никто не говорит, что вот прямо сейчас целый мозг сделаем, и все в момент заработает. Не нужны триллионы. Но на POC то все равно нужны инвестиции. Просто нормальные инвестиции, как в тысячи других стартапов. Там тоже в лучшем случае 1:10 выстреливает, и никто при этом не кусает локти от этого. Не говорят, что лучше еще один отров прикупить, ибо это просто венчурный бизнес, а не деньга российских нуворишей, сросшихся с государством, случайно обломившаяся с неба безотносительно понятия «бизнес». Потому и не понимают куда ее сунуть.
Но венчуры надо тоже заинтересовать. Поэтому нужен хотя бы простой POC, сделанный на свои деньги для начала.
Странно только, что, вроде, у Хокинса все для постройки концепта есть, а он лезет к гуглоидам с голыми идеями. Потому и неинтересно никому. Так инвестиции сейчас получить почти невозможно. Тем более на спаде в IT.
Но венчуры надо тоже заинтересовать. Поэтому нужен хотя бы простой POC, сделанный на свои деньги для начала.
Странно только, что, вроде, у Хокинса все для постройки концепта есть, а он лезет к гуглоидам с голыми идеями. Потому и неинтересно никому. Так инвестиции сейчас получить почти невозможно. Тем более на спаде в IT.
Хокинс, как по мне, идет в верном направлении. Когда он говорит о «тысячах мозгов» это очень близко к тому, что я называю пространством контекстов. Хинтон предлагает капсульные сети, что тоже очень близко. Главное отличие того, что я предлагаю в том, что контексты позволяют отойти от тотального «перечисления» (запоминания), выделенных паттернов. Надо не пытаться запомнить все варианты проявления некой сущности, а пытаться вычислить правила изменения описания, которые приводят исходное описание к чему-то уже знакомому. Тогда уходит комбинаторный взрыв необходимых описаний, появляется возможность узнавать не по набору признаков, а «по сути» и много еще чего хорошего. Подробнее тут.
Прямую ссылочку AlexeyR на него в комменте было бы уместно сразу оставить…
Нужны или десятки терабайт в секунду пропускной способности шины памяти при текущей архитектуре и сотнях гигабайт dram или сотни параллельных процов, каждый со своим всего лишь в несколько гигабайт объемом sramНо в каждый процессор нужно загрузить какую-то программу, и об этом почему-то не задумываются сторонники таких архитектур. Я ещё не встречал исследований/размышлений на тему того, чем конкретно должен заниматься каждый процессор, помимо расплывчатого «коммуницировать с остальными».
Есть и программа для загрузки в каждый проц (или ядро, если чип делать). Там ARM кода меньше, чем 8К. То есть единая программа на каждое ядро.
Интересно было бы почитать публикации с описанием алгоритма.
Чтобы понять, насколько новая архитектура оправдана как отдельный класс, можно ли её привести к обычной фон-неймановской или к одной из классических ИНС.
Чтобы понять, насколько новая архитектура оправдана как отдельный класс, можно ли её привести к обычной фон-неймановской или к одной из классических ИНС.
Хотелось бы описать все это когда-нибудь, но прямо сейчас все в процессе.
И приводить к фон-нейману ничего не надо — это и так работает на средних размеров кластере на Зионах. Но неэффективно, местами откровенно медленно.
Можно сделать более эффективную архитектуру — по сути, много параллельных фон-нейманов на сотнях армов. Но цена в сотню-другую тысяч лично для меня и маленькой команды кусается. Будет готов POC на кластере- притянем инвесторов.
Можно и масштабируемый чип сделать. И не проблема спецов по чипам привлечь из знакомых. Но это другой уровень, и уже миллионы джорджиков.
И приводить к фон-нейману ничего не надо — это и так работает на средних размеров кластере на Зионах. Но неэффективно, местами откровенно медленно.
Можно сделать более эффективную архитектуру — по сути, много параллельных фон-нейманов на сотнях армов. Но цена в сотню-другую тысяч лично для меня и маленькой команды кусается. Будет готов POC на кластере- притянем инвесторов.
Можно и масштабируемый чип сделать. И не проблема спецов по чипам привлечь из знакомых. Но это другой уровень, и уже миллионы джорджиков.
А какую задачу решает модельная система?
Задачу управления кастомным indoor дроном для начала. С ориентированием по камере, двум ультрасоникам и нескольким прочим сенсорам. И к тому же, там есть мозг, для понимания что где и почему. Этакая стрекоза. Учится, как ребенок — почти с нуля.
Может читать и разговаривать научим через годик. :)
Может читать и разговаривать научим через годик. :)
И опять Силиконовая долина откуда-то возникла, каждый раз больно.
Да уже не особо:) Это тот случай, когда распространенная ошибка легализуется из-за популярности. Как средний род у кофе легализовали в 2002.
На что намекает как википедия (в которой основной термин силиконовая, а кремниевая перекидывает на силиконовую — пусть даже там упомянуто что этимологически верно кремниевая), так и несколько словарей приведенных в википедии в сносках, включая «Большая Рос. энциклопедия».
Корректнее конечно кремниевая, но в текущих реалиях и силиконовая в русском ошибкой уже сложно называть, скорее особенность.
На что намекает как википедия (в которой основной термин силиконовая, а кремниевая перекидывает на силиконовую — пусть даже там упомянуто что этимологически верно кремниевая), так и несколько словарей приведенных в википедии в сносках, включая «Большая Рос. энциклопедия».
Корректнее конечно кремниевая, но в текущих реалиях и силиконовая в русском ошибкой уже сложно называть, скорее особенность.
Насчёт кофе, кстати, я беседовал с филологиней, и она мне сказала, что скорее мужской род кофе ошибочен, поскольку возник в те времена. когда кофе звали «кофий». А при изменении формы слова мужской род остался неуместным рудиментом, и язык его отторгал как мог.
UFO just landed and posted this here
Скорее «кофе» мужского рода, потому что в романских языках он мужского рода (в латыни, вроде, среднего) и потому что, якобы, появился на Руси благодаря царскому врачу Самюэлю Коллинсу. А дальше из него пытались лепить русскую версию, как пишет Чуковский:
Русский язык вообще тяготеет к склонению несклоняемых слов. Не потому ли, например, создалось слово кофий, что кофе никак не возможно склонять? Не потому ли кое-где утвердились формы радиво (вместо радио) и какава (вместо какао), что эти формы можно изменять по падежам?
Столько воды — ужас просто.
Гораздо наваристей хотя бы вот эта статья elementy.ru/nauchno-populyarnaya_biblioteka/430378/Energeticheskiy_podkhod_k_evolyutsii_mozga
Гораздо наваристей хотя бы вот эта статья elementy.ru/nauchno-populyarnaya_biblioteka/430378/Energeticheskiy_podkhod_k_evolyutsii_mozga
Савельев, серьёзно? Шарлатан каких ещё поискать.
Хм. Впервые такое слышу. Почему? Подскажите кого почитать / послушать не из шарлатанов?
Могу посоветовать цикл лекций.
Можно очень много написать про него, если действительно хотите узнать то тут
www.youtube.com/watch?v=o2KXLGSU_nM практически все про него рассказано.
www.youtube.com/watch?v=o2KXLGSU_nM практически все про него рассказано.
Воды и правда полная заметка. Всё надеялся, что вот-вот мяско пойдёт — ан нет, вдруг закончилась.
Но ссылка на Савельева и правда ой. За неё, видимо, и минусуют.
Но ссылка на Савельева и правда ой. За неё, видимо, и минусуют.
Из всей статьи вся условно важная информация здесь:
Но и она представляет из себя какую-то цитату из ролика про эксперта:
-Перпендикулярна чему?
-Всему.
«Когда мозг строит модель мира, всё имеет место относительно всего остального», — сказал Хокинс. «Вот как он понимает все вокруг».
Но и она представляет из себя какую-то цитату из ролика про эксперта:
-Перпендикулярна чему?
-Всему.
Я так и не понял из статьи: он где-то объяснил или только готов объяснить?
По ссылке в самом начале есть видео, где он кратно (на 40-45 минут) объясняет основы своей теории на конференции в рамках проекта ru.wikipedia.org/wiki/Human_Brain_Project. и приглашает обращаться за деталями всех заинтересовавшихся.
А все вся остальная статья — сплошная вода.
А все вся остальная статья — сплошная вода.
del
Кстати, не согласен с тем, что если ты слабо связан с академическим сообществом и на свои кровные проводишь исследования, то ты якобы изгой. В существующей системе академических отношений вряд ли получится фундаментально исследовать какое-либо явление. Очень уж все завязано на научную моду. Кто-нибудь, возможно, и заинтересовался бы, услышав модное слово «neurocomputing», но тотчас отказался бы выделять грант, если в заявке будет отсутствовать модное словосочетание «neural nets». Так что самостоятельность в этом плане — это скорее жирный плюс.
Типичная англоязычная научпоповская статья: где кто про жизни, с кем ручкался, во что был одет, с чашечкой чего сидит в руках напротив журналиста. По сути вопроса практически ноль
При всём уважении к прошлым бизнесам Хокинса, мне лично труды его коллектива по неокортексу напоминают ферматистов. Посмотрите, например, на эту работу: arxiv.org/ftp/arxiv/papers/1503/1503.07469.pdf. Рассматриваются простейшие вопросы на уровне комбинаторики середины 19 века, почти что уровня парадокса дней рождения, классические дискретные распределения, им придаётся исключительно существенное значение. Чем-то может быть схожа с математикой кодов, исправляющих ошибки, где коды даны в двоичных векторах. По той же причине профессионалы от теории чисел с трудом понимают ферматистов — ферматисты не обладают знаниями или/и талантом для решения задачи по-настоящему. Никто не утверждает, что не существует изящного, компактного и яркого док-ва великой теоремы Ферма, и есть примеры, где сложные проблемы удавалось решать изящно и компактно (скажем, теоремы действительного анализа, доказываемые над полем действительных чисел на несколько страниц, в комплексной плоскости доказываются в две строчки), но путь, по которому идут ферматисты — это trivia, которая к такому доказательству точно не приведёт.
И вот опять, последнее его видео. Хокинс пробовал ли, например, собрать сетку с LSTM слоями на TensorFlow и потренировать её на каких-нибудь песнях? Посмотреть там, как она тренируется в зависимости от размера минибатча, градиентный шум, структуру минимумов, как влияет на сходимость случайная инициализация весов vs по Ксавьеру и т.д. Ведь человек, который уже обладает таким навыком, уже никогда не спустится до такого тривиального уровня рассуждения о феномене обучения структурным представлениям (representation learning, в смысле).
Я бы рад сказать, что работы Хокинса — это как труды Рамануджана, — понять их и распознать гения дано было лишь единицам, но сделав это, они открыли бездонный сундук с сокровищами. Но у меня, как у математика, совершенно не складывается такого ощущения.
У вас нет такого же впечатления?
И вот опять, последнее его видео. Хокинс пробовал ли, например, собрать сетку с LSTM слоями на TensorFlow и потренировать её на каких-нибудь песнях? Посмотреть там, как она тренируется в зависимости от размера минибатча, градиентный шум, структуру минимумов, как влияет на сходимость случайная инициализация весов vs по Ксавьеру и т.д. Ведь человек, который уже обладает таким навыком, уже никогда не спустится до такого тривиального уровня рассуждения о феномене обучения структурным представлениям (representation learning, в смысле).
Я бы рад сказать, что работы Хокинса — это как труды Рамануджана, — понять их и распознать гения дано было лишь единицам, но сделав это, они открыли бездонный сундук с сокровищами. Но у меня, как у математика, совершенно не складывается такого ощущения.
У вас нет такого же впечатления?
Лично у меня ощущение явно намечающегося прорыва было от его популярной книжки «Об интеллекте» (2004). Был уверен, что его «Нумента» будет упирать и развивать тезис, который мне показался у Хокинса главным — делать из однотипных полей («нейросетей» в нынешнем понимании) именно что иерархическую (первая буква в его HTM! суть их эмблемы!) конструкцию. Вводить корректирующие обратные связи от высокоранговых полей к полям среднего и почти низшего ранга, — как, по-видимому, это происходит в мозгу у нас, человеков, избавляя от ошибок распознавания, вызванных ограничениями/сбоем одного из полей низкого ранга.
Что будут привлекать профессиональных математиков, чтобы разрабатывали теорию, описывающую возможности такой иерархической организации, поиск оптимальной структуры… Чтобы все это было как-то всерьез. По-взрослому.
А они, действительно, что-то странное стали делать — несколько лет затишья, и вдруг та работа про борьбу с разреженностью; еще несколько лет затишья, и вот этот новый тезис…
Что будут привлекать профессиональных математиков, чтобы разрабатывали теорию, описывающую возможности такой иерархической организации, поиск оптимальной структуры… Чтобы все это было как-то всерьез. По-взрослому.
А они, действительно, что-то странное стали делать — несколько лет затишья, и вдруг та работа про борьбу с разреженностью; еще несколько лет затишья, и вот этот новый тезис…
И кстати, иерархическая организация с обратными связями между полями — это отчасти и классические рекуррентные сети, LSTM и иже с ними, отчасти resudual networks (пробросы связей между далеко стоящими слоями), резервуарные сети и т.д. Множество результатов по этим направлениям в последние годы. Самоизоляция коллетива Хокинса при их наличии просто поражает.
А что конкретно могут дать Хокинсу рекуррентные сети? Или даже более широкий вопрос: чем все ИНС могут помочь в изучении неокортекса? Это совершенно другая колея, базовые элементы ничем друг на друга непохожи.
Рекуррентные — они конкретно могут дать, а могут и не дать. Но мы же говорим не об изучении синих и зеленых шаров, а об изучении шаров вообще. Касаемо нейросетей и неокортекса — да вот хотя бы на хабре можно почитать о капсульных сетях. Там как раз вводится модель колонки, прямо как в новой коре. Идея явно была заимствована из знаний об устройстве неокортекса. Ну или вот: habr.com/ru/post/438526 «Искусственные нейронные сети выращивают навигационные клетки как в мозге». Далее, на хабре поискать про «бабушкины нейроны», что ещё старые ИНС Эндрю Ына в 2010 году предъявляли внутри себя возникновение таких нейронов. И т.д. и т.п. Что могут дать Хокинсу ИНС для изучения неокортекса? Очень многое, к.м.к., если вообще не всё — двигаясь от синтеза простейших ИНС к синтезу таких ИНС, что воспроизводят структуры неокортекса, мы тем самым сможем познать в частности и неокортекс, разве нет? Мне кажется, это куда более конструктивный путь, чем пытаться сводить работу неокортекса к тривиальным детерминистическим алгоритмам и подобно каноничному ферматисту, трубящему о большей силе простого числа 13 над простым числом 7 и их эманациями, дающими множество всех чисел во Вселенной, заявлять о «вот-вот» открытом генеральном алгоритме, выведенном через свойства биномиальных коэффициентов. Казалось бы, куда более продуктивным был бы, ну, хотяяяя быыыы, поиск метода или алгоритма, дающего синтез структуры капсульной сети — ведь её-то Хинтону пришлось-таки придумать, она не сама возникла. Вот пусть Хокинс возьмёт и поймёт, каким образом такие капсулы должны появиться в синтезируемой ИНС в процессе её эволюции. Это безумно интересно было бы проделать, разве нет? Но нет же, Хокинс почему-то продолжит тратить свои кровные на какую-то, откровенно скажем, чепуху. Ощущение такое, что его банально кто-то дурачит.
можно почитать о капсульных сетях
Читал. Капсульные сети такой же хак, как и свёртка. Мы искусственно вводим пространственные 3D преобразования, как когда-то сделали такие же преобразования в 2D, придумав свёртку.
Колонка там также условность. Лучше бы он назвал её «модуль» или «блок», чтобы не выходило опять как когда-то с «нейроном», который ничего общего с живой клеткой не имеет и скорее представляет узел в графе.
двигаясь от синтеза простейших ИНС к синтезу таких ИНС, что воспроизводят структуры неокортекса, мы тем самым сможем познать в частности и неокортекс, разве нет?
Можно представить широкую колею современных ИНС и рядом параллельную колею, идущую от живых нейронов. Где-то на горизонте кажется, что они смыкаются. Но я полагаю, что это только оптическая иллюзия. Многие уже заговаривают, что видят впереди у ИНС тупик.
vc.ru/future/58093-kakie-tehnologii-iskusstvennogo-intellekta-okazhutsya-populyarnymi-v-blizhayshie-10-let
Вот пусть Хокинс возьмёт и поймёт, каким образом такие капсулы должны появиться в синтезируемой ИНС в процессе её эволюции.
В это всё и упирается. Пока никто не допёр.
Хокинс почему-то продолжит тратить свои кровные на какую-то, откровенно скажем, чепуху.
Я читал только его первую работу десять лет назад. Что он делал все эти годы, не знаю. Но вот в ведре воды из этого видео я заметил мысль похожую на мою про нейроны решетки. Очень легко небольшим количеством «обычных» нейронов «закодировать» пространство и создать между областями ассоциативные связи. Так что хоть какая-то польза от него есть ).
Ощущение от статьи – как-будто недалекий но вдохновленный гуманитарий пытается пересказать прочитанный недавно научпоп бестселлер.
«Всё имеет место относительно всего остального, вот так мозг и работает» – ну нихрена себе озарение.
Видимо исследователь и правда пытался объяснить суть своей работы, но неокортекс журналиста не нашел места для этой информации относительно того что находится в его мозге, и процитировал только глубокомысленную фразу уровня цитат из паблика.
«Всё имеет место относительно всего остального, вот так мозг и работает» – ну нихрена себе озарение.
Видимо исследователь и правда пытался объяснить суть своей работы, но неокортекс журналиста не нашел места для этой информации относительно того что находится в его мозге, и процитировал только глубокомысленную фразу уровня цитат из паблика.
Я одно время изучал его теорию. У Нументы есть ютуб канал, также есть ютуб-школа где они учат доступно своей теории. Очень жаль что в статье внет ничего, а только одна вода.
Они довольно сильно продвинулись, разработали свой мат апарат для обяъснения того как работает кортикальная колонна. Как можно переводить сигналы с сенсоров в данные, котоыре принимает корительаня колонка. Много логичных и интересных идей. Например как мозг делает предикшен будущего, например. Там и задел на нейро-интерфейс есть, т.к. идея что мозг может работать с любыми входными данными, что там алгоритм универсальный. Ребята работают, отрабатывают разные идеи в рамках своей теории.
У них также есть проекты на гит хабе. Они также написали что то комерческое для поиска отклонений в потоке данных. Вроде как их теория ИИ хорошо подходит для поиска нетипичных данных или ошибок в потоке, не помню уже точно. С этого они имеют какой то доход на который компания живет.
В статье об этом 0.
Они довольно сильно продвинулись, разработали свой мат апарат для обяъснения того как работает кортикальная колонна. Как можно переводить сигналы с сенсоров в данные, котоыре принимает корительаня колонка. Много логичных и интересных идей. Например как мозг делает предикшен будущего, например. Там и задел на нейро-интерфейс есть, т.к. идея что мозг может работать с любыми входными данными, что там алгоритм универсальный. Ребята работают, отрабатывают разные идеи в рамках своей теории.
У них также есть проекты на гит хабе. Они также написали что то комерческое для поиска отклонений в потоке данных. Вроде как их теория ИИ хорошо подходит для поиска нетипичных данных или ошибок в потоке, не помню уже точно. С этого они имеют какой то доход на который компания живет.
В статье об этом 0.
Сейчас в процессе перевода как раз их большая работа про кортикальные колонки. А данная статья в New York Times — это просто небольшой очерк о компании в целом, на который они сами приводят ссылку на главной странице своего сайта.
Например, в этой работе сразу видна процедура обучения в разделе «Computing Cell States», являющаяся случаем процедуры обучения в старом добром перцептроне Розенблатта, даже не многослойном, прадедушке современной нейросетевой технологии. Тут можно поверх этого доказывать теоремы вроде этой. Проблема в том, что это же давно уже всё сделано, разве нет.
А вы не могли бы дать ссылки на указанный мат.аппарат? Ну т.е. не тривию про биномиальные коэффициенты вместе с кучей plain-текста, а действительно конструктивный и вычислительно-реализуемый мат.аппарат, сравнение их подхода с результатами, достижимыми на современных нейросетях и т.д. Я как-то тоже это видел, пробовал их библиотеку на Питоне и т.д., и немало подивился, поскольку дальше поделки одного студента средних курсов универа по моим ощущениям это не тянуло. В крайнем случае это походило на какой-то частный, не очень сильный с точки зрения способности к обобщениям, случай несложной нейросетевой архитектуры.
Ну примерно как, давайте вот возьмём SVM (можно замоделировать задачу, решаемую SVM, нейросетью, как например word2vec ембеддинги можно строить простым матричным разложением, но допустим мы вообще игнорируем нейросети), выберем квадратичное ядро, пересоберём это в коде без возможности параметризовать ядро и сам SVM, дадим новое имя, изучим свойства «нового» объекта, сделаем этому кучу видео и туториалов. Вуаля — вот мы уже убедили себя, что у нас оригинальная горячая идея, не похожая ни на что.
Ну примерно как, давайте вот возьмём SVM (можно замоделировать задачу, решаемую SVM, нейросетью, как например word2vec ембеддинги можно строить простым матричным разложением, но допустим мы вообще игнорируем нейросети), выберем квадратичное ядро, пересоберём это в коде без возможности параметризовать ядро и сам SVM, дадим новое имя, изучим свойства «нового» объекта, сделаем этому кучу видео и туториалов. Вуаля — вот мы уже убедили себя, что у нас оригинальная горячая идея, не похожая ни на что.
Очень интересно где-нибудь почитать — какая именно сущность и каким образом переключает внутренний фокус внимания
Ну опять же, обучение с «вниманием» на рекуррентных сетях, в частности, доставляет нам Google Translate такого замечательного качества в течение последней пары лет, с тех пор как они перешли со статистической на нейросетевую архитектуру. При чём тут новейшие исследования Хокинса, я так и не смог понять из его публикаций. Идеи о дропауте, внимании и прочем, что хорошо работает в нейросетях последние лет 5, безусловно заимствованы из нейробиологии, и формируется математическое обоснование, почему это работает в нейросетях, через матаппарат теории информации, но Хокинс к этому не имеет отношения.
> Кристоф Кох, главный исследователь и президент Института им. Пола Аллена. «Мы не понимаем даже мозг червя».
Уже не совсем актуально: www.sciencealert.com/scientists-put-worm-brain-in-lego-robot-openworm-connectome. В 2014 OpenWorm завёлся же, нейроны отмаппили, можно посмотреть там её изнутри вот ребята в лего завели эту модельку, или вот такие штуки делают: www.tuwien.ac.at/en/news/news_detail/article/125597. И вполне есть понимание, почему его нейросистема такова. В результате эволюции и воздействия окружающей среды, казалось бы. Там всего 302 нейрона в этой нервной системе, сформировались сенсоры, тончайше чувствующие изменения температуры и приводящие к движению, это позволяет червю эффективно существовать. В целом, думаю, можно из этой сети 302 нейронов извлекать какие-то «если-то» правила даже, охарактеризовав поведение червя в виде более осязаемого человеком набора инструкций, — алгоритма, если хотите — того самого рода, коего так жаждет Хокинс.
Уже не совсем актуально: www.sciencealert.com/scientists-put-worm-brain-in-lego-robot-openworm-connectome. В 2014 OpenWorm завёлся же, нейроны отмаппили, можно посмотреть там её изнутри вот ребята в лего завели эту модельку, или вот такие штуки делают: www.tuwien.ac.at/en/news/news_detail/article/125597. И вполне есть понимание, почему его нейросистема такова. В результате эволюции и воздействия окружающей среды, казалось бы. Там всего 302 нейрона в этой нервной системе, сформировались сенсоры, тончайше чувствующие изменения температуры и приводящие к движению, это позволяет червю эффективно существовать. В целом, думаю, можно из этой сети 302 нейронов извлекать какие-то «если-то» правила даже, охарактеризовав поведение червя в виде более осязаемого человеком набора инструкций, — алгоритма, если хотите — того самого рода, коего так жаждет Хокинс.
Нет-нет, Хокинс упирает на то, что можно легко (ну, относительно легко) понять структуру именно неокортекса — эта структура появилась последней, как надстройка, относительно недавно, и есть основания считать, что в ней реализуются всего несколько простых правил, причем почти все они действительно важны для функционирования (а не случайные рудименты). Эти несколько базовых правил можно понять, скопировать — и, наверно, улучишь. А возможно, даже ОЧЕНЬ улучшить.
Клубок же из 300 нейронов, которые делают все на свете, чем занят червь — это, скорее всего, система из заплаток поверх заплаток. Разобраться в этом трудно, а главное — бесполезно. Вы получите кучу разных, параллельно работающих алгоритмов, примитивных, и никак не помогающих понять, как устроена способность размышлять. У человека такая «заплаточная» часть мозга — это, собственно, весь мозг под неокортексом.
Ну представьте, что у вас в доме есть электрощиток, в котором сто лет разные люди делали разные «улучшения». И сейчас это — жуткий клубок. В котором мало того, что трудно разглядеть, какой провод куда идет и зачем; но даже если вы разберетесь, — что дальше? Копировать эту «структуру» для электрощитка в новом, с иголочки, доме?
Клубок же из 300 нейронов, которые делают все на свете, чем занят червь — это, скорее всего, система из заплаток поверх заплаток. Разобраться в этом трудно, а главное — бесполезно. Вы получите кучу разных, параллельно работающих алгоритмов, примитивных, и никак не помогающих понять, как устроена способность размышлять. У человека такая «заплаточная» часть мозга — это, собственно, весь мозг под неокортексом.
Ну представьте, что у вас в доме есть электрощиток, в котором сто лет разные люди делали разные «улучшения». И сейчас это — жуткий клубок. В котором мало того, что трудно разглядеть, какой провод куда идет и зачем; но даже если вы разберетесь, — что дальше? Копировать эту «структуру» для электрощитка в новом, с иголочки, доме?
Хокинс говорит, что прежде чем мы сможем создать искусственный интеллект, мы должны объяснить человеческий интеллект. Только тогда мы сможем создавать машины, которые действительно работают как мозг.Ну наконец, глас разума в болоте статистического обучения! Примерно похожее гворил и Дэвид Дойч в своей концепции креативности:
Нам нужен прорыв в философии, нам нужна теория, объясняющая, как мозг создаёт объяснения.Нынешнее направление в ИИ — тупиковое, как и похожий на него массовый скрининг малых молекул в фармакологии. Конечно, они оба были важны на некоем этапе и принесли много пользы, но они не объясняли почему A лучше B. Щаз нужно перешагнуть через них, и искать реальные объяснительные концепции.
Не могу согласиться:
blog.openai.com/learning-concepts-with-energy-functions
www.vicarious.com/research
Современное развитие движется в сторону именно обучения высокоуровневым концепциям, приводящего к высочайшей степени обобщаемости при наличии очень малого числа примеров.
blog.openai.com/learning-concepts-with-energy-functions
www.vicarious.com/research
Современное развитие движется в сторону именно обучения высокоуровневым концепциям, приводящего к высочайшей степени обобщаемости при наличии очень малого числа примеров.
Нам нужен прорыв в философии, нам нужна теория, объясняющая, как мозг создаёт объяснения
Есть концепция Mesh-сетей. Есть работающие mesh-сети. Но люди занятые в построении не могут даже пропустить транзитный трафик БЕСПЛАТНО. Жаба душит. Вот и работают все эти наработки технические только в замкнутых и локальных средах.
Тут точно нужен прорыв в философии. Без него никак. Вряд ли мозг мог бы работать, если каждый нейрон выставлял бы свои корыстные требования на пропускание транзитной информации.
Sign up to leave a comment.
Джефф Хокинс наконец готов объяснить свои исследования мозга