Comments 63
Круто если это действительно так, а не только попытка поднять немного инвестиционных денег.
В этом плане известный хабру тов. Редозубов ушел еще дальше. Вот только тоже пребывает в забвении. Пока идет хайп по поводу Deep learning это все никому не нужно, т.к. слишком сложно. И по моим оценкам пока компы такое не потянут. Нужны или десятки терабайт в секунду пропускной способности шины памяти при текущей архитектуре и сотнях гигабайт dram или сотни параллельных процов, каждый со своим всего лишь в несколько гигабайт объемом sram. Это более возможно, но стоить будет миллионы на дизайн, мануфактуринг, тесты. Ничего этого пока нет. А без этого даже POС сделать нереально. Замкнутый круг. Никто миллионов на просто прототип не даст — уже нужно иметь что-то, кроме идеи, т.к. сама схема такого аппаратуса выглядит для сегодняшней науки и тем более венчурных фондов довольно дико. До них ML/DL тридцать лет доходил и все равно они его не понимают, если бы не голимый пиар и хайп.
Подробнее (статья выше поверхностная весьма): apt.cs.manchester.ac.uk/projects/SpiNNaker/architecture
Коммутация «все со всеми» поддерживается. Максимальное количество связей на 1 нейрон конечно ограничено, но ограничений на топологию этих связей и их дальность (с какими другими нейронами может быть связан данный) нет.
Была, только не у него, про биологов и радиоприёмник. www.metodolog.ru/00373/00373.html
Я не говорю, что Редозубова и ему подобных не надо слушать и ни в коем случае не давать их денег. Быть может, какая-то из его идей выстрелит. Быть может, даже не одна. Но давать кучу денег на реализацию очень сложной идеи — это пустая трата денег, лучше уж ещё один остров купить.
Но венчуры надо тоже заинтересовать. Поэтому нужен хотя бы простой POC, сделанный на свои деньги для начала.
Странно только, что, вроде, у Хокинса все для постройки концепта есть, а он лезет к гуглоидам с голыми идеями. Потому и неинтересно никому. Так инвестиции сейчас получить почти невозможно. Тем более на спаде в IT.
Нужны или десятки терабайт в секунду пропускной способности шины памяти при текущей архитектуре и сотнях гигабайт dram или сотни параллельных процов, каждый со своим всего лишь в несколько гигабайт объемом sramНо в каждый процессор нужно загрузить какую-то программу, и об этом почему-то не задумываются сторонники таких архитектур. Я ещё не встречал исследований/размышлений на тему того, чем конкретно должен заниматься каждый процессор, помимо расплывчатого «коммуницировать с остальными».
Чтобы понять, насколько новая архитектура оправдана как отдельный класс, можно ли её привести к обычной фон-неймановской или к одной из классических ИНС.
И приводить к фон-нейману ничего не надо — это и так работает на средних размеров кластере на Зионах. Но неэффективно, местами откровенно медленно.
Можно сделать более эффективную архитектуру — по сути, много параллельных фон-нейманов на сотнях армов. Но цена в сотню-другую тысяч лично для меня и маленькой команды кусается. Будет готов POC на кластере- притянем инвесторов.
Можно и масштабируемый чип сделать. И не проблема спецов по чипам привлечь из знакомых. Но это другой уровень, и уже миллионы джорджиков.
Может читать и разговаривать научим через годик. :)
На что намекает как википедия (в которой основной термин силиконовая, а кремниевая перекидывает на силиконовую — пусть даже там упомянуто что этимологически верно кремниевая), так и несколько словарей приведенных в википедии в сносках, включая «Большая Рос. энциклопедия».
Корректнее конечно кремниевая, но в текущих реалиях и силиконовая в русском ошибкой уже сложно называть, скорее особенность.
Русский язык вообще тяготеет к склонению несклоняемых слов. Не потому ли, например, создалось слово кофий, что кофе никак не возможно склонять? Не потому ли кое-где утвердились формы радиво (вместо радио) и какава (вместо какао), что эти формы можно изменять по падежам?
Гораздо наваристей хотя бы вот эта статья elementy.ru/nauchno-populyarnaya_biblioteka/430378/Energeticheskiy_podkhod_k_evolyutsii_mozga
www.youtube.com/watch?v=o2KXLGSU_nM практически все про него рассказано.
Но ссылка на Савельева и правда ой. За неё, видимо, и минусуют.
«Когда мозг строит модель мира, всё имеет место относительно всего остального», — сказал Хокинс. «Вот как он понимает все вокруг».
Но и она представляет из себя какую-то цитату из ролика про эксперта:
-Перпендикулярна чему?
-Всему.
А все вся остальная статья — сплошная вода.
И вот опять, последнее его видео. Хокинс пробовал ли, например, собрать сетку с LSTM слоями на TensorFlow и потренировать её на каких-нибудь песнях? Посмотреть там, как она тренируется в зависимости от размера минибатча, градиентный шум, структуру минимумов, как влияет на сходимость случайная инициализация весов vs по Ксавьеру и т.д. Ведь человек, который уже обладает таким навыком, уже никогда не спустится до такого тривиального уровня рассуждения о феномене обучения структурным представлениям (representation learning, в смысле).
Я бы рад сказать, что работы Хокинса — это как труды Рамануджана, — понять их и распознать гения дано было лишь единицам, но сделав это, они открыли бездонный сундук с сокровищами. Но у меня, как у математика, совершенно не складывается такого ощущения.
У вас нет такого же впечатления?
Что будут привлекать профессиональных математиков, чтобы разрабатывали теорию, описывающую возможности такой иерархической организации, поиск оптимальной структуры… Чтобы все это было как-то всерьез. По-взрослому.
А они, действительно, что-то странное стали делать — несколько лет затишья, и вдруг та работа про борьбу с разреженностью; еще несколько лет затишья, и вот этот новый тезис…
можно почитать о капсульных сетях
Читал. Капсульные сети такой же хак, как и свёртка. Мы искусственно вводим пространственные 3D преобразования, как когда-то сделали такие же преобразования в 2D, придумав свёртку.
Колонка там также условность. Лучше бы он назвал её «модуль» или «блок», чтобы не выходило опять как когда-то с «нейроном», который ничего общего с живой клеткой не имеет и скорее представляет узел в графе.
двигаясь от синтеза простейших ИНС к синтезу таких ИНС, что воспроизводят структуры неокортекса, мы тем самым сможем познать в частности и неокортекс, разве нет?
Можно представить широкую колею современных ИНС и рядом параллельную колею, идущую от живых нейронов. Где-то на горизонте кажется, что они смыкаются. Но я полагаю, что это только оптическая иллюзия. Многие уже заговаривают, что видят впереди у ИНС тупик.
vc.ru/future/58093-kakie-tehnologii-iskusstvennogo-intellekta-okazhutsya-populyarnymi-v-blizhayshie-10-let
Вот пусть Хокинс возьмёт и поймёт, каким образом такие капсулы должны появиться в синтезируемой ИНС в процессе её эволюции.
В это всё и упирается. Пока никто не допёр.
Хокинс почему-то продолжит тратить свои кровные на какую-то, откровенно скажем, чепуху.
Я читал только его первую работу десять лет назад. Что он делал все эти годы, не знаю. Но вот в ведре воды из этого видео я заметил мысль похожую на мою про нейроны решетки. Очень легко небольшим количеством «обычных» нейронов «закодировать» пространство и создать между областями ассоциативные связи. Так что хоть какая-то польза от него есть ).
«Всё имеет место относительно всего остального, вот так мозг и работает» – ну нихрена себе озарение.
Видимо исследователь и правда пытался объяснить суть своей работы, но неокортекс журналиста не нашел места для этой информации относительно того что находится в его мозге, и процитировал только глубокомысленную фразу уровня цитат из паблика.
Они довольно сильно продвинулись, разработали свой мат апарат для обяъснения того как работает кортикальная колонна. Как можно переводить сигналы с сенсоров в данные, котоыре принимает корительаня колонка. Много логичных и интересных идей. Например как мозг делает предикшен будущего, например. Там и задел на нейро-интерфейс есть, т.к. идея что мозг может работать с любыми входными данными, что там алгоритм универсальный. Ребята работают, отрабатывают разные идеи в рамках своей теории.
У них также есть проекты на гит хабе. Они также написали что то комерческое для поиска отклонений в потоке данных. Вроде как их теория ИИ хорошо подходит для поиска нетипичных данных или ошибок в потоке, не помню уже точно. С этого они имеют какой то доход на который компания живет.
В статье об этом 0.
Ну примерно как, давайте вот возьмём SVM (можно замоделировать задачу, решаемую SVM, нейросетью, как например word2vec ембеддинги можно строить простым матричным разложением, но допустим мы вообще игнорируем нейросети), выберем квадратичное ядро, пересоберём это в коде без возможности параметризовать ядро и сам SVM, дадим новое имя, изучим свойства «нового» объекта, сделаем этому кучу видео и туториалов. Вуаля — вот мы уже убедили себя, что у нас оригинальная горячая идея, не похожая ни на что.
Очень интересно где-нибудь почитать — какая именно сущность и каким образом переключает внутренний фокус внимания
Уже не совсем актуально: www.sciencealert.com/scientists-put-worm-brain-in-lego-robot-openworm-connectome. В 2014 OpenWorm завёлся же, нейроны отмаппили, можно посмотреть там её изнутри вот ребята в лего завели эту модельку, или вот такие штуки делают: www.tuwien.ac.at/en/news/news_detail/article/125597. И вполне есть понимание, почему его нейросистема такова. В результате эволюции и воздействия окружающей среды, казалось бы. Там всего 302 нейрона в этой нервной системе, сформировались сенсоры, тончайше чувствующие изменения температуры и приводящие к движению, это позволяет червю эффективно существовать. В целом, думаю, можно из этой сети 302 нейронов извлекать какие-то «если-то» правила даже, охарактеризовав поведение червя в виде более осязаемого человеком набора инструкций, — алгоритма, если хотите — того самого рода, коего так жаждет Хокинс.
Клубок же из 300 нейронов, которые делают все на свете, чем занят червь — это, скорее всего, система из заплаток поверх заплаток. Разобраться в этом трудно, а главное — бесполезно. Вы получите кучу разных, параллельно работающих алгоритмов, примитивных, и никак не помогающих понять, как устроена способность размышлять. У человека такая «заплаточная» часть мозга — это, собственно, весь мозг под неокортексом.
Ну представьте, что у вас в доме есть электрощиток, в котором сто лет разные люди делали разные «улучшения». И сейчас это — жуткий клубок. В котором мало того, что трудно разглядеть, какой провод куда идет и зачем; но даже если вы разберетесь, — что дальше? Копировать эту «структуру» для электрощитка в новом, с иголочки, доме?
Хокинс говорит, что прежде чем мы сможем создать искусственный интеллект, мы должны объяснить человеческий интеллект. Только тогда мы сможем создавать машины, которые действительно работают как мозг.Ну наконец, глас разума в болоте статистического обучения! Примерно похожее гворил и Дэвид Дойч в своей концепции креативности:
Нам нужен прорыв в философии, нам нужна теория, объясняющая, как мозг создаёт объяснения.Нынешнее направление в ИИ — тупиковое, как и похожий на него массовый скрининг малых молекул в фармакологии. Конечно, они оба были важны на некоем этапе и принесли много пользы, но они не объясняли почему A лучше B. Щаз нужно перешагнуть через них, и искать реальные объяснительные концепции.
blog.openai.com/learning-concepts-with-energy-functions
www.vicarious.com/research
Современное развитие движется в сторону именно обучения высокоуровневым концепциям, приводящего к высочайшей степени обобщаемости при наличии очень малого числа примеров.
Нам нужен прорыв в философии, нам нужна теория, объясняющая, как мозг создаёт объяснения
Есть концепция Mesh-сетей. Есть работающие mesh-сети. Но люди занятые в построении не могут даже пропустить транзитный трафик БЕСПЛАТНО. Жаба душит. Вот и работают все эти наработки технические только в замкнутых и локальных средах.
Тут точно нужен прорыв в философии. Без него никак. Вряд ли мозг мог бы работать, если каждый нейрон выставлял бы свои корыстные требования на пропускание транзитной информации.
Джефф Хокинс наконец готов объяснить свои исследования мозга