Comments 17
Статья написана в настолько пиарной манере, что невозможно понять, каков же механизм обучения этой сети? Это рекуррентная иерархическая сеть, обучаемая с учителем? Что же нового в таком случае изобрел г-н Хокинс? Все это было разжевано еще в 90-х. Просто если описать все в терминах "эмоции", "восприятие", "поиск причин" намного легче срубить какой-нибудь венчурный фонд под такое дело.
Под статьей имею в виду приложенную pdf конечно.
Большинство машин имею 4 колеса и ДВС, но это не значит что все они одинаковые.
Пролистайте книгу (читать ее невозможно - сплошная лирика). В 2005 году (в 2005 она издана кажется?) чтобы походя заметить, что нейронные сети с обратным распространением (backprop, с которых все начиналось) далеки от работы мозга как куча транзисторов от компьютера надо либо совершенно презреть все что было сделано в этой области за последние лет 20, либо обладать невероятной наглостью. Существуют тучи алгоритмов работы нейронных сетей как с учителем так и без него, существует масса эффектных примеров успешной работы этих сетей. И он говорит, что все это не то. А что он предлагает взамен? Популярную механику неокортекса? Конспект трудов по нейрофизиологии?
пойду почитаю
А я бы посоветовал все таки почитать, тем более за столь стройном ходом мысли, мне, лично, просто доставляет удовольствие наблюдать. По всем пунктам почему на данный момент большинство исследований движется не в том направлении я с ним полностью согласен и в плане предложенного направления тоже.
В книге в первую очередь излагается некий концептуально-понятийный каркас (framework) для одной из основных проблем на стыке многих наук - как микроуровень нашего мозга связан с макроуровнем. Вобще подобные задачи связи макро и микро уровня при изучении сложных систем - наиболее проблематичная область. Из строения атома кислорода проблематично вывести, например, законы идеального газа.
Как и во всякой научной работе (хотя достаточно популярный характер книги я не отрицаю) в начале дается обзор того, что сделано в области исследования до этого, таким образом можно любую пролистаную диссертацию упрекнуть в том, что это всего лишь конспект из литературы по теме.
>Существуют тучи алгоритмов работы нейронных сетей как с учителем так и без него, существует масса эффектных примеров успешной работы этих сетей.
Да, это не то, трижды не то, даже не потому что элемент нейросети это не есть математическая модель нейрона (существуют, например проекты вроде glisom и slisom, которые направлены на построение сетей из более точно смоделированых нейронов - но это отдельная история), а потому что при создании нейросетей отсутствует ключевой момент - архитектура самой сети, есть только слабая надежда что при сто первой перенастройке все само-собой организуется и получится более или менее эффективная сетка для решения определенной узкой задачи. В книге без каких либо противоречий с существующими на данный момент результатами исследований нейрофизиологов даются вполне четкие ответы на вопросы в каком виде информация поступает в наш мозг, сохраняется в нем, как она обрабатывается и структурируется.
Базовых алгоритмов для создания нейросеток не так много, приблизительно сколько пальцев на руке и ничего принципиально нового в плане них в книге не рассказывается. Мало того, HTM без особых изменений использует один из них - байесовских сеток. Насчет их эффективного применения: примеры, пожалуйста, видимо вы просто никогда не работали с ними не практике при решении конкретных задач, а максимум знакомились с ними по популярной литературе, которую, возможно, так же пролистывали.
Те же нейрофизиологи склонны относиться к его книге как к откровению, нежели как к конспекту.
Степень доходчивости изложения материала настолько высока даже для неспециалиста, что непонимание сути концепции меня, лично, просто удивляет.
В книге в первую очередь излагается некий концептуально-понятийный каркас (framework) для одной из основных проблем на стыке многих наук - как микроуровень нашего мозга связан с макроуровнем. Вобще подобные задачи связи макро и микро уровня при изучении сложных систем - наиболее проблематичная область. Из строения атома кислорода проблематично вывести, например, законы идеального газа.
Как и во всякой научной работе (хотя достаточно популярный характер книги я не отрицаю) в начале дается обзор того, что сделано в области исследования до этого, таким образом можно любую пролистаную диссертацию упрекнуть в том, что это всего лишь конспект из литературы по теме.
>Существуют тучи алгоритмов работы нейронных сетей как с учителем так и без него, существует масса эффектных примеров успешной работы этих сетей.
Да, это не то, трижды не то, даже не потому что элемент нейросети это не есть математическая модель нейрона (существуют, например проекты вроде glisom и slisom, которые направлены на построение сетей из более точно смоделированых нейронов - но это отдельная история), а потому что при создании нейросетей отсутствует ключевой момент - архитектура самой сети, есть только слабая надежда что при сто первой перенастройке все само-собой организуется и получится более или менее эффективная сетка для решения определенной узкой задачи. В книге без каких либо противоречий с существующими на данный момент результатами исследований нейрофизиологов даются вполне четкие ответы на вопросы в каком виде информация поступает в наш мозг, сохраняется в нем, как она обрабатывается и структурируется.
Базовых алгоритмов для создания нейросеток не так много, приблизительно сколько пальцев на руке и ничего принципиально нового в плане них в книге не рассказывается. Мало того, HTM без особых изменений использует один из них - байесовских сеток. Насчет их эффективного применения: примеры, пожалуйста, видимо вы просто никогда не работали с ними не практике при решении конкретных задач, а максимум знакомились с ними по популярной литературе, которую, возможно, так же пролистывали.
Те же нейрофизиологи склонны относиться к его книге как к откровению, нежели как к конспекту.
Степень доходчивости изложения материала настолько высока даже для неспециалиста, что непонимание сути концепции меня, лично, просто удивляет.
Ну не надо огульно строить предположения о моей практике решения конкретных задач. Есть практика.
Стройно излагаете, попробую все таки прочитать.
Стройно излагаете, попробую все таки прочитать.
Извиняюсь, погорячился, наверное тогда должно быть представление какое шаманство представляет из себя их настройка под конкретные задачи и какое таинство - их внутренние процессы.
Собственно проблемы выбора архитектуры (слои, блоки и т.д., а так же чисто технические вопросы, как, например, это дело на кластеры разносить) до сих пор актуальны как некогда.
Может numenta как IT и не добьется каких то сверхрезультатов в разработке конкретных продуктов на технологии HTM, но на их счету уже прорыв научного характера, связанный с пониманием проблематики изучения мозга и наиболее комплексного теоретического подхода изо всех существующих. Хотя к этому существуют предпосылки, в скором времени они уже готовы начать поставлять свою продукцию вкупе с SDK, если уже этого не делают, во всяком случае на их сайте уже существуют соответствующие разделы для клиентов, так что через некоторое время узнаем, что все это дает на практике. Правда существует серьезный технологический минус - огромные по современным меркам требования к оперативной памяти, хотя и в этой области грядут новые технологии, то же серийное производство памяти на нанотрубках, например.
Собственно проблемы выбора архитектуры (слои, блоки и т.д., а так же чисто технические вопросы, как, например, это дело на кластеры разносить) до сих пор актуальны как некогда.
Может numenta как IT и не добьется каких то сверхрезультатов в разработке конкретных продуктов на технологии HTM, но на их счету уже прорыв научного характера, связанный с пониманием проблематики изучения мозга и наиболее комплексного теоретического подхода изо всех существующих. Хотя к этому существуют предпосылки, в скором времени они уже готовы начать поставлять свою продукцию вкупе с SDK, если уже этого не делают, во всяком случае на их сайте уже существуют соответствующие разделы для клиентов, так что через некоторое время узнаем, что все это дает на практике. Правда существует серьезный технологический минус - огромные по современным меркам требования к оперативной памяти, хотя и в этой области грядут новые технологии, то же серийное производство памяти на нанотрубках, например.
Критикую в основном из-за большого интереса к теме, неудовлетворенного деталями. Вот похоже пропустил: почему нужны огромные объемы памяти? Количество весов X = где-то N весов на нейрон * 10 (коэффициент ОС) * М^2 нейронов. Должно не так уж много получаться.
Самих нейронов нужно очень немало, именно в силу архитектуры, как отдельные единицы идут колонки то есть атомарная единица насчитывает порядка сотни нейронов. И этих колонок в силу как раз архитектуры для более или менее реальных задач надо очень-очень немало.
При этом не совсем ясно как там на чисто техническом уровне все реализовано, ясно, что при разных реализациях пусть даже на основе одного и того же алгоритма количество памяти, уходящее на одну атомарную единицу будет разным.
При этом не совсем ясно как там на чисто техническом уровне все реализовано, ясно, что при разных реализациях пусть даже на основе одного и того же алгоритма количество памяти, уходящее на одну атомарную единицу будет разным.
Логично. Раз он взялся приблизиться к строению человеческого мозга, то на задачу, скажем, распознавания визуальных образов должно уходить нейронов никак не меньше чем в зрительном отделе мозга.
Угу, те же слиссомы кушают неимоверно при крайне небольшом размере входного поля, и то они моделируют далеко не все процессы в зрительной коре, их как раз для изучения процессов самоорганизации в живом мозге использовали, там, правда, модель нейрона крайне непростая, с другой стороны у них неплохие результаты получились (они пытались понять как образуется пространственное распределение колонок, восприимчивых к различным образом ориентированых линий, на их системе получилось достаточно близко к живому мозгу)
Эти слиссомы (развитие сетей Кохонена, если правильно понимаю?)и многое другое с чем мне приходилось сталкиваться ориентированы прежде всего на задачи распознавания образов, а Вам не встречались разработки, так сказать, более низменного плана? Например воссоздание нервной системы более примитивных, но успешных в эволюционном плане организмов.
ау, на питоне написано... даже в коде не по колупаюсь...
По данной рецензии на книгу - низачет, в таком изложении ключевые моменты концепции просто опущены. Совсем базовых две - мозг представляет собой базу данных, в которой сохранено колоссальное количество последовательностей, и работает он, соответственно, исключительно с ними, второй ключевой момент - механизм инвариантности, который позволяет ему сортировать эти последовательности и оперировать с ними.
Честно говоря, по статье в комьютерре, опубликованной несколько лет назад у меня как и у многих сложилось мнение как и многих комментаторов этой статьи - е-мое, еще один черти-кто вышибает гранты на малоперспективные проекты, связанные с нейросетками. После прочтения и перепрочтения склонен считать его скорее вторым энштейном.
Насчет стиля изложения - почитайте хотя бы того же Хьюбела или Роуза - так же вроде бы куча лирики, но почему то эти работы считаются одними из ключевых в нейрофизиологии.
Минский же пишет немного не о том.
Кому жалко своего времени - хотя бы прослушайте часовую запись лекции Хавкинса, была где то на ютюбе, на numenta.com можно найти ссылку.
Честно говоря, по статье в комьютерре, опубликованной несколько лет назад у меня как и у многих сложилось мнение как и многих комментаторов этой статьи - е-мое, еще один черти-кто вышибает гранты на малоперспективные проекты, связанные с нейросетками. После прочтения и перепрочтения склонен считать его скорее вторым энштейном.
Насчет стиля изложения - почитайте хотя бы того же Хьюбела или Роуза - так же вроде бы куча лирики, но почему то эти работы считаются одними из ключевых в нейрофизиологии.
Минский же пишет немного не о том.
Кому жалко своего времени - хотя бы прослушайте часовую запись лекции Хавкинса, была где то на ютюбе, на numenta.com можно найти ссылку.
UFO just landed and posted this here
Sign up to leave a comment.
Джефф Хокинс предлагает программировать неокортекс для ИИ