Comments 7
Шикарная статья по ИИ. Вероятно лучшая за несколько лет на Хабре.
Всё что написано ниже — мои личные впечатления, если кто-то может меня поправить/опровергнуть или подтвердить мои наблюдения — буду благодарен.
Я на определенном этапе смотрел видео Numenta. У меня остались очень смешанные впечатления.
С одной стороны, они на сайте прямо говорят что мы ничего нового не изобрели, мы просто то что есть сложили правильно. С другой стороны, они вводят свою терминологию и не проводят аналогии с существующими алгоритмами/подходами, что настораживает.
Например, SDR, про который они говорят в этой статье и в половине видео их школы (вроде 4 из 10 видео посвящалось SDR), я бы сказал что это Bloom filter. И тогда вместо общих фраз про очень много комбинаций которые SDR может сохранить и «SDR не мешают друг другу» — можно взять формулу и посчитать вероятность коллизий. И вместо 4 видео, людям знакомым с фильтром Блума достаточно будет одной минуты.
Следующий момент, про то, что в SDR активируются одни и те же нейроны для подобных сущностей. Идея отличная, но для её решения на время, когда я смотрел в их сторону, предлагалось для каждого типа входных данных писать преобразователь, который будет маппить входной сигнал на SDR так, чтобы у похожих входных сигналов пересекались выходные наборы бит. Для простых вещей типа число/дата есть из коробки, для чего-то более сложного — нужно писать самому, ручками, а не «оно само», и это мне кажется нетривиальной задачей. Во-первых, я за то чтобы сказать что это Locality sensitive hashing вместо изобретения своей терминологии, во-вторых фраза «у обоих SDR будут активными одни и те же группы нейронов, представляющие «домашнее животное» и «когтистый», но не «пушистый»» фактически звучит «если разработчик определит когтистость и пушистость как важные фичи LSH функции и научит их выделять из входных данных, то нейросеть сможет сравнивать похожесть по этим критериям», что не так красиво звучит.
Касательно обучения, читал статью на Arxiv, ссылку сейчас уже не найду, сводилась к тому, что их нейросеть учится лучше всех узнавать новые данные. При этом в приложении к статье приводились параметры нейросетей, нейросеть Numenta, не помню, на порядок или нет, но точно в разы больше традиционных. Если традиционной добавить нейронов — она тоже будет лучше запоминать обучающую выборку.
Я на определенном этапе смотрел видео Numenta. У меня остались очень смешанные впечатления.
С одной стороны, они на сайте прямо говорят что мы ничего нового не изобрели, мы просто то что есть сложили правильно. С другой стороны, они вводят свою терминологию и не проводят аналогии с существующими алгоритмами/подходами, что настораживает.
Например, SDR, про который они говорят в этой статье и в половине видео их школы (вроде 4 из 10 видео посвящалось SDR), я бы сказал что это Bloom filter. И тогда вместо общих фраз про очень много комбинаций которые SDR может сохранить и «SDR не мешают друг другу» — можно взять формулу и посчитать вероятность коллизий. И вместо 4 видео, людям знакомым с фильтром Блума достаточно будет одной минуты.
Следующий момент, про то, что в SDR активируются одни и те же нейроны для подобных сущностей. Идея отличная, но для её решения на время, когда я смотрел в их сторону, предлагалось для каждого типа входных данных писать преобразователь, который будет маппить входной сигнал на SDR так, чтобы у похожих входных сигналов пересекались выходные наборы бит. Для простых вещей типа число/дата есть из коробки, для чего-то более сложного — нужно писать самому, ручками, а не «оно само», и это мне кажется нетривиальной задачей. Во-первых, я за то чтобы сказать что это Locality sensitive hashing вместо изобретения своей терминологии, во-вторых фраза «у обоих SDR будут активными одни и те же группы нейронов, представляющие «домашнее животное» и «когтистый», но не «пушистый»» фактически звучит «если разработчик определит когтистость и пушистость как важные фичи LSH функции и научит их выделять из входных данных, то нейросеть сможет сравнивать похожесть по этим критериям», что не так красиво звучит.
Касательно обучения, читал статью на Arxiv, ссылку сейчас уже не найду, сводилась к тому, что их нейросеть учится лучше всех узнавать новые данные. При этом в приложении к статье приводились параметры нейросетей, нейросеть Numenta, не помню, на порядок или нет, но точно в разы больше традиционных. Если традиционной добавить нейронов — она тоже будет лучше запоминать обучающую выборку.
А может не стоит радоваться появлению сверхумных роботов. И восхищаться ими. Реально, угроза вымирания человечества все накаляется.
Sign up to leave a comment.
Чему умные машины должны научиться у неокортекса