Pull to refresh

Comments 20

Глубинное обучение — только один из необходимых механизмов. Применение глубинного обучения для онлайн-адаптации механизма глубинного обучения сети специализированных сетей глубинного обучения — вот примерный масштаб задачи.

Но по сути это попытка создавать самолет, который будет махать крыльями, при том, что технологии не позволяют воспроизвести важнейшие качества крыльев настоящих птиц и насекомых.

Практически, современные технологии позволяют решить задачу сознательного самообучения куда более простыми средствами чем метасети сетей сетей.

Алгоритм вывода обобщений неопределенной глубины вообще не требует нейросети, как таковой. вполне достаточно обычной коллекции. Необходимо лишь корректно реализовать математическую абстракцию обобщения (суперпризнака) как совокупности признаков, в фрактальной гетерархии обобщений.

Основная проблема неинтуитивности такого подхода в необходимой глубине гетерархии обобщений — в большинстве случаев того, что человек свободно воспринимает как контекст ситуации — это десятки и сотни тысяч уровней.
Напишите по этому поводу статью, про алгоритмы обобщения и т.д. Интересно!
Спасибо за Ваш интерес. Для статьи еще не готов формальный материал, не закончены исследования алгоритма вывода обобщений. Некие предварительные и очень неформальные наметки можно найти на digitid.livejournal.com (там есть и ссылка на статью на хабре)
Хотел сделать набросок в ЖЖ, но что-то там с публикацией приключилось. Опубликовал небольшое эссе в гиктаймс. geektimes.ru/post/297345
Новорожденный жеребенок довольно адекватно себя ведет уже через 2 часа после рождения.
За месяцы в утробе он так же явно не сталкивается с большим количеством обучающих примеров. Как это возможно?
Первый вариант — все что ему нужно знать уже заложено в генах. Но это всего сотня -другая мегабайт информации. Не очень правдоподобно.
Другой вариант — есть некий принцип (нами пока не освоенный), позволяющий мозгу «вырастить» модель мира буквально по крохам затравочной информации. Аналогия-шутка: в «Hitchhiker's guide» супер-компьютер был настолько умным, что изобрел большой взрыв, атомы, жизнь и налог на добавленную стоимость еще до того, как его подключили к базе данных. Если бы такой принцип существовал и был открыт, многое стало бы возможным.
первый вариант гораздо правдоподобнее второго, потому что второй — это выдумка фантаста.

Во-вторых — посмотрите в сторону импринтинга. Например утята после вылупливания просто следуют за тем, что двигалось рядом при их рождении. В обычных условиях, одного этого навыка хватает для «довольно адекватного поведения» и начала обучения («повторяй за соседом» и «пробуй все вокруг на вкус»).
В «Hitchhiker's guide» это конечно просто шутка. Я имею ввиду возможность существования некого особого, более продвинутого, способа обучения, который не просто работает напрямую между входом и выходом, а способен работать более независимо, выявляя в информации общие симметрии и закономерности сами по себе, без прямой привязки к цели обучения. Тогда эти несколько сотен мегабайт генетической информации нужны для затравки, чтобы направить этот процесс в правильное русло в нужные моменты, создать некий скелет для процесса обучения (импринтинг и прочее).
направить этот процесс в правильное русло в нужные моменты

У человека этот гайдинг обеспечивается путем задания соответствия между определенными состояниями мозга в целом и той его части (орбитофронтальная кора?), которая отвечает за механизм наград/наказаний.
Первый не просто правдоподобен, он такой и есть. Простые стратегии выживания. Размен приспособляемости на быстрый старт. Проходится ещё в школе, на биологии (см. выводковые и гнездовые птицы). Первые обычно являются объектом охоты и им важно, чтобы птенцы как можно скорее могли начать ходить, бегать, прятаться, искать корм. Приспособляемость снижена, у птенцов часто практикуется импринтинг для фиксации на матери. В противоположность им гнездовые птицы обычно хищники (хотя не обязательно) строят гнёзда в труднодоступных местах, их птенцы вылупляются не приспособленными к самостоятельной жизни и требуют длительного ухода. Зато представители этой группы обычно бьют рекорды по интеллекту.
То что вы написали можно интерпретировать и как подтверждение второго варианта про само-обучение.
Если генетически заложенный скелет для процесса обучения слишком жесткий, то итоговое поведение будет проще и развивается быстрее. Если этот скелет содержит меньше директив и более размытый, тогда поведение может быть более сложным и формируется дольше. Но сама сложность и гибкость поведения в основном все равно обусловлена (как я предположил) процессом обучения а не удачно запрограммированными в генах «если — то».
Верны и первый и второй вариант. Второй вариант это то, что я условно называю «явная суперпозиция». Много-много почти идентичных экземпляров вроде этого жеребенка во многих поколениях проживают жизнь, собирая особо важные маркеры в наследственной генетической информации, в распределенной базе данных всего живого. Генетический код — это очень сжатая информация, а в мире она развернута в повседневную жизнь огромного множества организмов, которые взаимодействуют между собой информационно. Как геном — распределенная база данных, так и коннектом — распределенная база данных.

Не нужно упускать ни первое, ни второе.
Значительная часть «весов» связей уже выставлена. У животных.
Сама статья очень мощная. Но дико поржал со вступления про успехи в надоях распознавании образов на фоне свежей новости про горилл и гугель.
Политический идиотизм прогрессу не помеха, кмк.
Автоматическая классификация животных с точностью до семейства — это достаточно точно, не очень понимаю, в чём тут провал. Новость — яркий пример видового шовинизма Homo sapiens.
Весьма познавательно. Мне думается что выявление границ применения технологии есть первый шаг на пути преодоления этих границ.
Большое спасибо за перевод! Гораздо приятней читать научную статью(с ссылками на чужие работы, и анализом), чем всякий научпоп. Планируете еще переводить научные статьи? Надеюсь среди них есть много всего интересного, что подойдет под формат Geektimes.

В статье говорится, что ГО — лишь одна из низкоуровневых механик, а для ИИОН нужно изобрести также новые высокоуровневые механики — какие именно — пока никому неизвестно.
Также говорится:


но есть и другие части мозга, например, префронтальная кора и центр Брока, работающие, судя по всему, на высшем уровне абстракции

Отсюда вопрос: а эти части мозга разве не анализировали на уровне нейронов? Какая там топология НС? Если она такая же, как та, с которой мы работаем сейчас, значит не нужно изобретать никаких новых механик? А вместо этого постараться максимально точно сэмулировать функционирование этих областей мозга. Разве это не выглядит более прямым путем к эмуляции когнитивных способностей человека?
Понятно, что о полной эмуляции мозга речь не будет идти ещё долго, но мозг крысы-то уже можно пытаться эмулировать? Интересно, почему именно в этих областях нет ровно никаких заметных успехов.

А сколько вы исследований о моделировании мозга прочли?
Знакомы ли с деятельностью таких организаций как например:
Human BrainProject
Blue Brain Projec
что так уверенно рассуждаете что лучше, и об никаких успехах )
Читал, про успехи этих проектов ничего не нашёл.) Если у вас больше информации, скиньте пожалуйста ссылку или расскажите в двух словах, что удалось симулировать?
По имеющейся информации сложилось впечатление, что планов было много, но как-то не пошло.
Sign up to leave a comment.

Articles