Как стать автором
Обновить

Комментарии 30

НЛО прилетело и опубликовало эту надпись здесь
Все-таки я ждал после первой статьи, что будет какая-то конкретика. Почему бы Вам в комментариях не ответить на простой вопрос: по какому пути, на ваш взгляд, должны развиваться исследования в области ИИ? Алгоритмы обучения+планирования+оптимизации? Бионика и самоорганизующиеся сети? Имитация формальной логики? Я понимаю, что перечислил «вчерашние» методы, но вы-то расскажите нам без наукообразия о новых.
Такой простой вопрос стоит десяти сложных.
Исследования в области ИИ должны развиваться по пути достижения универсальности системами ИИ, о чем, собственно, и была статья. Эта универсальность относится ко всем указанными Вами методам (естественно, сами задачи, решаемые этими методами, не окажутся «вчерашними»). Скажем, все современные системы машинного обучения неуниверсальны в том плане, что могут выявить в данных заранее ограниченный набор закономерностей. Именно поэтому толпе исследователей приходится мучиться и под каждую конкретную задачу подстраивать те или иные алгоритмы обучения. Также и модели самоорганизующихся систем никогда не будут неограниченно развиваться, пока эти модели будут неуниверсальными в том, что в них в принципе могут порождаться структуры заранее фиксированного вида. Это отчетливо видно на всех попытках моделирования эволюции или создания каких-нибудь самоорганизующихся нейронных сетей. Все это остается лишь частными инструментами, самостоятельность которых, утрированно говоря, не многим больше, чем у сливного бочка.
Здесь можно провести такую аналогию. Компьютер является универсальной машиной в том смысле, что может выполнить любой мыслимый алгоритм. Этим он принципиально отличается от автоматизированных систем прошлых веков, каждая из которых физически воплощала некий отдельный алгоритм. Возникновение компьютеров стало возможным благодаря тому, что математики строго определили понятие алгоритма и вывели понятие универсальной машины. При этом компьютер универсален, но полностью неавтономен: алгоритмы для него пишут программисты.
Так вот, универсальный искусственный интеллект так относится к современным системам ИИ, как компьютер относится к механическим устройствам прошлых веков. И так же, как создание компьютеров стало возможным после конструктивного определения универсальной машины, выполняющей любые алгоритмы, создание универсального ИИ станет возможным после конструктивного определения универсальной машины, порождающей любые алгоритмы.
Ну вот есть попытка сформулировать универсальный принцип «темпоральные кортикальные» или как их там сети Хокинса. Можно прочитать публикацию, понять подходы, оценить. Пенроуз подробно описывает свое видение теории вопроса и обосновывает невозможность алгоритмического подхода к созданию ИИ. Даже Онотоле Вассерман понятно излагает свою позицию по данному вопросу. А вы не делитесь наработками, поэтому все оценивают ваши статьи как реферат по филосне 2-го курса техвуза. Уверен, что на самом деле вы опытный специалист и в сжатом виде сформулировали выводы, к которым пришли за годы практической работы в области ИИ. Но выводы эти оказываются банальными без конкретных примеров, подходов и проч.

У Хокинса и Пенроуза — книги, причем достаточно наукообразные. У нас это начало. Если взять введение в какой-нибудь книге и оценивать его само по себе, то впечатление, понятно, будет совершенно не таким, как в рамках всей книги. Естественно, мы планируем продолжать и «делиться наработками». Пока эти наработки нигде не опубликованы. Но есть более частные предварительные результаты (правда, относящиеся к сильному ИИ косвенно).
Что касается доказуемости, то Пенроуз и Хокинс создают лишь ее видимость. Тот же Пенроуз в более ранней своей книге категорично доказывал, что нейроны — квантовые компьютеры, которые за линейное время решают NP-полные задачи, тогда как в более поздней книге столь же «убедительно» стал говорить, что они совершают невычислимые операции. Тем не менее, множество людей ему до сих пор верят.
Подход же Хокинса был исходно обречен на неудачу (в плане создания сильного ИИ), поскольку его модель иерархической темпоральной памяти не способна выявлять произвольные закономерности. Но, опять же, его обоснования убеждают многих людей (как, наверное, и самого автора).
Люди верят Пенроузу (!) потому что алгоритмическая природа сознания действительно выглядит нелепо. Конечно, его недавние идеи о том, что квантовые вычисления происходят в каких-то ресничках вокруг аксонов, немножко не убедительны, но в целом хочется верить в непознанное. Я имею в виду, что квантовые вычисления в мозгу со всей их атрибутикой типа параллельных вселенных можно со спокойной совестью приравнять к божественной сущности человека, записать в непознаваемые явления и успокоиться. Но я верю ему, когда он показывает отличия алгоритма от сознания.

По поводу Хокинса, при первом прочтении, конечно меня его книга захватила: «Вот оно!» При втором, особенно когда он привел скромные результаты экспериментов распознавания графических примитивов, я был настроен уже более скептично, потому что такие же результаты дают хорошо известные методы типа svn или нейронных сетей. Но глобальная идея мне нравится: критерием верности ассоциации является совпадение предсказанного и действительного отклика, а если ассоциация не найдена в текущем уровне иерархии, она ищется на более высоком уровне вплоть до таламуса или как его там.

Под конкретикой я имел в виду не детальное раскрытие алгоритмов или т.п. Вами, а понятное и доступное изложение базовых идей, которые Вы считаете правильными.

> все современные системы машинного обучения неуниверсальны в том плане, что могут выявить в данных заранее ограниченный набор закономерностей. Именно поэтому толпе исследователей приходится мучиться и под каждую конкретную задачу подстраивать те или иные алгоритмы обучения.… Это отчетливо видно на всех попытках моделирования эволюции или создания каких-нибудь самоорганизующихся нейронных сетей

Отсюда давайте поподробнее. Возьмем перцептрон Розенблатта — он как раз является универсальным в том, смысле, что может быть обучен любой задаче — о какой тогда не универсальности говорите вы?
Спасибо за конкретный вопрос!
Универсальность перцептрона Розенблатта (или, вернее, многослойных сетей прямого распространения) — это какое-то универсальное заблуждение, которое кроме, как массовым гипнозом, сложно по-другому объяснить. Да, Колмогоров доказал теорему об аппроксимации функций многих переменных композицией функций одной переменной. Да, эту теорему можно применить к перцептронам. Но какой в этом смысл? Также и полиномами мы любую гладкую функцию на ограниченном интервале можем аппроксимировать с любой наперед заданной точностью. Это замечательно, но что это означает с точки зрения машинного обучения? Во-первых, в машинном обучении у нас всегда конечная обучающая выборка. Точная аппроксимация точек обучающей выборки вовсе не гарантирует точного предсказания значений в новых точках. Более того, напротив, повышение точности аппроксимации в таких случаях ведет к ухудшению точности предсказания. Это классический эффект чрезмерно близкой подгонки или переобучения, который свойственен и перцептронам. Перцептроны приходится недообучать, прерывать их обучение, оставляя точность на обучающей выборке конечной. Во-вторых, чтобы теорема Колмогорова была выполнена, нам нужна потенциально бесконечная обучающая выборка. В математике это не проблема, но на практике как-то выглядит сомнительно. Так откуда берется переобучение или требование к большим выборкам? Из неуниверсальности перцептрона! На полиномах эту проблему проще продемонстрировать. Если у нас есть экспонента, которую мы хотим аппроксимировать полиномами, то для заданной обучающей выборки мы всегда сможем найти полином, который точно пройдет через заданные точки. Но вне заданного интервала ошибка будет накапливаться экспоненциально быстро. Экспонента представима бесконечным полиномиальным рядом, для чего нужна бесконечная обучающая выборка, чтобы восстановить этот ряд. На практике это невозможно, и экспонента ничем другим, кроме экспоненты, заменена быть не может. Так вот, алгоритмически полное пространство моделей эту экспоненту содержит (и ее описание укладывается в полторы сотни байт). То есть, имея конечное и не очень большое число точек мы сможем восстановить именно экспоненту и погрешность предсказания будет, если и не нулевой при наличии шумов, то очень низкой. Вот в этом и заключается универсальность алгоритмической индукции и неуниверсальность перцептронов и прочих эвристических методов.
Раз Вы заговорили о перцептроне Розенблата в рамках аппроксимации функций Колмогоровым и как сетях прямого распространения есть подозрения, что по перцептроном вы понимаете MLP+BackProp, это не перцептрон Розенблатта. Об этом я писал тут Перцептрон Розенблатта — что забыто и придумано историей?. Проблемы переобучения у перцептрона Розенблатта нет (а вот у MLP+BackProp — действительно есть, но это недостатки алгоритма).

То, что вы говорите о необходимости больших обучающих выборок — это правильно. И тут две части:
1. Без большой статистики — предсказания никакими статистическими методами не возможно. Собственно, человек есть тоже статистический предсказатель и способности человека предсказывать — сильно завышены, он это делает даже хуже чем текущие статистические методы, так как не может одновременно учитывать много параметров. А там где он предсказывает он использует достаточно большую обучающую выборку.
2. Если же оставить вопросы предсказания, то способности перцептронов заканчиваются там, где начинается необходимость различать инвариантность. Если же посмотреть на эту проблему с другой стороны — то окажется, что это проблема не умения обобщать — выявлять в той же обучающей выборке закономерности, и строить законы. Т.е. самостоятельно уменьшать обучающую выборку.

Поэтому действительно проблемы у перцептронов есть, но это не говорит о их не универсальности. Это лишь говорит о том, что до сих пор не решена проблема обобщения в общем виде.
Причем справедливости ради надо сказать, что даже у простейшего перцептрона Розенблатта — есть зачатки к обобщений — как проевление способности сжатия, где то в 50-70%. Т.е. обучающую выборку он может уменьшить не более чем вдвое-втрое, чего мало. Далее как в сжатии изображений начинаются потери и неточности работы на обучающей выборке. И вот именно тут он не может выбросить те данные из обучающей выборки которые лишние. Можно даже применять методы главных компонент, но это не позволит построить нужный закон для сокращения обучающей выборки (нахождения ключевых точек обобщения).
Ну или вот конкретные общеизвестные (для специалистов) данные. Есть 10 рукописных цифр, стоит задача их распознать. Требуется обучающая выборка в 60000 вариантов написания, т.е. в среднем по 5000 на цифру. Тогда ИНС может достичь точности в 90-95%, и при этом уменьшит обучающую выборку где-то в 10 раз, т.е. сделает достаточно не плохое обобщение. Но не достаточное — т.к. человеку (ребенку) сравнительно нужно около всего 5-10 вариантов написания, чтобы затем устойчиво узнавать соответствующую цифру.
И это при том, что исключены варианты существенных геометрический преобразований.
это не перцептрон Розенблатта
Да, конечно; просто возникло подозрение, что вы о MLP. Но если вы об исходном перцептроне, пусть будет о нем. Разницы в контексте нашего разговора почти нет.

Без большой статистики — предсказания никакими статистическими методами не возможно.
Именно! А алгоритмической индукцией — возможно.

способности человека предсказывать — сильно завышены
Это как раз полностью понятно, если принять, что человек работает в универсальном пространстве моделей, поэтому ему сложнее, чем тем неуниверсальным методам, которые он создает под конкретную задачу. Только и всего.

способности перцептронов заканчиваются там, где начинается необходимость различать инвариантности. Если же посмотреть на эту проблему с другой стороны — то окажется, что это проблема не умения обобщать — выявлять в той же обучающей выборке закономерности, и строить законы.
Совершенно верно. Вы же сами все понимаете! В этом и заключается неуниверсальность — в неспособности выявлять произвольные закономерности. Перцептрон работать в ограниченном пространстве закономерностей, поэтому что-то «сжимать» умеет, но до универсального метода обучения он не расширяется.
Анализ главных компонент также неуниверсальный метод, так как выясляет только закономерности частных типов.

Поэтому действительно проблемы у перцептронов есть, но это не говорит о их не универсальности. Это лишь говорит о том, что до сих пор не решена проблема обобщения в общем виде.
Да в теории решена она еще в 1960-х годах! Но все на это закрывают глаза, потому что непонятно, как эту теорию применить на практике (а у нас, как раз, есть результаты в этом направлении).
> а у нас, как раз, есть результаты в этом направлении

Так рассказывайте. С этого то и надо начинать :)
> а у нас

А может раскроете вот это «у нас» — кого? Кафедре в институте, коммерческой фирме, группе активистов?
Сейчас, скорее, группа активистов ( aideus.ru; на сайте, кстати, есть некие предшествующие материалы, хотя подход к сильному ИИ в целом пока еще не представлен ).
Вы могли дать определение термина «смысл», то есть, описать своими словами своё понимание, что такое «смысл»?
Смысл — многозначное и многоплановое понятие. Но, коротко говоря, смысл символов (элементов мышления верхнего уровня) — это их соотнесенность с внешним миром, а смысл данных (элементарной сенсорики и моторики) — включенность их описаний в общую модель мира.
Поскольку ИИ обязан ПОНИМАТЬ смысл естественно-язычного текста (речи), то разработчики ОБЯЗАНЫ ЗНАТЬ, что такое смысл. Иначе, каким образом детище (ИИ) будет знать то, чего не знает его создатель (программер)?

Теперь, судя по приведенному Вами определению термина «смысл», создаётся впечатление, что Вы путаете это понятие с термином «семантис» или «значение». Будь это в отношении [символов], [элементов] или [данных], с которыми Вы связали дефиницию для слова «смысл».

У каждого слова (графемы) или символа есть своё ЗНАЧЕНИЕ. Иногда их бывает несколько. Тогда это полисемия, то есть, несколько семантисов, или омонимия.

Вы считаете, что в словах скрывается смысл? Тогда любой двуязычный словарь должен быть полон смыслов. Сколько слов, столько и смыслов? Но это не так!
Я считаю, вам ответили достаточно точно. Но возможно не расширено. Из слов

> смысл символов — это их соотнесенность с внешним миром

совершенно не следует, что ТОЛЬКО в словах скрывается смысл. Об этом достаточно подробно писал С. Лем. Смысл появляется тогда когда есть устройство интерпретирующие символы как свои ощущения от внешнего мира — это и будет смысл для этого устройства.

Смысла вообще не существует. А смысл для устройства «человек» — это то как его мозг трактует набор слов (предложение) с внешним миром, данным в ощущениях.

Для устройства «компьютер» — смысл это совсем другое — это то как его процессор преобразует машинные коды в соответствии с алгоритмом данным человеком.

Если же мы хотим, чтобы смысл «компьютера» стал ближе к смыслу «человека» — уберите отличия, если получится.
<Смысла вообще не существует...>
Согласно теории мышления человека, каждый индивид оперирует в своём сознании некими МЫСЛЕФОРМАМИ, из которых он слагает свои МЫСЛИ и затем с помощью ЯЗЫКА передаёт их другому гомо сапиенсу. Последний с помощью имеющихся в его памяти мыслеформ в виде тех или иных моделей поведения объектов (МПО), приобретенных в ходе его жизненного опыта, ДЕКОДИРУЕТ языковое сообщение (текст или речь), через ПОНИМАНИЕ его смысла.
Если смысла «вообще не существует», то и понимать, вроде, нечего.
Дилемма, однако.
Нет у нас общепризнанной теории мышления, а все эти мыслеформы, мысли и т.д. — неудачная лирика.

Понимания вообще тоже невозможно. Понимание — есть осознание устройством смысла, происходящие путем любой вербализации.

Поэтому понимать можно только в рамках физического устройства.

и тогда действительно, если нет устройства, то и понимать действительно нечего и некому. А как только появляется устройство — то для него возникает тот или иной смысл, а не вообще.
Cybersoph, в таком случае просьба к Вам более точно задавать вопросы, а то их смысл остается неясным. На вопрос об определении термина «смысл» на удивление точный общий ответ дает википедия. Если Вы просите дать определение этого понятия в каком-то более узком контексте, сформулируйте этот контекст.

Касательно вопроса:
Вы считаете, что в словах скрывается смысл? — смысл скрывается в отображении слов на элементы внеязыковой реальности. Это отображение обычно выполняется концептуальной системой человеческого разума (не всегда удачно). Но ничто не мешает ее также выполнять и когнитивным архитектурам воплощенных интеллектуальных агентов.
Люди понимают смысл языковых сообщений с помощью МПО. При этом если МПО понятна, то и смысл понятен. И наоборот, например, «звук видит запах вкуса». Здесь нет понятной модели, значит нет и смысла. Поэтому фраза: «смысл скрывается в отображении слов на элементы внеязыковой реальности» — не вызывает в моем сознании никаких понятных моделей. Значит, для меня нет смысла, хотя для других, возможно, и есть.
НЛО прилетело и опубликовало эту надпись здесь
Большое спасибо за обе статьи, открыло глаза на многие проблемы и уже решенные вещи. Забавно что где то о 40% озвученных проблем и решений я уже размышлял…
Меня интересует
«Адаптивное поведение, самоорганизация и бионика в целом.»
Есть у Вас ссылки на работы, исследования, практические примеры? Очень интересно.
Область эта слишком обширна, чтобы дать определенные рекомендации.
Но из базового, если вдруг не читали, можно назвать:
«От моделей поведения к искусственному интеллекту» (под ред. Редько В.Г.)

А так, можно начать отсюда:
bicasociety.org/
«The Biologically Inspired Cognitive Architectures Society, or BICA Society, is a recently formed nonprofit organization. The purpose of the Society is to promote and facilitate the transdisciplinary study of biologically inspired cognitive architectures (BICA), in particular, aiming at the emergence of a unifying, generally accepted framework for the design, characterization and implementation of human-level cognitive architectures.»
Там есть и материалы конференций.
За книжку спасибо.
А по ссылке что-то много информации не нашел(
Вроде, в разделах
bicasociety.org/meetings/2011video/
bicasociety.org/meetings/2010video/
есть, что посмотреть.

Также можно поискать информацию по «Adaptive Behavior, Animats»
Например, есть такое:
www.isab.org/confs/
и оттуда ссылка идет сюда
adb.sagepub.com/cgi/collection/adbvirtual
(есть некоторые статьи в свободном доступе)

Еще можно поискать по «Artificial Life»
например, через
alife.org/
можно найти тоже некие материалы
mitpress.mit.edu/books/full_pdfs/Advances_in_Artificial_Life_ECAL_2011.pdf

Хотя за содержательность всего этого не ручаемся.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории