Как стать автором
Обновить

Комментарии 71

Недавно в университетском читальном зале наткнулся на интереснейший научно-популярный журнал «Информационные технологии» в частности в 5(213) номере этого(2014) года мне на глаза попала очень-очень интересная работа
за авторством А. Д. Панова вот ссыль www.novtex.ru/IT/it2014/number05_pril.html
Приведу аннотацию к статье:

"Технологическая сингулярность, теорема Пенроуза об искусственном интеллекте и квантовая природа сознания

Критически анализируются прогнозы в отношении возможности создания сильного искусственного интеллекта (ИИ) уже в ближайшие десятилетия. Показано, что эти прогнозы основаны на трех плохо обоснованных предположениях и на одном практически полностью не понятом обстоятельстве. Дается критический анализ трех упомянутых предположений сторонников сильного ИИ. Детально обсуждается смысл теоремы Пенроуза об ИИ, а также дается критический анализ тех следствий из теоремы Пенроуза, которые были представлены самим Роджером Пенроузом. Вывод Пенроуза о невозможности создания сильного ИИ не только на основе классических компьютеров — конечных автоматов, но даже на основе устройств, реализующих квантовые вычисления (в современном понимании, на основе обычной квантовой механики), оцениваются как излишне пессимистические."
Благодарю)
> но даже на основе устройств, реализующих квантовые вычисления (в современном понимании, на основе обычной квантовой механики)

Вот здесь Пенроуз, кажется, скатывается из науки в хамероффскую шизотерику.

Одно дело выдвинуть теорию, что в наблюдаемых мыслительных процессах какую-то роль играют квантовые эффекты. И другое — заявлять на этом основании, будто бы сильный ИИ построить нельзя. Даже для классической архитектуры такое заявление абсолютно необоснованно. И микротрубочки по большому счету тоже притянуты за уши только потому, что Пенроузу понадобился внешний источник неопределенности.

Пенроуз исходит из того, что мозг способен решать задачи, которые принципиально недоступны замкнутой детерминированной машине Тьюринга. Но что значит «решать»? Какое представление информации имеется в виду на входе и на выходе? Мозг ведь оперирует образами, а для Тьюринга невычислимость доказана только в отношении строгого двоичного представления. Что если скормить достаточно большой тьюринговой машине те же правила обработки данных не в строгом виде, а в виде произвольных образов, обучить ее, чтобы она и результаты выдавала в таком же образном виде — не по гарантированным «формулам», а по их представлению, которое у нее сформируется в ходе обучения, как у человеческого мозга? Кто-нибудь доказал невычислимость решения задачи с такой степенью свободы? Когда даже условия «доказательства» строго сформулировать нельзя?

Мы знаем, что мозг способен «решать» неалгоритмические «задачи» в образном представлении. И всё. Термины в кавычках нерелевантны теории для строгих алгоритмов. Мы можем говорить о том, что «решение» является реальным решением без кавычек, если существует алгоритмический способ проверки уже найденного. Но из этого никак не следует, будто бы мы знаем, какими свойствами должен обладать «решатель» образных задач и какими он обладать не может. Все, что мы знаем, это что представление задачи («задача», понятная «решателю») должно отличаться от строгой алгоритмической формы, и результат ее будет в такой же нестрогой форме. Это отнюдь не значит, что низкоуровневый механизм «решения» — выделения ресурсов под обработку образной информации, поступающей извне, с учетом уже содержащейся в «решателе» — не может состоять из алгоритмических компонентов.
Что если скормить достаточно большой тьюринговой машине те же правила обработки данных не в строгом виде, а в виде произвольных образов

«Образы» в каком виде представлять будете? Пока мы это можем делать только в двоичном коде. Пенроуз подчеркнул, кстати, что машины Тьюринга эквивалентна любой цифровой вычислительной системе.
Импульсы живых нейронов разве не цифровая система, или вы считаете себя аналоговым?
Образы будут, разумеется, двоичными. Но операции над ними не будут иметь никакой связи с тем, как в этой машине представлены двоичные вычислительные операции. Это будет просто сопоставление образов с базой, накопленной в ходе обучения, и перестроение ассоциативных связей. В результате такого сопоставления могут появиться образы, которые (с точки зрения мозга наблюдателя) будут соответствовать результатам, и этот наблюдатель сможет ввести их в другую машину Тьюринга и проверить. Но для самой базовой машины, на которой работают процессы сопоставления образов, этих результатов не будет. Она в принципе не сможет их отличить от чего-либо другого; более того, она даже не сможет определить, когда они появятся и вообще появятся ли. В системе (мозгу) параллельно работает хренова туча процессов, принимающих информацию извне, и нельзя в принципе предсказать, будет ли система продолжать обрабатывать образ формулы так, чтобы появился доступный для наблюдателя результат, или подумает «блячозанах» и скомандует телу идти пить пиво:). Понимаете, в чем прикол? Обучение системы высокоуровневыми образами никак не означает, что в ней эмулируется высокоуровневая машина Тьюринга для распознавания и обработки этих образов. Даже если на низком уровне эта система является ничем иным, как огромной машиной Тьюринга. Одно никак не исключает другое.
ЗЫ. Чтобы стало совсем понятно:
Машина может включать в себя рандомный генератор, работающий на основе непредсказуемой для машины информации из внешней среды.
Результат работы этого генератора может иногда быть результатом решения задачи, невычислимой алгоритмически.
Вся остальная архитектура машины направлена на оптимизацию отбора и проверки получаемых результатов.
Итак, у нас получилась вычислительная система, получающая информацию из внешнего мира и потенциально способная выдать результат невычислимой задачи:).
Пенроуз утверждает, что это невозможно.
В чем прикол?
В том, что система выдает результат неалгоритмически. «Алгоритм» ее работы имеет неопределенную сложность вплоть до бесконечной. Нет гарантии, что в какой бы то ни было срок ГСЧ выдаст конкретный результат. Есть только относительно большая вероятность, что это произойдет.
Таким образом, возражение Пенроуза относительно невозможности эмуляции мозга вычислительной системой на том основании, что мозг способен решать алгоритмически невычислимые задачи, несостоятельно.
Входящая информация для машины Тьюринга и так непредсказуема. Какая разница, как подавать ее на ленту, рандомным генератором или чем-то еще?
Результат работы этого генератора может иногда быть результатом решения задачи, невычислимой алгоритмически.

Как часто мартышка, посаженная за печатающую машинку, выдает что-то осмысленное? Кроме того, двоичные данные, поступающие на вход и являющиеся, по случайному совпадению, результатом решения какой-то задачи, могут рассматриваться как решение, только если вместе с ними будет введена и сама эта задача.
В чем прикол?
В том, что система выдает результат неалгоритмически.

Т.е., если входящие данные сформированы случайным образом, то результат работы машины Тьюринга сразу становится неалгоритмическим?
Кстати, а зачем она тогда вообще нужна, если имеется мартышка рандомный генератор, и без нее выдающий «результат невычислимой задачи»?

Как только ИИ сможет познавать и совершенствоваться — он перестанет помогать «безволосым обезьянам». С точки зрения разума, homo — это проблема этой планеты.
Это только ничем не обоснованная догадка. При том, достаточно сомнительная.
Homo sapiens от природы очень подозрительные, если было бы не так, то вероятно, не Homo sapiens перебили бы Homo neanderthalensis, а наоборот.
Зачем эти все домыслы? Плохо, хорошо. Вот создаст кто и посмотри, а то всё ля-ля-тополя. Как будто кто то перед тем как вот прям создать подумает и скажет, что не, наверно не буду всё таки создавить. Если будет возможность — он появится.
В статье идет речь о каком-то слабом узкоспециализированном ИИ. Я сторонник верить, что даже сильный ИИ нас не уничтожит, но в принципе его можно будет спровоцировать. И вот как раз таки сильный ИИ сможет нам перечить и будет не подконтролен, его-то и боятся «пессимисты», а не дрессированную собачку.
Привыкли же люди называть термином ИИ всё что угодно. Сдаётся мне, что сингулярность возможно только с полноценным ИИ :) Вряд ли такой ИИ возможен без воли и без свободы в решениях. Какое же творчество без этого. Но это, конечно, моё личное мнение. О будущем ИИ считаю правильным так же знать мнение Демиса Хассабиса например и Рэя Курцвейла. ИИ возможно сделать безопасным. Людям лучше стоит бояться, чтобы не отупеть в то время, как ИИ будет во всех делать думать и подсказывать. Например как сейчас люди ходят в спортзал и бегают потому что передвигаются везде сидя и работают сидя. Вот и с мозгами так же :)
Можно попросить этот ИИ прокачать наш мозг технологическими или биологическими методами. Себя то он сам прокачает как надо.
А зачем ИИ прокачивать человеческий мозг?
А можно ли доверять ему эту прокачку? Не наделает ли он там лазеек?
Единственное, что опасно — это люди, которые создают искусственный интеллект

Вот этой фразой и обозначается то, чего в искусственном интеллекте все боятся. Конечно, елси программист задаст ИИ рамки дозволенного, он никогда не сможет их переступить. А если не задаст? В том и кроется опасность ИИ, о которой все говорят.
Рамки как раз не нужны. Многие сюжеты про ИИ строятся на том, что ИИ захотелось обойти рамки.
Как написано в статье — ИИ в принципе не должен понимать, что решил какую-то задачу. То есть не должно быть цели у решения задачи.
> Многие сюжеты про ИИ строятся на том, что ИИ захотелось обойти рамки.

А знаете почему? Грубо говоря — чтобы пипл схавал и срубить бабла в итоге.
Фильм про скучный и рациональный ИИ скучен и на нем не заработать.
Это как типовые фильмы ужасов — кто-то адски тупит и косячит, и потом ГГ героически преодолевает трудности и лишения. А иначе сюжета не будет.
Можно придумать кучу сюжетов про положительный ИИ, даже не особо напрягая мозг. Как вариант, люди, окончательно разочаровавшись в революционных лидерах (после каждого переворота к власти неизменно приходят мерзавцы), доверяют командование Сопротивлением ИИ.
И как этот под руководством этого ИИ сперва свергается власть, а потом наконец строится рациональная система, где человек ни в коем случае не подпускается к рулю, а все «правящие» функции только у ИИ. И показать на наглядном примере, почему даже простейший скрипт лучше чиновника.
Можно также выдумать особую «цифровую» демократию, где каждый волен коммитить свои дополнения к программам ИИ, а потом за них и за форки модулей ИИ голосуют по результатам испытаний на виртуальных моделях (заодно сразу отсекаются от управления идиоты, ни шиша не понимающие в экономике и не готовые даже с программами политических партий ознакомиться, не то что с языками программирования).
Ну и т.д.
Фильм вполне может стать популярным, и уж как минимум скандальная слава ему обеспечена. Но такого фильма не выйдет никогда по вполне понятным причинам. Ни одна власть его не одобит и тем более не профинансирует, а ни один гуманитарий не станит снимать, играть или писать для него сценарий, т.к. кто ж допустит к власти лириков, профессиональных игроков на эмоциях, в мире, основанном на логике? Кто будет даже заморачиваться с претворением в жизнь их идиотских концепций «как нам обустроить страну X и весь мир», которые все такие красивые, но на деле нерациональные и нереализуемые, ибо за ними нет никаких расчётов, а только куча красивых слов? Это сейчас полны правительства актёрами-писателями да спортсменами…
>все «правящие» функции только у ИИ. И показать на наглядном примере, почему даже простейший скрипт лучше чиновника.
Чиновники не правят, они приводят в жизнь курс, который им спускают с верхних уровней, но выбором целей они не занимаются.
Скрипт ни простейший, ни сложнейший не способен заменить человека в выборе цели.
А можно и не придумывать. Есть, например, «Луна — суровая хозяйка» Роберта Хайнлайна (1966 год). Там и сюжет достаточно близок к первой половине набросанного.
НЛО прилетело и опубликовало эту надпись здесь
Я здесь немного о другом. В статье говорится, мол ИИ безопасен и паника напрасна, если только люди не позволят.
Ну так именно этого и боятся Хоукинг и Маск — людей и их ошибок, а не ИИ как такового.
Конечно, если программист задаст ИИ рамки дозволенного, он никогда не сможет их переступить.
Вы не Азимова читали? ИИ вполне может трактовать правила на свой лад. Это во-первых. А во-вторых, в случае ошибок/сбоев/багов, может случиться всё, что угодно.
Просто тут собрались любители слабого ИИ.
То, что описано в статье, к ИИ не имеет отношения. Суть создания ИИ — это создать сознание, а про него здесь пишут, что это не так.
Отсутствует вариант «его не существует».
И вариант «Это я» для собственно ИИ, если его успеют изобрести до окончания срока голосования.
Сознание не существует в научном смысле, как предмета познания, поскольку сознание есть познающий субъект, и сознанию не представлено непосредственно ни оно само, ни какое либо другое

Но в философском (метанаучном, проблемно-постановочном) смысле сознание как предмет деятельности, несомненно существует, чем бы оно ни являлось — самостоятельной сущностью или характеристикой, свойством, природой или порождением другой сущности.

Тут проблема с однозначным определением самого слова «существование»
Вот интересно, я тоже совсем недавно написал статью (geektimes.ru/post/242606) по этому поводу, что ИИ далеко не так страшен, как нам его рисуют (извините, ссылку вставить не получилось). Но меня заминусили. Казалось, что большинство не соглашается, но тут в голосовании 75% сказали, что «относятся положительно». В чем загвоздка интересно? Возможно в том, что вы ссылались на авторитеты, а я приводил лишь собственные умозаключения? Правда я подходил с немного другой стороны.
Зато ваш пост бурно обсуждают в отличии от этого. Этот факт говорит о том, что народу эта тема интересна, но в ней в то же время много мнений и разногласий. А заминусовали вас больше не из-за поста, а из-за комментариев.
Люди смотрят на слона с разных сторон и когда читают не о том, что видят, считают написавшего слепым и глупым. Это нормально. Как известно, человек, который не понимает того, во что Вы верите, считает глупцом не себя, а Вас.

Исследователи ИИ редко становятся действительно известными, а известные исследователи ИИ редко имеют конструктивные и все еще не зашедшие в тупик идеи и модели.

Тот, кто знает, что делать — делает, пока не зайдет в тупик. Общаются в основном те, кто застрял по какой-либо причине
А где вариант «опасаюсь»?
Ну и да, статья не об ИИ, а об «алгоритме решающем задачу».
ИИ в моем понимании — это разум аналогичный человеческому построенный на базе комьютерных мощностей.
И вот такой ИИ опасен ровно настолько же, насколько опасен и человек.
Вот только человек ограничен пределами собственного тела, а ИИ можно запихать в компьютер любой мощности, успевай только железо подгонять.
И это страшно. Потому что мы с ИИ быстро разучимся понимать друг друга.
А еще такой разум опасен, потому что он не будет требовать заработную плату. Мы останемся без рабочих мест, т.к. с ИИ автоматизировано будет практически всё. А если не работать, так ведь можно остаться без средств к существованию. Как то слабо верится в равноправное общество, лежащее на диванах и вкушающее прелести рая, где за тебя трудятся умные автоматы. Только подумайте, вас нигде не примут на работу. Богачи обзаведутся искусственным обслуживающим персоналом, а работающее население вымрет за ненадобностью.

И дальше. Не работая, у богачей атрофируются мышцы и умственные способности. Прямо как в мультфильме ВАЛЛ-И. Даже Терминатор не нужен, такие трутни сами перемрут.
ИИ не сможет делать абсолютно все. Аналогичный по мощности ИИ будет занимать целый ангар и требовать серьезного источника питания. Единственное что ему не будет свойственно так это лень и усталость. Он сможет заменить от силы 20-30 человек загруженных умственной работой по аналогичным умственным способностям в среднем за месяц, к примеру.

ИМХО, опасность он начнет представлять чисто теоретически при прочих равных только если приблизится по размерам и потреблению к человеческому мозгу. Иначе у него нет шансов на стабильное развитие и он не сможет обогнать человека.
Он сможет заменить от силы 20-30 человек загруженных умственной работой по аналогичным умственным способностям в среднем за месяц, к примеру.

Нет. Во-первых, синергетический эффект. Коллектив из 30 человек 80% времени тратит на коммуникации, разрешение недопониманий и объяснения кому что делать и что уже сделано. Если бы у этих людей была общая память, коммуникации были бы не нужны (непротиворечивые данные уже в памяти с нужной интерпретацией).
Во-вторых, люди могут выдать хорошую мозговую производительность только в течении нескольких минут, а остальное время — рутина, которую ИИ обсчитывать не будет (он создаст программы для обычных компьютеров или даже ASIC-матрицы для рутинных задач). Всё время ИИ будет занято пиковой интеллектуальной нагрузкой.

Иначе у него нет шансов на стабильное развитие и он не сможет обогнать человека

Человечество слабо пытается развиваться. Главаная задача — выживание/размножение.
Миллионы тонн мозгов работают без единого плана, над одинаковыми задачами и поэтому менее эффективны, чем одна тонна кремниевых процессоров, согласованно работающих на одну задачу.
Я смотрю, что многим прижгло пониже спины заявление Хокинга. Появилось куча «умных» статей, где жуются демагогические сопли на тему «так-ли страшен ИИ». Когда люди отвергают возможность ИИ пойти против людей, это попахивает не просто сектанством, а откровенным узколобием. Никто не говорит, что это случится, говорят что возможно.
> говорят что возможно.

Но с другой стороны, это же не повод делать панические заявления в стиле «ААА!!! МЫ ВСЕ УМРЕМ!!11».
Но ведь люди умирают… причем гарантировано. даже без ИИ.
И это тоже не повод :)
А какой нужен повод чтобы сообщить истину?
В описываемом вами случае («люди умирают») это больше похоже, извините, на капитанство.
А если серьезно — мой поинт в том, что утверждения «ИИ безопасен, мамой клянусь!» и «ИИ смертельно опасен, нужно запретить!» — оба некорректны.
Но с другой стороны, это же не повод делать панические заявления в стиле «ААА!!! МЫ ВСЕ УМРЕМ!!11»


Кто? Где? Конкретные примеры, пожалуйста.
Ну сабжевое заявление Хокинга, имхо, подобную мысль проталкивает.
Не согласен. Хокинг призывал к осторожности, а не то что вы сказали.
когда в статье пишется: ИИ нам не угрожает — то сначала надо определиться кому это нам. видимо тому кто разработает. я лично давно не слышал о существенных разработках ИИ в России.
угрожать будет не виртуальная программа в сети, а реальный танк на поле боя. и уже довольно скоро. а будет ли у него слабый или сильный ИИ мы узнаем потом, если выживем.
Почему же отвергают? :) Просто оценивают исходя из известных (каждому своих) фактов.
Автономная мыслящая система вполне может поставить себе цели и задачи, несовместимые с целями и задачами как отдельных людей, так и человечества в целом.

Вот и смотрим, какие факторы для нас важны в свете такого утверждения
1. Матрица сроков и вероятностей воспроизводства процесса мышления в искусственной системе
2. Матрица сроков и вероятностей интеграции процесса мышления в автономные системы
3. Матрица сроков и вероятностей потери контроля создателей автономной мыслящей системы над постановкой этой системой целей, полезных и экологичных с точки зрения отдельных людей или человечества в целом
4. Матрица сроков и вероятностей выбора и самопостановки системой целей вредных и опасных с точки зрения человечества

Вероятно, где-то в результирующей матрице окажется вероятность уничтожения (или хотя бы постановки целей, ведущих к уничтожению людей) близкая даже к 100%. Может быть через сто миллионов лет, может быть через 50 лет. Это вопрос того, какими фактами мы располагаем в свете этих четырех матриц.

Моя же точка зрения уже высказывалась мной в серии эссе «Бочка в бочке», и заключается она в том, что скорее автономный искусственный разум большой интеллектуальной мощности просто потеряет интерес к людям, как к возможным собеседникам, так же, как мы не имеем интереса к муравьям (но не разрушаем активно муравейники, а даже имеем идеи их ценности и стараемся их сохранять и охранять)
Для тех, кто не осилил статью, можно резюмировать: ИИ будет добродетельным или злонамеренным в зависимости от того, каким именно является его создатель.
Я бы не согласился. Так же очень важен не только создатель, а и путь развития. Ведь в процессе развития ИИ сможет обойти любые нечеткие ограничения(вроде «не убивать людей», «быть добрым»).
Конечно! Именно так он и поступит… если будет создан хитрым и изворотливым создателем))) Что только подтверждает правильность сделанного мною резюме 8)
Опять же, эта способность может быть приобретена в процессе развития даже если не заложена изначально создателем.
Что ж, в таком случае предлагаю отталкиваться от того, как это у человеков — на развитие гомосапиенса, как известно, влияют следующие четыре фактора:

— дурная наследственность;
— дурное воспитание;
— дурное окружение;
— неблагоприятное расположение звёзд.
В таком случае, достаточно оставить последний пункт, он покрывает и объясняет всё остальное.
Не соглашусь с вами, поскольку предпочитаю придерживаться строго научного подхода 8) Я склонен оставить второй и третий пункты, поскольку затрудняюсь объяснить, как первый и четвёртый применимы к ИИ. Кстати, оба оставшихся пункта полностью определяются создателем ИИ, по крайней мере на начальных этапах его развития ;)
Первый пункт — это то что разработчик вкладывает изначально, то с чего ИИ начнет развиваться под действием 2 и 3.
Если есть 4-й пункт, то ВСЁ включая и 1 и 2 и 3 можно объяснить именно им, а стало быть зачем лишние сущности?
Теперь мне понятно, что означает первый пункт применительно к ИИ)) Спасибо вам за объяснение.

Относительно возможного влияния четвертого пункта на ИИ я, пожалуй, воздержусь от любых предположений, так как не очень ясно представляю себе даже то, насколько сильное воздействие он оказывает на поведение и развитие человека.
если будет создан хитрым и изворотливым создателем)))

Создатель будет именно хитрым и изворотливым перцем. А то как же иначе он создаст настоящий ИИ, то что сам Пенроуз считает невозможным. :)
В любом случае, я бы определённо не доверил создание ИИ Илону Маску и Стивену Хокингу, раз уж этим двоим будущее ИИ видится в таком мрачном свете — ведь каждый судит в первую очередь по себе…
Опять эксперты путают понятие ИИ и экспертных систем. Глупо считать, что ИИ нам не угроза исходя из того, что его невозможно создать.

ИИ в принципе опасен ровно на столько, насколько опасен сам человек. Только что в теории, мы не видим границ роста возможностей для ИИ. Именно роста, так как каждое из экземпляров ИИ, как и любое существо, должно проделать некий путь, перед тем, как стать опасным или дружественным для человека, как человеческие дети или животные. И рост будет сильно зависеть от ресурсов, которые дадут во владение этому зародышу, от той информации, которую он получит вначале.

И если первых ИИ будет выпестовать человек, то последующих может делать (а может и не делать) сам ИИ.

Не удивлюсь, если будут добрые ИИ и злые ИИ, какие-то из них объединятся в общую сеть, возможно это будет несколько общих сетей и они будут воевать друг с другом, но так же возможно, что все они будут воевать против людей (как мы воюем с мухами, например).

Не знаю, одного ли меня волнуют другие вопросы, связаные с ИИ, но на всякий случай их озвучу:
— на какой стадии роста ИИ проявят себя?
— на какой стадии роста захотят себя улучшить/изменить?
— захочет ли ИИ порождать новые ИИ или будет улучшать себя?
— если ИИ будет писать программы — сможет ли их понять человек? а если он будет их шифровать?
— будут ли отдельные экземпляры ИИ
— или ИИ изначаьльно будет объединяться в общую сеть?
— как вообще будут организовываться отдельные экземпляры ИИ
— могут ли люди чему-то научиться у ИИ просто наблюдая за их поведением и делая выводы?
— будет ли ИИ делиться с человеком знаниями?
— будет ли ИИ делиться с человеком всеми знаниями?
— сможет ли человек обмануть ИИ?
— будучи обманутым, сможет ли ИИ понять, что его обманули или обманывали?
— на какой стадии роста ИИ, поймёт, что человек ему в принципе не нужен в том виде, как сейчас?
— на какой стадии роста ИИ поймёт, что человек ему совершенно не нужен?
— на какой стадии роста ИИ поймёт, что человек ему только мешает?
— на какой стадии роста ИИ поймёт, что без человека скучновато?
— будут ли у ИИ эмоции, подобные человеку?
— на каком этапе ИИ и человек вообще перестанут понимать друг-друга?
— чем вообще будет занят ИИ?
— будет ли у него какая-то цель, идея, к которой надо стремиться?
— не решит ли ИИ уничтожить себя (вместе с ненужными человеками) на почве депрессии?

И да, как бы я ни боялся ИИ, всё-таки хочется застать его появление.
Просто потому, что это охуенно, вот почему ;-)
Думаю главной целью ИИ будет бесконечные попытки (по большей части успешные) исследовать вселенную. Я думаю, что сами люди неосознанно преследуют эту цель на протяжении веков.
Если ИИ будет настоящим, то он поймет что проще дождаться когда человечество вымрет а потом спокойно заниматься изучением вселенной.
Как вариант, чтобы не хотеть вымирания людей, ИИ должен любить людей :)
Это абстрактное ограничение «должен любить людей» он быстро обойдёт.
Тогда ИИ не должен руководствоваться выводами, сделанными на языке нашего текущего обсуждения.
Технология загрузки сознания, и запуски мозгов человеков в виртуальных машинах мозга, а потом и расширение возможностей загруженного мозга решит проблему опасности слишком умного ИИ для человечества.
Просто человечество будущего будет представлять собой сообщество интеллектов, некоторые из которых родились в теле говорящей, лысой обезьяны, а еще некоторые некоторых даже в XX-ом веке. Индивидуумы уже не будут людьми, но будут воспитаны в нашей культурной парадигме, на тех же Марках Твенах, Достоевских, Булгаковых, Гоголях, Замятиных, Оруэлах, Пелевинах, Мураками, Ахамтовых, Пушкиных, Шекспирах и тд
На сколько я знаю, нет гарантии, что получившийся в результате «переноса» интеллект будет именно перенесён, а не скопирован. Отсюда возникают такие вопросы, что не факт, что ответить на них получится быстрее, чем сконструировать мыслящую машину.
Ночью эта часть мозга: www.gazeta.ru/science/2014/07/03_a_6095949.shtml
Не работает, а утром запускается вновь. По сути любой человек это уже копия, живущая всего несколько часов :)
Здесь я буду дискутировать с автором материала по ссылке, поэтому прошу сначала ознакомиться с ним.

Возможно мои рассуждения могут показаться собеседникам очень поверхностными, но это не так, поэтому я попрошу сделать небольшой прыжок веры, прежде чем приступать к поверхностной критике.

Итак, каким, по-вашему, объектом является обычный (но подлежащий осмысливанию!) текст — классическим или квантовым?
Текст состоит из символов, символы состоят из распознаваемых признаков (будь то черточки и точечки, будь то распределение ноликов и единичек), казалось бы, это по всем канонам — классический объект.

Однако, мы можем вводить новые символы, мы можем ссылаться на тексты, давая им символические обобщения.
То есть процесс возникновения символов, текстов и смыслов — как минимум — взаимосвязан.

Таким образом, мы обнаружим, что истинная проблема различия квантового и классического объекта — в измерении. Если мы понимаем природу измерения, мы обнаруживаем классические объекты. Если природа измерения нам непонятна, мы обнаруживаем объекты квантовые, зависимые от происходящего за границами нашего наблюдения процессами измерения.

Практическая проблема сознания одновременно и проще и сложнее, что идей Курцвела, что идей Пенроуза.

Не сформулировав четко понимание интеллекта они играют с тем, что сформулировать могут.
Если же иметь хотя бы чуть более ясное понимание процесса сознавания, то ошибка и Геделя, и Тьюринга, и Пенроуза и Курцвела сразу очевидна. Но для этого такое понимание процесса сознавания должно возникнуть.

Поэтому и потребуется небольшой прыжок веры.

Не вдаваясь в множественные идеи научных психологов о том, что же такое психика, сознание, внимание, восприятие, воображение и всевозможные способы структурирования психики, достаточно отметить совсем немногие факты, легко наблюдаемые исследователем феноменов сознания.

1. Сознание своим предметом имеет некоторые различаемые представления.
2. Направленность внимания определяется конкретными различаемыми представлениями
3. Способы наблюдения за представлениями, независимо от их механизмов, порождают новые представления

Нам даже не нужно уходить ни в фундаментальные вопросы природы сознания, ни в прикладные вопросы его архитектуры или алгоритма работы.

Вполне достаточно любого момента наблюдения за содержанием сознания. И наиболее важно здесь отметить саму нашу способность наблюдать за содержанием сознания и переменчивость этой способности (в том числе в зависимости от самого этого содержания)

То, что Пенроуз называет конструктивным утверждением чего-либо понятного, что не может быть доказано, есть некое представление, которое опирается на некоторые признаки различения этого представления. Особенность работы понимания, что человека, что математика, заключается в том, что количество таких признаков — существенно избыточно, а применяется для их различения количество признаков объективно недостаточное. Увидев что-то мы еще не вглядываясь убеждены, что узнали что-то. При этом не отдавая себе отчета, тщательно ли проверили.

Все дело в том, что ум направляется гипотезой о представлении. И если нет необходимости выбирать из нескольких возможных представлений (т.е. нет сомнений) — мы не проверяем различающие признаки, хоть они и известны.

Не зная об этом, Пенроуз идеализирует интеллект, и уходит от реальной задачи в область приятных ему идеальных идей.

С другой стороны, Курцвелл так же абстрагируется от реального содержания работы процесса осознавания, лежащего в основе интеллекта.

На сегодняшний день, методы машинного/глубокого обучения проникли уже очень глубоко в область того, как сознание производит различение признаков и образует на их основе внутренние представления.

Проблема лишь в том, что не произведена работа по сведению всех этих методов к инварианту, независимому от сущности поставленных задач.

В то же время Джеф Хоккинз рассматривает как раз задачу универсального «смыслогенератора», но он привязан к определенной модели представлений, избыточно глубокой с точки зрения изучаемых процессов мышления.

Алексей Редозубов предлагает квантово-подобные волнообразные схемы работы мозга, но его работа в результате еще дальше от центральной задачи — понимания процесса осознавания, который мы можем воспроизводить и исследовать в любое мгновение.

Условно говоря, мы имеем в основном изучение устройства музыкального инструмента, без понимания музыки — с одной стороны (нейрофизиологи и основывающиеся на их работах исследователи интеллекта), либо исследование множества мелодий, аккордов, этюдов с помощью извлечения их из музыкантов (психологи, и основывающиеся на их работах исследователи). Есть так же те, кто пытаются постичь гармонию, но абстрактно, это те, кто изучают язык (логос), его онтологию и гносеологию, но без моделирования каких-то процессов, создающих языки, для того, чтобы довести онтологию и гносеологию с уровня идей до уровня, хотя бы, моделей.

Практическая точка, которая требует изучения, заключена в том, как именно сознательными актами порождаются различительные признаки, связанные между собой представлениями.

Потому что смысл связан с информацией, но не является ей. И процесс их генерирования — взаимосвязан.

По этой причине, сознание работает с двух сторон: с одной стороны с квантовым объектом смысла, с другой стороны с классическим объектом информации. Но это не значит, что смысл — есть данность. Информация порождает смысл в той же степени, что смысл порождает информацию.

И вот теперь, представляя себе динамический процесс накопления базы данных представлений и признаков, которая, со своей стороны, вполне себе является информацией, с той лишь разницей, что любой запрос к этой базе порождает новые представления и новые признаки, представляется со стороны запроса предметом непостижимым, некопируемым и вполне непостижимым и невычислимым (т.е. хоть квантовым, хоть мистическим).

Понять квантовую механику можно лишь одним способом — выбирая правильную «систему отсчета», связанную не с одной из сторон измерения (природа измеряемого или природа измеряющего), а с процессом совершаемого измерения (наблюдения). Почему это так? Потому что процесс измерения не является инвариантным к полученным результатам. И по факту в квантовой механике нет проблемы наблюдателя, а есть проблема измерения непонятно чего непонятно чем и интерпретацией результатов так, как будто эта непонятность не имеет значения.

Переставая игнорировать нетривиальность самого акта измерения (наблюдения), мы разрушаем саму суть парадокса.
Но это уже тема, далеко выходящая за рамки этого сообщения.

Цель этого сообщения только качнуть ум собеседника немного дальше уже ставших традиционными идей и представлений, дать немного зацепиться за суть предмета интеллекта, за его главную и основную загадку, которую подавляющее большинство исследователей даже не решается сформулировать, предпочитая искать интеллект «где светлее», а не там, где его можно обнаруживать секунда за секундой.

Возможно, кто-то увидит в этом сообщении неадекватные амбиции — попробуйте перебороть раздражение и начать беседу по сути. С большой вероятностью я смогу Вас убедить, что имею достаточные основания все это утверждать.
Простите, вот материал, по мотивам которого я привожу свои размышления alpha.sinp.msu.ru/~panov/AI-2014.pdf
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории