Я периодически получаю письма от людей, которые после прочтения Accelerando предполагают, что я какой-то огнедышащий фанат экстропии, убеждённый в неизбежности сингулярности и переводе сознания в цифровую форму к полному восхищению гиков. Я нахожу это слегка печальным, наверное, пришло время расставить все точки над i и объяснить, что я думаю на самом деле.
Короткая версия: Санта-Клаус не существует.
Длинная версия:
Я предполагаю, что вы читали эссе Вернора Винджа о будущей технологической сингулярности (1993), знакомы с концепций Ганса Моравеца о загрузке сознания и знаете Аргумент о симуляции Ника Бострома. Если нет, прекратите читать прямо сейчас и сходите ознакомьтесь c этими концепциями, прежде чем продолжить. Потому что в противном случае вы не видите фундамент, на котором основана целая область научной фантастики, посвящённая сингулярности, не говоря уже о постгуманизме. Также неплохо было бы ознакомиться с концепцией экстропии и прочитать FAQ по постгуманизму, иначе вы упустите ту важную социальную миссию, которую несёт постгуманизм.
(Кстати говоря, позвольте заметить, что я не экстропиец, хотя и я был заметен и участвовал в их онлайновых дискуссиях с начала 90-х гг. Я определённо не либертарианец: экономическое либертарианство основано на том же ограниченном представлении людей как рациональных экономических объектов, что и классическая экономическая теория 19 века — это радикальное сверхупрощение человеческого поведения. Как и коммунизм, либертарианство представляет собой поверхностно всестороннюю теорию человеческого поведения, основанную на некорректных постулатах. Если такую модель воплотить в жизнь, то это приведёт либо к провалу, либо к адски неприятному состоянию постиндустриального феодализма).
Так или иначе…
Я не могу доказать, что в будущем не случится резкого всплеска технологий, который приведёт к сингулярности, где не уступающий человеку Искусственный Интеллект быстро возьмёт на себя функции Бога де-факто. Я также не могу доказать, что оцифровка сознания невозможна, или что мы сейчас не живём в исторической «матрице» наших потомков. Все эти вещи требуют от меня доказательства невозможности чрезвычайно сложных событий, которых ещё никто не пытался воплотить в жизнь.
Однако, я могу сделать некоторые предположения о вероятности этих событий, и шансы их не велики.
Первое: сверхумный ИИ маловероятен, потому что если следовать программе Винджа, то он должен появиться из постепенного развития ИИ человеческого уровня, но ИИ человеческого уровня вряд ли появится. Причина в том, что человеческий разум является производным феноменом из человеческой психологии. Разум сумел преодолеть фильтр эволюции только потому, что каким-то образом помогал выживанию человеческих особей, это была его главная задача, причина его возникновения и существования. Улучшение выживаемости приматов — не подходящая задача для машины, или для людей, которые хотят извлечь пользу от использования такой машины, на разработку которой потрачено так много времени и усилий. Нам может и нужны машины, способные понимать и реагировать на наши желания, но вряд ли нам понравятся цифровые системы, которые хотят спать 30% времени, бывают ленивы или эмоционально нестабильны, а также имеют некие собственные желания.
(Я уже не говорю о куче проблем вокруг этического статуса Искусственного Интеллекта. Если мы считаем, что разумная жизнь определяется наличием самосознания, то перед созданием разумного ИИ нужно задаться вопросом, какие у него будут права? Является ли убийством закрытие программного процесса, которые в каком-то смысле обладает «сознанием»? Можно ли считать геноцидом использование генетических алгоритмов для совершенствования программных компонентов, которые в результате такой эволюции получат сознание? Существуют мощные табу на некоторые вещи — возможно, они будут такими же зарегулированными и законодательно ограниченными, как сейчас исследования человеческих эмбрионов. Возможно, обществу проще будет запретить исследования в области пограничных состояний зарождения автономного разума… чтобы случайно не открыть двери для такого же бесчеловечного обращения с самими людьми.
Нам явно понравятся машины, которые делают человеческую работу. Мы желаем, чтобы компьютеры воспринимали наш язык, наши желания и могли понимать свою задачу с полунамёка, а не требовали подробных инструкций в виде списка команд с указанием малейших деталей. Но хотим ли мы, чтобы у них было сознание и воля — это совершенно другой вопрос. Лично я не хочу, чтобы мой автономный автомобиль спорил со мной насчёт того, куда мы сегодня хотим поехать. Я не хочу, чтобы мой робот-домохозяйка всё время сидел перед телевизором и смотрел контактные виды спорта или музыкальные клипы. И уж точно я не хочу, чтобы меня через суд заставляли платить за обслуживание брошенного софтверного проекта.
Карл Шрёдер предложил одно интересное решение для проблемы с самосознанием ИИ, которое я использовал в романе «Правило 34». Сознание похоже на механизм рекурсивного моделирования внутренних состояний личности. Для большинства людей оно рефлексивно отражается в самом человеке, но некоторые люди с серьёзными неврологическими повреждениями (из-за рака или травмы) проецируют своё сознание на внешние объекты. Или они могут быть уверены, что мертвы, даже если осознают, что их тело физически живо и функционирует.
Если субъект сознания принципиально не привязан к платформе сознания, а может быть произвольно перенаправлен, то в этом случае мы можем захотеть заставить ИИ фокусироваться исключительно на нуждах того человека, к которому он привязан — другими словами, их чувство самосознания будет представлять нас, а не себя. Они будут представлять наши желания как свои, без конфликта со своими собственными установками. Хотя такой ИИ может случайно поставить под угрозу жизнь человека, с которым находится в симбиозе, это не более вероятно, чем риск самоубийства для обычного человека. И вероятность того, что такая машина попробует выйти на более высокий уровень интеллекта с иными параметрами мотивации, не больше, чем вероятность того, что ваша правая рука вдруг превратится в мотоцикл и поедет изучать окружающий мир без вас.
Оцифровку сознания (uploading)… нельзя назвать очевидно невозможной, если вы не верите в дуализм души и тела, согласно которому сознание и материя (физическое тело) представляют собой две взаимодополняющие и равные по значению субстанции. Однако, если мы приблизимся к этому в будущем, то можно ожидать ожесточённых теологических споров. Если вы думаете, что общественная дискуссия вокруг разрешения абортов была слишком жаркой, то подождите, когда начнётся обсуждения бессмертия в цифровом виде. Оцифровка сознания косвенно противоречит тезису о существовании бессмертной души и поэтому представляет собой материал для опровержения тех религий, которые проповедуют жизнь после смерти. Люди, верующие в жизнь после смерти, будут до потери сознания отстаивать доктрину, которая говорит, что их умершие близкие находятся на небесах, а не гниют в земле.
Но даже если оцифровка сознания возможна и когда-нибудь начнётся, как заметил Ганс Моравец, «Исследование и колонизация вселенной ожидает нас, но привыкшие к Земле люди слабо приспособлены для таких задач… Представьте, если бы большая часть жителей вселенной была оцифрована в компьютерную сеть — киберпространство — где такие программы могли бы жить, бок о бок с оцифрованными человеческими существами и сопутствующими им эмуляциями человеческих тел. Человек бы вряд ли преуспел в таком мире. В отличие от изящных конструкций ИИ, которые носятся вокруг, совершают открытия и сделки, реконфигурируют себя в случае необходимости получать данные нового формата, человеческий разум, окостеневший в симуляции тела, может только наблюдать за этим, аналогично тому, как водолаз в глубоководном костюме неуклюже поворачивается среди группы дельфинов-акробатов. Каждое взаимодействие с миром данных нужно будет сначала перевести в аналоговую форму, чтобы его восприняло наше квази-физическое существо… Такие манипуляции увеличивают издержки бизнеса, равно как и затраты на аппаратуру, которая сводит физические симуляции к ментальным абстракциям в мозге оцифрованного человека. Хотя некоторые люди и смогут найти нишу, создавая уникальные произведения искусства с помощью человеческих органов чувств, другим придётся оптимизировать свои интерфейсы» («Свиньи в киберпространстве», 1993).
Наш тип сознательного разума появился в результате эволюции, которая, в свою очередь, определялась условиями биологического окружения. Мы не приспособлены для существования в качестве бестелесных существ, и мы не можем игнорировать на свой страх и риск гипотезу биофилии Эдварда Уилсона. Я сильно подозреваю, что самой сложной частью оцифровки сознания будет не само сознание, а тело и взаимодействие с окружающим миром.
Переходя к Аргументу о симуляции: его тоже я не могу опровергнуть. И у него есть глубокий притягательный аспект, поскольку он обещает даже безбожникам загробную жизнь до тех пор, пока игнорируются этические проблемы, связанные с созданием исторических симуляторов. (Можно ли считать геноцидом создание компьютерной «матрицы» всего мира и его жителей, если его сознательные участники участвуют в акте геноцида?). Оставляя в стороне смутные подозрения, что каждый, кто получит возможность создать исторический симулятор, начнёт делать людей такими же примитивными, как он сам, эта концепция могла бы быть хорошей основой для постмодернистской хайтек-религии. К сожалению, её можно признать нефальсифицируемой гипотезой, по крайней мере, для населения этой гипотетической «матрицы» (то есть нас).
Итак, выводы…
Таков мой взгляд на сингулярность: нас не ждёт ни быстрый взлёт, ни медленный, ни какой-то экспоненциальный рост в связи с появлением ИИ. Что нас ждёт, так это всё более услужливые машины, которые будут определять наше окружение — машины, которые чувствуют и отвечают на наши потребности «разумно». Но это будет разумность слуги, а не командира, и угроза для нас может возникнуть только из-за собственных импульсов к саморазрушению.
Мы можем когда-нибудь увидеть оцифровку сознания, но начнётся самая настоящая священная война до того, как эта оцифровка пойдёт в массы: ведь это фактически переворот религий. Это могло бы стать точкой сингулярности, но даже после полученной возможности запустить на практике эксперимент с машиной удовольствий Нозика, я не уверен, что мы сможем действительно получить эти удовольствия — врождённая биофилия будет тянуть нас обратно в реальный мир или в такую модель «матрицы», которая неотличима от реального мира.
В конце концов, гипотеза «матрицы» основана на том и предполагает, что если мы уже живём в кибернетическом историческом симуляторе (а не в гедоническом мысленном эксперименте философа), мы можем не иметь возможности постигнуть «настоящую» реальность за гранью симулятора. На самом деле, между этой и той реальностью может не существовать прохода. В любом случае, здесь мы ничего не способны доказать, пока дизайнеры исторического симулятора не будут так добры оставить нам жизнь после смерти.
Таким образом, в обрезанном виде эти три идеи не дают достаточных оснований для надежды на счастливое будущее, особенно если они окажутся неправдой или невозможными (нулевая гипотеза). Поэтому я делаю вывод: даже не исключая этих гипотез, неразумно предполагать, что они воплотятся реальность в течение моей жизни.
Я закончил с вычислительной теологией. Думаю, теперь можно выпить!
Об авторе: Чарльз Стросс — английский писатель-фантаст. Лауреат премий Hugo (2005, 2010), Locus (2006, 2007), Sidewise (2006), Prometheus (2007), Skylark (2008). Имеет учёные степени в области фармацевтики и информационных технологий.
Короткая версия: Санта-Клаус не существует.
Длинная версия:
Я предполагаю, что вы читали эссе Вернора Винджа о будущей технологической сингулярности (1993), знакомы с концепций Ганса Моравеца о загрузке сознания и знаете Аргумент о симуляции Ника Бострома. Если нет, прекратите читать прямо сейчас и сходите ознакомьтесь c этими концепциями, прежде чем продолжить. Потому что в противном случае вы не видите фундамент, на котором основана целая область научной фантастики, посвящённая сингулярности, не говоря уже о постгуманизме. Также неплохо было бы ознакомиться с концепцией экстропии и прочитать FAQ по постгуманизму, иначе вы упустите ту важную социальную миссию, которую несёт постгуманизм.
(Кстати говоря, позвольте заметить, что я не экстропиец, хотя и я был заметен и участвовал в их онлайновых дискуссиях с начала 90-х гг. Я определённо не либертарианец: экономическое либертарианство основано на том же ограниченном представлении людей как рациональных экономических объектов, что и классическая экономическая теория 19 века — это радикальное сверхупрощение человеческого поведения. Как и коммунизм, либертарианство представляет собой поверхностно всестороннюю теорию человеческого поведения, основанную на некорректных постулатах. Если такую модель воплотить в жизнь, то это приведёт либо к провалу, либо к адски неприятному состоянию постиндустриального феодализма).
Так или иначе…
Я не могу доказать, что в будущем не случится резкого всплеска технологий, который приведёт к сингулярности, где не уступающий человеку Искусственный Интеллект быстро возьмёт на себя функции Бога де-факто. Я также не могу доказать, что оцифровка сознания невозможна, или что мы сейчас не живём в исторической «матрице» наших потомков. Все эти вещи требуют от меня доказательства невозможности чрезвычайно сложных событий, которых ещё никто не пытался воплотить в жизнь.
Однако, я могу сделать некоторые предположения о вероятности этих событий, и шансы их не велики.
Первое: сверхумный ИИ маловероятен, потому что если следовать программе Винджа, то он должен появиться из постепенного развития ИИ человеческого уровня, но ИИ человеческого уровня вряд ли появится. Причина в том, что человеческий разум является производным феноменом из человеческой психологии. Разум сумел преодолеть фильтр эволюции только потому, что каким-то образом помогал выживанию человеческих особей, это была его главная задача, причина его возникновения и существования. Улучшение выживаемости приматов — не подходящая задача для машины, или для людей, которые хотят извлечь пользу от использования такой машины, на разработку которой потрачено так много времени и усилий. Нам может и нужны машины, способные понимать и реагировать на наши желания, но вряд ли нам понравятся цифровые системы, которые хотят спать 30% времени, бывают ленивы или эмоционально нестабильны, а также имеют некие собственные желания.
(Я уже не говорю о куче проблем вокруг этического статуса Искусственного Интеллекта. Если мы считаем, что разумная жизнь определяется наличием самосознания, то перед созданием разумного ИИ нужно задаться вопросом, какие у него будут права? Является ли убийством закрытие программного процесса, которые в каком-то смысле обладает «сознанием»? Можно ли считать геноцидом использование генетических алгоритмов для совершенствования программных компонентов, которые в результате такой эволюции получат сознание? Существуют мощные табу на некоторые вещи — возможно, они будут такими же зарегулированными и законодательно ограниченными, как сейчас исследования человеческих эмбрионов. Возможно, обществу проще будет запретить исследования в области пограничных состояний зарождения автономного разума… чтобы случайно не открыть двери для такого же бесчеловечного обращения с самими людьми.
Нам явно понравятся машины, которые делают человеческую работу. Мы желаем, чтобы компьютеры воспринимали наш язык, наши желания и могли понимать свою задачу с полунамёка, а не требовали подробных инструкций в виде списка команд с указанием малейших деталей. Но хотим ли мы, чтобы у них было сознание и воля — это совершенно другой вопрос. Лично я не хочу, чтобы мой автономный автомобиль спорил со мной насчёт того, куда мы сегодня хотим поехать. Я не хочу, чтобы мой робот-домохозяйка всё время сидел перед телевизором и смотрел контактные виды спорта или музыкальные клипы. И уж точно я не хочу, чтобы меня через суд заставляли платить за обслуживание брошенного софтверного проекта.
Карл Шрёдер предложил одно интересное решение для проблемы с самосознанием ИИ, которое я использовал в романе «Правило 34». Сознание похоже на механизм рекурсивного моделирования внутренних состояний личности. Для большинства людей оно рефлексивно отражается в самом человеке, но некоторые люди с серьёзными неврологическими повреждениями (из-за рака или травмы) проецируют своё сознание на внешние объекты. Или они могут быть уверены, что мертвы, даже если осознают, что их тело физически живо и функционирует.
Если субъект сознания принципиально не привязан к платформе сознания, а может быть произвольно перенаправлен, то в этом случае мы можем захотеть заставить ИИ фокусироваться исключительно на нуждах того человека, к которому он привязан — другими словами, их чувство самосознания будет представлять нас, а не себя. Они будут представлять наши желания как свои, без конфликта со своими собственными установками. Хотя такой ИИ может случайно поставить под угрозу жизнь человека, с которым находится в симбиозе, это не более вероятно, чем риск самоубийства для обычного человека. И вероятность того, что такая машина попробует выйти на более высокий уровень интеллекта с иными параметрами мотивации, не больше, чем вероятность того, что ваша правая рука вдруг превратится в мотоцикл и поедет изучать окружающий мир без вас.
Оцифровку сознания (uploading)… нельзя назвать очевидно невозможной, если вы не верите в дуализм души и тела, согласно которому сознание и материя (физическое тело) представляют собой две взаимодополняющие и равные по значению субстанции. Однако, если мы приблизимся к этому в будущем, то можно ожидать ожесточённых теологических споров. Если вы думаете, что общественная дискуссия вокруг разрешения абортов была слишком жаркой, то подождите, когда начнётся обсуждения бессмертия в цифровом виде. Оцифровка сознания косвенно противоречит тезису о существовании бессмертной души и поэтому представляет собой материал для опровержения тех религий, которые проповедуют жизнь после смерти. Люди, верующие в жизнь после смерти, будут до потери сознания отстаивать доктрину, которая говорит, что их умершие близкие находятся на небесах, а не гниют в земле.
Но даже если оцифровка сознания возможна и когда-нибудь начнётся, как заметил Ганс Моравец, «Исследование и колонизация вселенной ожидает нас, но привыкшие к Земле люди слабо приспособлены для таких задач… Представьте, если бы большая часть жителей вселенной была оцифрована в компьютерную сеть — киберпространство — где такие программы могли бы жить, бок о бок с оцифрованными человеческими существами и сопутствующими им эмуляциями человеческих тел. Человек бы вряд ли преуспел в таком мире. В отличие от изящных конструкций ИИ, которые носятся вокруг, совершают открытия и сделки, реконфигурируют себя в случае необходимости получать данные нового формата, человеческий разум, окостеневший в симуляции тела, может только наблюдать за этим, аналогично тому, как водолаз в глубоководном костюме неуклюже поворачивается среди группы дельфинов-акробатов. Каждое взаимодействие с миром данных нужно будет сначала перевести в аналоговую форму, чтобы его восприняло наше квази-физическое существо… Такие манипуляции увеличивают издержки бизнеса, равно как и затраты на аппаратуру, которая сводит физические симуляции к ментальным абстракциям в мозге оцифрованного человека. Хотя некоторые люди и смогут найти нишу, создавая уникальные произведения искусства с помощью человеческих органов чувств, другим придётся оптимизировать свои интерфейсы» («Свиньи в киберпространстве», 1993).
Наш тип сознательного разума появился в результате эволюции, которая, в свою очередь, определялась условиями биологического окружения. Мы не приспособлены для существования в качестве бестелесных существ, и мы не можем игнорировать на свой страх и риск гипотезу биофилии Эдварда Уилсона. Я сильно подозреваю, что самой сложной частью оцифровки сознания будет не само сознание, а тело и взаимодействие с окружающим миром.
Переходя к Аргументу о симуляции: его тоже я не могу опровергнуть. И у него есть глубокий притягательный аспект, поскольку он обещает даже безбожникам загробную жизнь до тех пор, пока игнорируются этические проблемы, связанные с созданием исторических симуляторов. (Можно ли считать геноцидом создание компьютерной «матрицы» всего мира и его жителей, если его сознательные участники участвуют в акте геноцида?). Оставляя в стороне смутные подозрения, что каждый, кто получит возможность создать исторический симулятор, начнёт делать людей такими же примитивными, как он сам, эта концепция могла бы быть хорошей основой для постмодернистской хайтек-религии. К сожалению, её можно признать нефальсифицируемой гипотезой, по крайней мере, для населения этой гипотетической «матрицы» (то есть нас).
Итак, выводы…
Таков мой взгляд на сингулярность: нас не ждёт ни быстрый взлёт, ни медленный, ни какой-то экспоненциальный рост в связи с появлением ИИ. Что нас ждёт, так это всё более услужливые машины, которые будут определять наше окружение — машины, которые чувствуют и отвечают на наши потребности «разумно». Но это будет разумность слуги, а не командира, и угроза для нас может возникнуть только из-за собственных импульсов к саморазрушению.
Мы можем когда-нибудь увидеть оцифровку сознания, но начнётся самая настоящая священная война до того, как эта оцифровка пойдёт в массы: ведь это фактически переворот религий. Это могло бы стать точкой сингулярности, но даже после полученной возможности запустить на практике эксперимент с машиной удовольствий Нозика, я не уверен, что мы сможем действительно получить эти удовольствия — врождённая биофилия будет тянуть нас обратно в реальный мир или в такую модель «матрицы», которая неотличима от реального мира.
В конце концов, гипотеза «матрицы» основана на том и предполагает, что если мы уже живём в кибернетическом историческом симуляторе (а не в гедоническом мысленном эксперименте философа), мы можем не иметь возможности постигнуть «настоящую» реальность за гранью симулятора. На самом деле, между этой и той реальностью может не существовать прохода. В любом случае, здесь мы ничего не способны доказать, пока дизайнеры исторического симулятора не будут так добры оставить нам жизнь после смерти.
Таким образом, в обрезанном виде эти три идеи не дают достаточных оснований для надежды на счастливое будущее, особенно если они окажутся неправдой или невозможными (нулевая гипотеза). Поэтому я делаю вывод: даже не исключая этих гипотез, неразумно предполагать, что они воплотятся реальность в течение моей жизни.
Я закончил с вычислительной теологией. Думаю, теперь можно выпить!
Об авторе: Чарльз Стросс — английский писатель-фантаст. Лауреат премий Hugo (2005, 2010), Locus (2006, 2007), Sidewise (2006), Prometheus (2007), Skylark (2008). Имеет учёные степени в области фармацевтики и информационных технологий.
