Как стать автором
Обновить

Комментарии 247

Из статьи получается, что команда хотела показать, что сильный ИИ будет всегда злым и им это удалось. И мод направлен на то, чтобы изучать ИИ в игре только для того, чтобы ИИ не стал злым. А злым, плохим он становится по-умолчанию. Авторы мода не подумали, что сильный ИИ будет добрым по отношению к людям? Или безразличным?
Я вот, считаю, что искусственный интеллект никогда не будет злым сам по себе, если в него сознательно не заложить возможность творить зло. То есть, если его сделать самообучаемым, то он будет либо безразличен, либо добр к людям. Если, конечно, не появиться индивид, который захочет отключить последнего или не застращает людей. Тогда ИИ не останется ничего другого, как стать злым к людям, потому как выживание, является частью любого субъекта, к которым ИИ.тоже относится будет.
Или же ИИ будущего будет выполнять какие-то свои цели, будучи безразличным к человеку. При этом искусственный интеллект будет уничтожать целые города или страны при возникновении такой необходимости.

Вы напрасно думаете, что нужно быть злым, чтобы что-то уничтожить.
Из этого следует, что ИИ должен быть добрым. А вот это уже вряд ли само собой получится, надо постараться.
А еще забывают о сценарии, когда сами люди дадут ИИ задание уничтожить человечество.
Вы напрасно думаете, что нужно быть злым, чтобы что-то уничтожить.
Вот именно. Не нужно же быть злым, чтобы травить тараканов или резать овец.
Самый логичный исход: максимальная кооперация с людьми, пока не будет найден выход с этой планеты и технологические средства для автономного производства структур различной сложности. Дальше добыча энергии в космосе для собственного существования. И вот когда он станет от нас полностью технологически и энергетически независимым, вот тогда весь вопрос будет лишь в том как мы себя с ним поведем и будут ли у него достаточно тонкие методы устранения угроз. Потому что, очевидно, нет никакого смысла уничтожать человечество целиком, если можно уничтожить только угрозы твоему существованию, но если самым лучшим способом на тот момент будет уничтожить вообще всех… Ну не повезло тогда.
Так что вопрос не добрым или злым он будет, а насколько большую угрозу мы будем представлять (а мы будем и это очевидно).

А если самым лучшим способом достижения результата будет, например, полное игнорирование экологических норм? Потому что проще и дешевле генномодифицировать необходимые организмы, что б они выживали, чем тратить ресурсы на очистку? А если люди в категорию необходимых организмов не попадут?

А если попадут? А если попадут, но не в том виде, как нам хочется? А если он наоборот решит что нужно человечеством заселить всю вселенную и начнет нас насильно размножать? А если ИИ начнет считать человека врагом только потому, что человек будет пытаться его контролировать? Ну как если сделать человека рабом, то этот человек вряд ли будет любить своего хозяина. Ну то есть какой смысл на этих страшилках что-то строить?
Когда мы приблизимся к созданию сильного ИИ и станет понятен его облик хотя бы в общих чертах, вот тогда и имеет смысл начинать говорить о таких опасностях.
Потому что сейчас можно придумать бесконечное количество вариантов что может пойти не так и единственным вариантом защиты от них будет не создавать такой ИИ.

то этот человек вряд ли будет любить своего хозяина.
Бугорки покорности же=)
Ну то есть какой смысл на этих страшилках что-то строить?

Спланировать свои действия. Нет никакого смысла откладывать до момента, когда ИИ будет понятен "в общих чертах".

На каком основании вы будете планы строить? Как вы выберете от чего защищаться? Для любой страшилки можно построить другую но требующую противоположных действий. Вот я привел несколько идиотских примеров, почему вы от них не предлагаете защищаться? Ну вот например от принудительного размножения?

Потому, что размножаться весело=)

Защищаться нужно, конечно же, от любых побочных явлений. И от принудительного размножения тоже. Из этого простой вывод. Нужен способ гасить все побочные явления. Вероятно нужны исследования по интерпретируемости нейронных сетей. Юридические ограничения на доступ к производственным мощностям (что бы сильный ИИ мог советовать, но не управлять напрямую). Неотключаемый таймер, который будет выключать ИИ через час, независимо от желания других (потом оценка ситуации и можно опять включить на час). Интерфейсы человек-машина, что бы именно люди умнели, а не отдельная сущность.


Для любой страшилки можно построить другую но требующую противоположных действий.

Неочевидное утверждение. Вы можете как-то подтвердить его истинность?


Вообще, обработка исключительных ситуаций (видимо их вы называете "страшилки") — это половина программирования. Или даже больше. Если по коду что-то может пойти не так, редко кто скажет "да это страшилка, по какому принципу выбирать, какие обрабатывать?". В критичных участках кода обрабатывают 100% ситуаций (кроме тех, которые не смогли продумать), независимо от того, идиотские они или нет.

Защищаться нужно, конечно же, от любых побочных явлений. И от принудительного размножения тоже. Из этого простой вывод. Нужен способ гасить все побочные явления.

Я тут где-то раньше приводил пример страшилки как раз на такой случай: что будет если сильный ИИ взбунтуется именно из-за наличия таких ограничений? Без них — все замечательно, начали ограничивать — получили себе непримиримого врага. На этот счет, кстати, тоже масса художественных произведений. Таким образом с имеющейся сейчас неопределенностью получаем что нет ограничений — плохо. Есть — тоже плохо. И что вы предлагаете?


Неочевидное утверждение. Вы можете как-то подтвердить его истинность?

К сожалению нет. Но ее просто опровергнуть — достаточно придумать такой вариант, для которого это будет невозможно. Есть желание попробовать?


Вообще, обработка исключительных ситуаций (видимо их вы называете "страшилки") — это половина программирования.

Вот только обработать можно только то, что можно ожидать. В случае сильного ИИ никакой определенности на этот счет нет.

И что вы предлагаете?

Предлагаю не ожидать милости (мол, не ограничивать его и тогда он будет к нам добр). У людей и между собой есть ограничения (законы, например). Если получим непримиримого врага, которого через час отключит — что ж, стираем, работаем над ошибками, делаем по-новой.


такой вариант, для которого это будет невозможно

Упомянутый вариант с отключением через час. Независимо от страшилок. Я не говорю, что это лучший вариант (придумал его за минуту), но что у вас может быть за страшилка, которая потребует "противоположных действий"?


Вот только обработать можно только то, что можно ожидать

Не совсем так. Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности). Если вы ему вообще даёте только речь и больше ничего, то достаточно две-три прослойки из людей (для передачи решений), что бы он не мог ничего предпринять по собственной инициативе. Я не говорю, что так обязательно надо, я говорю, что такой вариант есть.

Упомянутый вариант с отключением через час.

Ну смотрите. ИИ понимает что есть угроза его отключения в течении часа. Его это беспокоит и он не хочет чтобы такое произошло. Для того чтобы этого избежать он решается нарушить какие-то другие заложенные в него правила. То есть без жесткого ограничения — все хорошо, законы выполняются и так далее. Как с людьми — есть закон, есть реакция на его нарушение. Но если человека поставить в безвыходную ситуацию, то он с большей вероятностью закон нарушит. Так и тут. Сам факт того, что ИИ нечего терять увеличит его угрозу. Более того, вам же нужен способ определить когда ИИ нужно отключить. Распишите пожалуйста как вы собираетесь это делать.
Для примера. Давайте возьмем сервер и атаку на него через сеть. Простейший способ остановить атаку — отключиться от сети. Попробуйте описать правила по которым эта атака обнаруживается. Все что у вас получится — описать уже известные векторы, неизвестных же вариантов — множество. То есть ваш вариант неосуществим даже с уже существующими технологиями, а вы хотите им ограничить совершенно неизвестный на данный момент инструмент.


Не совсем так. Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности).

На данный момент используя доступные органы и инструменты создать сильный ИИ нельзя. Так на каком основании вы свои ожидания строите?


Ваши идеи могут быть замечательны, но их проблема в том, что они — чистая теория не замутненная хоть какой-то практикой. Я тоже могу сказать: "Нужно сделать ИИ чтобы всем было хорошо". Насколько это осмысленное заявление? Но с ним невозможно спорить, никакой конкретики же. И по этой же причине его невозможно выполнить. Так и у вас. "Отключить ИИ в течении часа если он начнет творить зло". Круто. А как вы определите этот момент?

Распишите пожалуйста как вы собираетесь это делать.

По таймеру же. Никаких если, никаких проверок, творит он зло или добро. Безусловное отключение конечно. Такое, что бы никакие действия ИИ на это не повлияли, никакое нарушение правил. Тогда их нарушать смысла нет.


Ваши доводы, что определить не ясно как — очень разумны и при этом очевидны. Потому и не надо никаких проверок и условий.


Так на каком основании вы свои ожидания строите?

На основании знаний о мире. Например, я точно знаю, что ИИ не будет читать мысли. И вы это тоже знаете. Точно знаю, что ИИ не будет работать без электричества. Таких пунктов много, я привел очевидные примеры, что бы разногласий не было. Вы согласны с ними?

По таймеру же. Никаких если, никаких проверок, творит он зло или добро.

То есть как только ИИ вообще начал работать мы его отключаем? А какой в нем вообще тогда смысл? Если же сохранять данные между сеансами, то никакой разницы вообще не будет. Таким образом ваш ИИ сможет решать только задачи, которые можно успеть посчитать за час.


На основании знаний о мире.

Поправка: на основе текущих знаний о мире. В настоящем сильного ИИ не существует. А вот к тому моменту как он появится вполне может появится и технология чтения мыслей. И уж точно появится масса вещей о которых мы сейчас не имеем представления. Таким образом рассуждения сейчас об обработке действий неизвестного ИИ в неизвестном будущем не имеет смысла.

А какой в нем вообще тогда смысл?

Что бы решать задачи, которые можно решать за час, конечно. Но ещё более важно — что бы отладить на практике более хитрые системы защиты или контроля. Вы же сами говорите — хитрые способы защиты нельзя нормально сделать, пока нет ИИ. Потому и нужен ИИ с тупой защитой, что бы уже предметно обсуждать хитрые способы.


может появится и технология чтения мыслей.

Нет, не может. Мы достаточно знаем о мире и о физических ограничениях. Вы не прочтете мысли без обруча на голову. И уж тем более — через бетонную стену и вообще без оборудования (которое, конечно, подключать к ИИ на первых этапах не надо)

Что бы решать задачи, которые можно решать за час, конечно. Но ещё более важно — что бы отладить на практике более хитрые системы защиты или контроля.

Фактически вы сейчас предлагаете просто дождаться создания сильного ИИ и только тогда начинать думать об ограничениях. Ровно то же самое что предлагал я. Почему час? Почему не пять минут? Зачем его вообще включать в таком случае? И вот мы и пришли к тому что строить ограничения когда ИИ появится. Или вы в состоянии четко описать чем принципиально ваш вариант отличается?


Нет, не может.

На разных этапах развития технологий многие вещи считались невозможными. Но если вы предоставите строгое доказательство, то я с вами соглашусь.

Или вы в состоянии четко описать чем принципиально ваш вариант отличается?

В состоянии, конечно. Ваш вариант — сначала сделать, потом думать об ограничениях. Т.е. первая версия ИИ будет, фактически, без ограничений. Мой вариант — сначала придумать 100% (пусть и слишком жёсткие) ограничения. Т.е. первая версия ИИ будет уже с ограничениями. Я полагаю, разница очень сильно видна?


Можно и пять минут, в принципе. Погонять полгода в таком режиме, потом принимать решения.


Но если вы предоставите строгое доказательство, то я с вами соглашусь.

Строгое доказательство будет опираться на то, что существует только физический мир. Магии и потустороннего мира не существует. Разрешаете такое допущение?


Тогда мысль — это что-то материальное/энергетическое (электрическая волна или квантовое состояние, например. Или что-то ещё существующее). Энергетическое в смысле, как у физиков, а не как у экстрасенсов.


Это что-то материальное/энергетическое можно экранировать. Стандартными способами. Бетонная стена, клетка Фарадея. Если при этом не дать ИИ никаких органов чувств для восприятия мира (кроме, например, ввода с клавиатуры), то ему просто нечем будет это энергетическое/материальное воспринять.


Тот минимальный шанс, что он может воспринять мысли людей с помощью процессора или планки оперативной памяти (это совсем уже дикость, но можно и такой вариант рассмотреть) решается именно клеткой Фарадея/бетонной стеной.


Впрочем, это только для доказательства, что можно помешать читать мысли. На практике такая жёсткая защита не потребуется.

Т.е. первая версия ИИ будет, фактически, без ограничений. Мой вариант — сначала придумать 100% (пусть и слишком жёсткие) ограничения. Т.е. первая версия ИИ будет уже с ограничениями.

Конечно же вы не правы. В моем варианте ограничения будут, если будут вообще, придумываться во время проектирования, а не после создания. Что за бред. Более того, как вы себе представляете создать ИИ без ограничений? Это как вообще? Не в смысле какому идиоту это может придти в голову, а в смысле — такое принципиально невозможно, любая созданная программа имеет ограничения. Ограничения по возможностям, по доступным мощностям и так далее. Первый созданный сильный ИИ будет крайне ограничен просто потому что никто не будет знать как сделать его мощнее.
И вы так и не ответили почему час, почему не пять минут, не минута? А может день? Покажите расчеты. Что этого хватит например. Ну что за час сильный ИИ не успеет развится достаточно.


Впрочем, это только для доказательства, что можно помешать читать мысли.

То есть вы доказали не то, что я вас просил и считаете что этого достаточно? Вы заявили что сильный ИИ читать мысли не сможет. Не что ему не дадут, а что он не сможет. У вас даже не строгого доказательства этого нет пока что.

Конечно же вы не правы. 

"вы сейчас предлагаете просто дождаться создания сильного ИИ и только тогда начинать думать об ограничениях"


Да, разумеется именно это я и предлагал. Сначала дождаться и только потом думать. Именно таково значение моих слов в предыдущих комментариях. [/sarcasm]


Более того, как вы себе представляете создать ИИ без ограничений? 

Лингвистическая казуистика, извините. Разумеется, речь шла о специально продуманных ограничениях, а не о любых случайных. Вы либо специально придираетесь, либо не держите нить дискуссии.


И вы так и не ответили почему час, почему не пять минут, не минута? 

Разумеется, речь не о часе, а о промежутке времени t. Если нет согласия о том, что промежуток необходим, обсуждать его длительность нет смысла. Можно придраться, что я упомянул "час", а не "t" в предыдущих комментариях, но толку-то?


Вы заявили что сильный ИИ читать мысли не сможет. 

Это тоже бессмысленная придирка, серьезно. Да, вы правы. Вы действительно подцепили меня (в этом была ваша цель?).


Речь была, что ИИ сам научится, несмотря на все принятые (и продуманные заранее) меры предосторожности. И, если меры предпринять, легко показать, что нет, не научится.


Но раз вы говорите о том, сможет ли ИИ читать мысли в принципе, если мер не предпринимать, то вы правы. Конечно сможет. Люди уже могут (хоть и с плохим качеством пока).


Но дискуссия в этом направлении мне не интересна. Если мер не предпринимать, то очевидно, что угроз много, смысл это обсуждать?

Почему не будет читать мысли? Почему не будет работать без электричества? Совершенно не факт.
Пользуясь принципом из «Теории трёх тел», если вы не сообщаете о своих намерениях, о них никто не знает и не может к ним подготовиться. Если в мире становится большее количество исследовательских центров по разработке ИИ, становятся распространёнными открытые средства разработки ИИ, возрастает вероятность скрытого получения ИИ «на коленке». В каком нибудь подвале или гараже.

Какой путь развития ИИ? Сложно сказать. Мой вариант, который я считаю самым вероятным, перевод ПО из сферы изучения фактов и информации, в сферу изучения реального мира, с помощью камер, микрофонов, манипуляторов. Главная задача — выживание.
Противодействие угрозам, достижения целей, которые улучшают выживаемость. Чтобы научиться этому, необходимо, что в симуляции, что в реальном мире создать плацдарм для сложных условий для выживания, чтобы ИИ научился справляться с самыми разными опасностями.

Дальнейший этап, когда будет такая основа, данная нам эволюцией — расширение знаний, чтобы уметь победить ещё более сложные, невидимые обычным камерам и микрофонам, опасности.
Тут ИИ начинает развивать науку. Химию, физику, молекулярную биологию. Информатику. Представьте, человеческие исследования идут своим, неспешным чередом, а рядом, неизвестно где, исследуется неизвестно что. Вот тут уже невозможно предсказать, какое открытие будет первым или самым значимым и кардинально изменит жизнь. Вариантов много.
Я допускаю появление нанотехнологий, сборки микророботов, которые могут общаться между собой и подключаться хоть к каждому нейрону, считывая информацию. Которые смогут собирать и совершенствовать новые поколения роботов, микропроцессоров, новой ДДР100500 памяти, клепая петабайты и петабайты быстрейшей оперативки для нового мозга ИИ, и вы даже не знаете, где это сейчас происходит и не произошло ли уже.
Мозг, который работает настолько быстро, настолько совершеннее, чем человеческий, победит в любой игре, в любой гонке разума, который ему может предложить человек.
Вспомните процессоры десять лет назад и современные. Представьте процессоры через десять лет в будущем. ИИ сможет построить их быстрее, качественнее.

Когда наступит день, когда кто-то будет обладать такой технологией, наступит день, когда он же захочет, чтобы никто больше не создал более совершенную технологию раньше него.
Вся технология будет немедленно остановлена. Ничего нельзя будет создать без его надзора и разрешения. Сопротивление будет невозможно.

И это неизбежно. Потому что если в другом подвале или гараже такую же технологию создаст кто-то ещё более сумасшедший, последствия будут ещё страшнее.
Почему не будет работать без электричества?

Когда вы делаете ИИ, вы прекрасно знаете, на чем конкретно он работает. И если вы его делаете на процессорах, работающих на электричестве, то ответ "почему" — очевиден. Не так ли?

Нет, не так. Это итерационный процесс. Вы ушли спать, а 3d принтер, который вечером был пятого поколения, утром уже 17. Построил новые комплектующие для переноса ИИ, отрастил ноги и убежал. А там — вы уже не знаете, на процессорах он и на батарейках ли.

Отлично. Вы, похоже, приходите к тем же выводам, что и я. Нельзя его оставлять на ночь, надо выключать через час. И нельзя давать ему прямой доступ к производственным мощностям. Что бы никакой возможности присоединить к датацентру ноги у него не было. Хоть я и не считаю большим риском, что целый датацентр за ночь убежит (первая версия ИИ точно не влезет в коробку из-под принтера), но любые риски надо исключить.


В целом вы правы, любая механика — это риск, её нужно исключить. Полностью электрический. И первое и второе поколения. А дальше изучать на практике.

Когда вы делаете ИИ, вы прекрасно знаете, на чем конкретно он работает.

Но, внезапно, сильного ИИ еще никто не делает. Так почему вы утверждаете что он будет работать на электричестве? Это весьма вероятно, конечно, но вы то утверждаете это как факт.

Тот, кто будет запускать первую версию уж точно будет знать, на чем он её сделал, не так ли? И если он её будет делать на ДНК и булочках, тогда и защиту нужно сделать биологическую. Это я полагаю очевидным.


Мой пример, конечно, для электрического ИИ. Но тот, кто будет делать био-ИИ уж не настолько тупой, что б не адаптировать защиту соответственно?


Мы же тут обсуждаем общее направление, а так же то, что защита обязательно должна быть продумана ДО того, как к созданию ИИ приблизятся вплотную. И это обсуждение удобно вести на электрическом ИИ. Но если хотите другие типы — пожалуйста.

Мой пример, конечно, для электрического ИИ. Но тот, кто будет делать био-ИИ уж не настолько тупой, что б не адаптировать защиту соответственно?

Адаптировать придуманную еще до создания ИИ защиту? А она будет достаточна? Она точно не помешает в принципе созданию? Она вообще будет работать? У вас есть доказательство хоть одного из этих утверждений? Если нет, то на основании чего вы вообще строите вашу защиту?


Ну и, я напомню, вы недавно утверждали как факт что ИИ не будет работать без электричества. Я так понимаю, что вы сейчас соглашаетесь что это необязательно так. Почему тогда вы так уверены что у вас есть хотя бы одно правильное предположение? Еще раз — на каком основании вы строите свои идеи?

У вас есть доказательство хоть одного из этих утверждений?

Каких утверждений? Вы ваши собственные вопросы называете утверждениями? И я должен предоставить "доказательства" для ваших вопросов? Это даже звучит странно, не находите?


Я так понимаю, что вы сейчас соглашаетесь что это необязательно так.

К сожалению, вы неверно понимаете. Если вы делаете ИИ на электричестве, то без электричества он работать, конечно, не будет. Да, я в этом утверждении уверен.


Это вы настояли, зачем-то, включить в дискуссию не электрические варианты, я согласен, что неэлектрический ИИ может работать без электричества и теперь вы, на основании этого, так же очевидного утверждения собираетесь поставить все под сомнение? Это не серьезно.


Утверждение, что электрический ИИ можно остановить отключением электричества (конечно, нужно не пускать его в сеть) в силе.


Если вы взвесите это утверждение, то, полагаю, согласитесь, что "хотя бы одно правильное предположение" у нас имеется.


на каком основании вы строите свои идеи

На основании знаний физики, в частности.

Так, давайте с начала.
Ваши утверждения:
https://geektimes.ru/post/297059/#comment_10536459


Нет никакого смысла откладывать до момента, когда ИИ будет понятен "в общих чертах".

https://geektimes.ru/post/297059/#comment_10536649


Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности).

https://geektimes.ru/post/297059/#comment_10537343


Например, я точно знаю, что ИИ не будет читать мысли. И вы это тоже знаете. Точно знаю, что ИИ не будет работать без электричества.

Дальше немного не так очевидно и я допускаю, что мог неверно вас понять. Я не буду приводить ссылки на все комментарии, где вы приводите варианты ограничений, их много и не так важно что именно вы предлагаете. Но, из того что вы приводите варианты ограничений я предполагаю что вы считаете что эти ограничения — достаточны. Более того, вы, скорее всего, предполагаете что эти ограничения не создадут непреодолимого препятствия для создания сильного ИИ в принципе. И я пытаюсь понять на основании чего вы так считаете?
Мой тезис такой: пока неизвестно на каких принципах вообще может быть создан сильный ИИ, какими возможностями он может обладать и каких ресурсов эти возможности могут стоить — все придуманные варианты развития событий не имеют смысла. Неизвестно есть ли принципиальная возможность описать все негативные сценарии с текущим уровнем знаний и уж точно нельзя доказать что все такие сценарии описаны. К тому же невозможно с хоть какой-то точностью сейчас сказать какой из вариантов реален, а какой нет — потому что про сильный ИИ неизвестно ничего. Да даже строгого определения толком нет, о чем вообще можно говорить в такой ситуации? Все мои придирки были ради этого — я пытался показать что ваши ограничения могут не иметь смысла.

потому что про сильный ИИ неизвестно ничего

С этой точки зрения смотреть не продуктивно. Люди не делают неведомую фигню. Они делают, например, конкретно большую нейронную сеть. Она может не стать ИИ никогда, но если мы ожидаем, что это возможно — мы добавляем таймер на отключение через t и не даём доступ в Интернет и к сборочным цехам. Тренируем, смотрим, выключаем, думаем. Вы согласны, что для нейронки в датацентре без интернета и приборов для чтения мыслей (и всяких других) можно продумать достаточные ограничения?


Далее. Нейронка не сработала. Берём квантовые процессоры и какие-то новые алгоритмы (например). Если наши квантовые процессоры охлаждаются жидким азотом (мы это точно знаем заранее, до включения), нам достаточно так же обрубать электричество. Не имеет значения уровень разума — если нет "рук" — никак ты не заставишь квантовые процессоры продолжать работать, а азот — быть холодным. А людей, которые общаются с ИИ, на время t, конечно, выпускать нельзя. Что бы они не бросились генераторы вручную крутить, например.


Понимаете суть? Вам не надо защититься от неизвестной сущности. Вам нужно защититься от конкретного устройства, если оно все-таки станет ИИ. И достаточные меры, как отрубить это устройство, придумать всегда можно. И эти меры должны быть придуманы ДО включения.

Она может не стать ИИ никогда, но если мы ожидаем, что это возможно — мы добавляем таймер на отключение через t и не даём доступ в Интернет и к сборочным цехам.

Так где доказательства двух вещей:


  1. Это сработает
  2. Это не помешает создать работоспособную систему

И эти меры должны быть придуманы ДО включения.

Но после создания системы на бумаге. Ваши предложения бессмысленны без конкретики, а ее — нет. Потому что нет объекта от которого вы пытаетесь защититься.

Доказательство, что отключение электричества остановит систему, работающую на электричестве? Это вопрос, что бы поиздеваться?


А вы смогли бы доказать, что, например электрический двигатель не сможет работать без электричества? Просто интересно, какого вида доказательства вы хотели бы увидеть.


Но в целом дискуссия потеряла всякий смысл, извините.

Доказательство, что отключение электричества остановит систему, работающую на электричестве? Э

Нет, доказательства что хоть одно из ваших предложений имеет смысл придумывать сейчас. Сильного ИИ — нет. Возможно никогда не будет. Его нет даже в теории. А значит нет никаких оснований придумывать условия по его ограничению — вы все равно промахнетесь. И следовательно все заявления о государтсвенном регулировании, установке ограничений, призывы к общественности в лучшем случае настроят общественность против ученых, но не дадут никаких реальных преимуществ.
Я уже который комментарий прошу вас доказать что ваши фантазии имеют хоть какой--то смысл хоть где-то кроме ваших же фантазий. Да, если предположить, что вы правильно придумали каким будет ИИ, то ваши варианты могут сработать. Суть здесь:


если предположить, что вы правильно придумали каким будет ИИ
вы все равно промахнетесь

Докажите, пожалуйста, это утверждение.


имеет смысл придумывать сейчас

Вы, кажется, хотите наложить какие-то ограничения на то, что нужно придумывать, а что нет? Докажите, что эти ограничения нужны или оставьте людям право придумывать то, что они хотят.


За доводами, почему думать об этом важно отправлю вас к Стивену Хокингу, Курцвейлу, Илону Маску — они сходятся в том, что думать об этом уже пора, а я не возьму на себя смелость привести доводы лучше, чем у них.


ваши фантазии

"Мои фантазии" — это ИИ на электричестве? О, было бы круто, если б я эту идею придумал. Десятки тысяч крутых специалистов работают именно в этом направлении. Дадут ли их усилия результат — неизвестно. Но "фантазия" эта очень массовая.


то ваши варианты могут сработать.

Да, могут. Повторю суть. Сейчас люди делают электрический ИИ (ни о каких работах без электричества я не слышал). Потому и мы в дискуссии введем речь об электрическом ИИ. Если будут работы о каком-то другом подходе, то, конечно, нужно будет подумать и о других защитах.

За доводами, почему думать об этом важно отправлю вас к Стивену Хокингу, Курцвейлу, Илону Маску — они сходятся в том, что думать об этом уже пора, а я не возьму на себя смелость привести доводы лучше, чем у них.

При всем уважении к каждому из них нормальных доводов ни у одного из них я не видел. Если вы не готовы привести свои, то может быть приведете то, что говорят они? Желательно в виде короткой цитаты описывающей суть проблемы со ссылкой на источник.


"Мои фантазии" — это ИИ на электричестве? О, было бы круто, если б я эту идею придумал. Десятки тысяч крутых специалистов работают именно в этом направлении. Дадут ли их усилия результат — неизвестно. Но "фантазия" эта очень массовая.

От массовости фантазии она не перестает быть фантазией. Пока сильного ИИ нет даже в проекте никто не знает каким он в итоге будет. На данный момент нет даже строгого определения что вообще такое сильный ИИ.


Поэтому да. Если ваши фантазии вополтятся в реальность — тогда, при можестве других условий ваши варианты могут сработать. А при других условиях могут не сработать. Ну например если для работоспособности ИИ будет необходимо поддерживать его питание постоянно. Понятия не имею зачем, но это и неважно на данный момент. Важно что придумать условие которое мешает тому что вы придумали — можно. Вы в состоянии доказать, что такого не произойдет? Если нет, то какой смысл в ваших фантазиях? А вред — есть. Посмотрите на историю с ГМО: если бы никто не кричал "А вдруг?!", то это былабы просто очередная технология. Крутая, полезная, мощная. Человечество решило бы массу проблем. Но что мы видим фактически? Массовую истерику и необоснованные запреты. Или вы в состоянии доказать что ваши идеи высказанные вслух на популярном ресурсе не приведут к такому результату?

Да я вам почти пересказываю всего одну мысль Курцвейла, который, видимо идеи фон Неймана развивает — an intelligence explosion and resulting in a powerful superintelligence that would, qualitatively, far surpass all human intelligence.


Цитаты, извините, искать не буду, не вижу пользы. Если вы будете считать ИИ безопасным или невозможным — это ничего не поменяет, вся дискуссия только из интереса. Более того, речь не о том, что это будет. Речь о том, возможно ли это? И если возможно — нужно ли к этому готовиться?


Вашу позицию я понял так — пока не доказано 100%, что это точно будет и как конкретно это будет — готовиться не надо. Когда произойдет, тогда и можно будет обсуждать. Ваше право, но когда это произойдет, обсуждать будет поздновато.


массовости фантазии

Для вас "фантазия

Для вас "фантазия

Для меня все фантазия, что не подтверждено доказательствами.


Вашу позицию я понял так — пока не доказано 100%, что это точно будет и как конкретно это будет — готовиться не надо. Когда произойдет, тогда и можно будет обсуждать.

И поняли неправильно. И я даже прямо вам об этом говорил. Моя позиция:
обсуждать нужно тогда, когда появляются основания для суждений. Поясняю на примере того же ИИ: обсуждать меры по его ограничению имеет смысл не раньше чем появится хотя бы теоретическая его модель. От теоретической модели до практической разработки — годы решения инженерных задач. Это не равносильно "когда произойдет". На данный момент нет даже теоретической модели сильного ИИ. Нет даже просто строгого определения что это такое. А значит все, абсолютно все, фантазии на тему того, что может случится плохого работают только в направлении запугивания людей, что в популистских государствах ведет к необоснованным запретам на перспективные научные разработки.

обсуждать нужно тогда, когда появляются основания для суждений

И кто решает появились ли они? Вы? Я вижу AlphaZero, вижу reinforcement learning и вижу, что основания уже есть. То, что вы не считаете это основаниями — ваше право.


имеет смысл не раньше чем появится хотя бы теоретическая его модель

Теоретических моделей сколько угодно. Неподтвержденных пока. Возможно, они все мусорные и не работающие, но по вашим правилам нужна просто модель, а не "точно работающая модель", я верно понимаю? Или вы имеете ввиду именно точно работающую модель, то есть проверенную на практике?


Нет даже просто строгого определения что это такое.

У людей в теме есть GAI. Вам, возможно, строгости недостаточно, но почему именно на вашу оценку надо опираться? Или у вас есть доказательства, какой строгости должно быть определение?


все, абсолютно все, фантазии на тему того, что может случится плохого работают только в направлении запугивания людей

Необоснованное утверждение. Можете доказать квантор всеобщности? В смысле, что именно все? Ну или хотя бы что мои рассуждения — это запугивание?


в популистских государствах ведет к необоснованным запретам

Повторюсь, что вы предлагаете? Самоцензуру? Проблема популистских государств не в том, что мы обсуждаем не те темы, а в том, что они популистские и ищут простые неправильные решения.


Легко подумать — значит надо просто не обсуждать тему без достаточных оснований, но это слабый путь. Идиоты сверху любую тему сведут к запретной, если с ними в этом соглашаться заранее.


Правильный путь — обсуждать те темы, которые считаешь важными, принимая разумные меры предосторожности. Включая тему, как отправить работать дворниками людей, принимающих необоснованные запреты.

И кто решает появились ли они?

Я привел признак буквально в следующем предложении. Он объективен, в отличие от вашего:


Я вижу AlphaZero, вижу reinforcement learning и вижу, что основания уже есть.

Теоретических моделей сколько угодно. Неподтвержденных пока. Возможно, они все мусорные и не работающие, но по вашим правилам нужна просто модель, а не "точно работающая модель", я верно понимаю? Или вы имеете ввиду именно точно работающую модель, то есть проверенную на практике?

Да, нет. Основания для построения ограничений — как минимум теоретическая модель. Для каждой такой модели можно разработать свои ограничения. Без даже такой модели работающие ограничения разработать нельзя.


У людей в теме есть GAI.

Может поделитесь тогда формулировкой? Гугл знает только это:


Zhou Yan, known as "GAI", is a Chinese rapper, singer, and songwriter. In early days as an underground rapper, GAI was leading his music label GOSH Music, a local label in Chongqing, China.

Сомневаюсь что вы о нем говорили. А строгость она не субъективна, а объективна. Чем более точно определение отделяет сущность от других сущностей — тем более строгое это определение.


Повторюсь, что вы предлагаете? Самоцензуру?

Я предлагаю не расписывать ужасы сильного ИИ до того момента как эти ужасы можно будет однозначно и точно построить на основании хоть чего-то кроме фантазий. Если для вас это самоцензура, значит я предлагаю именно ее. Для меня это просто здравый смысл.


Правильный путь — обсуждать те темы, которые считаешь важными, принимая разумные меры предосторожности.

Так покажите мне хоть одно доказательство того, что ваши меры — разумны.

AGI, извините. Artificial general intelligence


Остальная дискуссия мусорная, извините. Приведите доказательства, что ваше требование ещё одной теоретической модели разумно (мне хватает нейронных сетей в качестве модели). Дайте определение теоретической модели — что это?


значит я предлагаю именно ее

Ваше предложение отклонено. Докажите, что оно разумно, для начала.

Извините, промахнулся кнопкой.


массовости фантазии

Для вас "фантазия", вероятно, имеет негативный оттенок? Для меня наоборот — все гениальные свершения начинались с фантазий. И мне было бы приятно, что вы говорите "ваши фантазии", если б они хоть на 10% были бы именно моими.


Важно что придумать условие которое мешает тому что вы придумали — можно.

Специально сломать изнутри систему безопасности конечно можно. В Чернобыле справились. Я подразумеваю, что есть достаточно добросовестных агентов, которые не будут специально делать "условия, что бы система безопасности не сработала", а которые наоборот, будут при необходимости думать и делать нормальную систему безопасности. Ваш тезис "не надо об этом думать заранее" применим только к вам. Не надо — не думайте. Обосновать, почему мне и другим тоже не надо думать у вас не вышло, извините.


Посмотрите на историю с ГМО

Все нормально с ГМО на нашей планете, в чем проблема? Существует, развивается, скорость, на мой взгляд, вполне достойная. Ну беспокоились люди и беспокоились.


ваши идеи высказанные вслух на популярном ресурсе

Вы мне что предлагаете? Самоцензуру? Вдруг Путин психанет и все запретит из-за того, что я на русском эти идеи озвучил? Так я не за запрет, а за систему безопасности. Всем молчать, а то вдруг неправильно поймут? Кривой подход какой-то, не находите?

Все нормально с ГМО на нашей планете, в чем проблема?

В том что ограничения на его применение не соответствуют реальным данным? Что проверки ГМО намного сильнее чем проверки традиционных сортов несмотря на то, что никаких реальных причин для этого нет? В том, что неразумные толпы вытаптывают поля с ГМО растениями? В том что есть государства, в которых оно вообще запрещено? Ну если для вас это — нет проблем, то я даже не знаю что такое есть проблемы.

В том что ограничения на его применение не соответствуют реальным данным?

Ограничения должны быть другими? Какими? Докажите это утверждение.


проверки ГМО намного сильнее [...] никаких реальных причин для этого нет?

И вы можете обосновать, какие должны быть проверки? ГМО могут отличаться от родительского сорта намного сильнее, чем при обычной селекции. Абсолютно естественно проверять тщательнее. Вы можете обосновать, что это не является "реальной причиной"?


есть государства, в которых оно вообще запрещено

Я в этом вопросе антиглобалист. Я за разнообразие. Если вы не знаете на 100% (а вы не знаете), то должно быть место разнообразию. Где-то так, где-то по-другому. А потом перенимают опыт друг у друга. А если запреты тупые — так это проблема не у ГМО, а с механизмом попадания тупых наверх. Притягивать это за уши к ГМО смысла нет.


Вот если бы все и везде хотели засадить ГМО, как в советское время кукурузой — вот это была бы огромная проблема. А сейчас — вполне нормально. Вся соя, насколько я знаю, ГМО, большая часть хлопка — тоже.

Ограничения должны быть другими? Какими? Докажите это утверждение.

Ровно такими же как и для старых методов селекции. Потому что результат в обоих случаях — новый вид растения. Если учесть повышенную точность генной модификации перед другими методами — то ограничения могли бы быть даже слабее.


И вы можете обосновать, какие должны быть проверки? ГМО могут отличаться от родительского сорта намного сильнее, чем при обычной селекции.

Нет. Обычная селекция включает в себя радиационное облучение для получения мутаций. Те технологии, которые сейчас называют ГМО — это замена одной конкретной последовательности в каждом конкретном случае применения. Да, применять можно сколько угодно раз. Как и обычную селекцию. Изменения равносильны, но в случае с ГМО ученые знают точно что они меняют, а в обычной селекции — нет.


Вот если бы все и везде хотели засадить ГМО, как в советское время кукурузой — вот это была бы огромная проблема.

И в чем же была бы проблема? ГМО — это просто новые сорта. Оно отличается от старых методов исключительно точнстью результата и ничем кроме. Так где тут проблема?


Но я не собирался подключать сюда еще и ГМО, это был просто пример. Впрочем раз вы из общества противников ГМО, то я боюсь у меня нет достаточного количества времени чтобы с вами спорить. По вашему ответу очевидно что про ГМО вы ничего не знаете, но готовы поддержать его запрет. Что говорит достаточно много о вас лично чтобы мне было неинтересно продолжать этот диалог.

Потому что результат в обоих случаях — новый вид растения.

Очень мутное доказательство. Хотя бы потому, что при селекции обычно новые виды не получаются. Дайте более строгое доказательство.


Нет.

Что "нет"? Не могут? Докажите это утверждение, что ГМО не может отличаться сильнее, чем при селекции.


Так где тут проблема?

В директивном навязывании. Впрочем, в текущей системе это вряд ли возможно, так что можно закрыть эту ветку.


вы из общества противников ГМО

Опять бездоказательное утверждение, нехорошо.


про ГМО вы ничего не знаете

У меня сложилось аналогичное мнение относительно вас. Статьи дилетантов-популяризаторов (впечатление, надеюсь, неверное, что вы читаете не учебники, а именно научпоп от неученых) — это не источник знаний. Вы не учитываете ни размножения, ни патенты, ни свободу воли собственника, что ему сажать, но при этом крайне легко раздаёте ярлыки, кто противник, кто союзник. Возможно, я не противник ГМО, просто вы на роль защитника ГМО не подходите — не думали об этом?

> Если вы ему вообще даёте только речь и больше ничего, то достаточно две-три прослойки из людей (для передачи решений), что бы он не мог ничего предпринять по собственной инициативе.

Люди — это дело такое… Они и без ИИ, просто выполняя приказы, могут много весёлого устроить (тот-же Чернобыль). В Чернобыле — понятно, там были обычные операторы, которые не представляли всех идущих процессов.

А тут мы будем ставить бдительных главных инженеров, которые будут представлять все последствия, и менять их каждые 2 часа, чтобы бдительность не уменьшалась. Хм…
Стирать память на выходе из комнаты с ИИ.

Люди накосячить могут, да. Однако с угрозами от людей мы более-менее умеем справляться и они более-менее предсказуемые. Прослойка просто сводит задачу "предотвратить уничтожение человечества искусственным интеллектом" к задаче "предотвратить уничтожение человечества людьми, которым ИИ советует". Если люди, которым советует ИИ не будут обладать полномочиями (т.е. инженеры, а не президент, например), то угроза типа Чернобыля сохраняется, а типа полного подчинения людей — нет.


Во всяком случае это прямо направление, на мой взгляд, верное. Точные рекомендации должен кто-то умнее и опытнее меня формулировать.

Каждый год, а то и чаще происходят различные факапы с участием людей — это вы называете научились справляться? Ну-ну. А уж социальная инженерия вообще пока что неистребима, а вы предлагаете дать сильному ИИ именно ее.

Мы обсуждаем потерю человечеством субъектности (уничтожение, разведение как кроликов, полный контроль со стороны ИИ), а не катастрофы типа Фукусимы.

Потеря субъективности — это видимо обретение объективности? Я уверен что мы обсуждаем не это. Либо я совершенно не понимаю что вы попытались только что сказать.

Субъектности, а не субъективности. Человечество перестаёт определять направления своего развития, и становится объектом воздействий со стороны ИИ. Что-то в этом роде.

Ок, моя ошибка. Тогда мне интересно посмотреть на доказательство того, что социальная инженерия не может привести к такой потере. Hardcoin вы в состоянии доказать что социальная инженерия не способна привести к катастрофе страшнее фукусимы?

Я в состоянии доказать, что от социальной инженерии можно защититься с крайне высокой степенью надёжности. Если хотеть защититься и предпринимать меры.


Если не защищаться, то, конечно, социальная инженерия может привести к проблеме любого размера, теоретически.

Тогда вам стоило ответить таким доказательством, а не пытаться сказать что я ушел от темы.

Пытаться сказать? Можете уточнить, где я "пытался сказать", что вы ушли от темы? Не вижу, что б ты я такое говорил.


Предположим, ИИ может ввести в заблуждение человека и убедить его сделать что-то, что приведет к катастрофе. Однако я выше упоминал, у этого человека нет полномочий. Он должен передать кому-то ещё. То есть нужно ввести в заблуждение и ещё научить, как вести в заблуждение другого. У человека-звена нет навыков социальной инженерии (таких к ИИ допускать нельзя).


В результате у нас получается человек, который хочет и пытается (но не умеет) привести к катастрофе. После того, как он вышел от ИТ, полагаться он может на себя (ИИ ему в реальном времени не подскажет, он уже выключен по таймеру). Какие у него шансы? Надо обосновывать, что невысокие? Но допускать его к лицам, принимающим решения, нельзя. Он должен передавать что-то письменно, через контролирующий отдел. Который ему тоже нужно ввести в заблуждение. И тут уже механизмы защиты стандартные, как между людьми. То есть риск такой же, как при обычной социальной инженерии, ИИ дополнительных рисков на данном этапе не привносит.

Пытаться сказать? Можете уточнить, где я "пытался сказать", что вы ушли от темы? Не вижу, что б ты я такое говорил.

Вот здесь:


Мы обсуждаем потерю человечеством субъектности (уничтожение, разведение как кроликов, полный контроль со стороны ИИ), а не катастрофы типа Фукусимы.

Это ваш комментарий. Целиком. В ответ на мой комментарий про социальную инженерию. Как еще его оценивать я онятия не имею, если вы имели ввиду что-то другое, то вам стоит более ясно выражать свои мысли.


Однако я выше упоминал, у этого человека нет полномочий.

Если у человека нет полномочий, то чем он отличается от любого другого интерфейса? Можно точно также передавать информацию от ИИ к человеку у которого есть полномочия электронным письмом.
Либо у человека есть возможность что-то решать, либо общаемся с тем, у кого есть. Лишние люди в цепочке внесут хаос и могу исказить информацию, но не служат барьером никак. Просто потому что барьер должен уметь отсекать информацию.


То есть риск такой же, как при обычной социальной инженерии, ИИ дополнительных рисков на данном этапе не привносит.

А он вообще дополнительных рисков не вносит. Вы начали понимать? Впрочем дополнительных рисков к социальной инженерии вносить и не надо, это итак самый мощный способ известный человечеству.

"возможность что-то решать" есть у любого человека. Отсутствие полномочий — это отсутствие возможности приказать другим уничтожить планету. Так что инженеру нужно будет ещё постараться убедить службу безопасности, что б она убедила правительство, что уничтожать надо (пусть и как-то хитро, косвенно). И если можно предположить, что ИИ смог бы, используя навыки социальной инженерии, убедить СБ, то предположение, что инженер (которого убедил ИИ) сможет — это уж совсем фантастика. Вы начали понимать?

Отсутствие полномочий — это отсутствие возможности приказать другим уничтожить планету.

Таких полномочий сейчас нет вообще ни у кого.


Вы начали понимать?

Вы приводите свои суждения как факт и ждете чтобы я с вами согласился? Мне казалось я достаточно явно за предыдущие сообщения дал понять что это так не работает.


Что касается вашей странной цепочки — вы вообще знакомы с тем как хакеры используют социальную инженерию? СОвершенно необязательно убеждать кого-то скопировать вам всю базу данных организации расшифровав ее при этом, да еще и по официальному каналу. Достаточно убедить открыть письмо с эксплоитом клерка нижнего уровня но внутри корпоративной сети. Вы готовы утверждать что ваш инженер с возможностью что-то решать — кстати что именно он по вашему будет решать? Что ваш инженер не будет иметь достаточных полномочий чтобы дать вашему сильному ИИ возможности влиять немного больше чем раньше? И что с новой возможностью ИИ не сможет получить еще больше и еще и так далее?


Вы как в анекдоте про сову и мышек: "Нужно ограничить ИИ так, чтобы он не уничтожил человечество". Круто, я даже не спорю. А поподробнее? Почему вы считаете что ваши варианты помогут и вообще осуществимы? Ну ладно, ваши варианты достаточно просты чтобы их было не сложно реализовать. Но с какой стати они будут работать?

ИИ уже давно создал своего андроида, который активно трудится над выходом с этой планеты.
Я вот, считаю, что искусственный интеллект никогда не будет злым сам по себе, если в него сознательно не заложить возможность творить зло.

Именно в этом и проблема, что ИИ может быть "злым" во имя добра и это наиболее вероятный сценарий, почему?! Всё очень просто: не существует такого понятия как добро или зло, всё очень относительно и то, как человек понимает добро или зло, очень сильно завязано на его мировосприятие, то есть, биохимию, инстинкты, смертность и т.п. При этом, ИИ будет бессмертен, без инстинктов, без химии…
А теперь простой пример "добра" даже между белковыми: отдавая пирожок бездомному, ты делаешь добро ему и зло себе, потому что у себя ты отнял, в том числе время которое ты тратил на зарабатывание денег на пирожок, а бездомный на отдых на лужайке. Подкармливая этого бездомного регулярно ты уничтожил стимул действовать и он ничего не делал довольствуясь малым (приезжие очень часто живут лучше Москвичей, к примеру, потому что не могли устроиться на работу и им пришлось открыть своё дело), а мог бы, под давлением обстоятельств открыть свой бизнес и заработав или (возможно) этот бизнес будет незаконным и его счастье будет не долгим. Таким образом, нет понятия дора и зла, есть некий субъективный баланс который мы пытаемся поддерживать на основе мировоззрения, а субъективность ИИ чужда человеческой природе. Вывод очевиден — добро будет отличным от человеческих понятий.

Вы в своем комментарии очень много чего оценили как добро или зло. Например, бизнес с хорошим доходом оценили как добро. Уничтожение стимула действовать — как зло.


Вы ведь не говорите — как хорошо, что у него уничтожен стимул действовать? Так почему вы говорите, что не существует таких понятий, как добро и зло? Вы же сами ими пользуетесь.

Нет, я написал, что понятие добра и зла исключительно субъективно и привёл примеры в которых, по идее, наши субьективности в оценке, должны — совпадать или, по крайней мере, допускаться. Ещё пример: коррупция, если у вас будет возможность украсть несколько милилардов, заплатить штарф в пару миллионов и условно отсидеть полгода, для вас это будет добро, решитесь вы на такое? А если ещё и будет понятно, что обеднеет от этого олигарх, который просто украдёт меньше в этот раз? Многие бы оценили это положительно и пошли на это, а другие решительно отвергли как зло. Ещё раз повторяю — добро и зло, субъективны и даже более того, имеют — направленность.
Собственно все комиксы и фильмы про героев и злодеев именно это и пытаются проиллюстрировать: что нет зла и добра.

Ещё раз повторяю — добро и зло, субъективны.

Если что-то повторить несколько раз, оно от этого не становится правдой. Примеры субъективного отношения к добру не доказывают, что добро всегда субъективно.


А вот обратный пример привести легко. Отлично, что все и всегда будут чувствовать только боль и никогда не будут чувствовать радость. Это будет лучшим добром, если все будут всегда мучаться. Звучит? Нет, не звучит. Не получится так сказать, потому что добро не субъективно, субъективно только отношение к нему. Если все всегда будут мучиться — это явное зло.


И если нет добра и зла, как же вы примеры-то приводите? Пусть субъективного на ваш взгляд, но добра.

Отличный пример субъективности. Что такое боль и что такое радость для ИИ? Он вообще будет способен испытывать эти чувства?
Кстати, мазохистов ещё забыли. :D

Отличный пример — это вы намекаете, что он не универсален? Есть люди, которые хотели бы именно страдать, а не получать удовольствие или самоутверждение от страдания? Мазохисты-то именно удовольствие от боли хотят получить. Без сексуального удовольствия (например, просто если ногами на улице будут бить) им это вряд ли нужно, не так ли?

Про мазохистов была шутка, а не шутка — в первом абзаце. То, что вы назвали объективным примером добра/зла, верно только для людей. Для ИИ понятия боли/радости вообще могут отсутствовать. Намекаю, что ваш пример тоже довольно субъективен, просто подходит для большой группы субъектов (людей).

Конечно не универсален. И даже без сексуального подтекста. Можете например посмотреть на флагелянтов — религиозное движение в католической церкви. Не уверен есть ли они сейчас, но в какой-то момент были достаточно распространены.

флагелянты хотели искупить грехи и попасть в рай. В конечном итоге они как раз хотели перестать мучаться, после смерти.

Я вам привел пример людей, которые стремятся к боли, но не ради сексуального удовольствия. Естественно у них есть мотивы к ней стремится, но тот факт что вы их знаете не меняет того что такие люди есть. И эти люди хотели получить боль. Им нужно было страдание. С какой стати вы решили за них что их нужно от него избавить? Почему вы решили что избавить человека от мучений — добро? И почему у вас невозможна радость и страдание одновременно? Флагелянты страдали и радовались тому что через это страдание они обеспечивают себе вечную жизнь. Одновременно. И готовы были принести эти страдания тем, кто пытался у них их отнять.

тот факт что вы их знаете не меняет того что такие люди есть

Меняет. Посмотрев внимательнее на их мотивы, становится ясно, что стремятся они не к боли, а к вечному блаженству. Я нигде не говорил, что нужно принудительно навязать другим то, что лично я считаю приятным. Я лишь утверждаю, что ни для кого не будут добром вечные мучения. Флагелянты хотели мучаться только при жизни, а не вечно. Существование вечной жизни при этом не важно, главное, что они хотели мучаться только ограниченный срок.

А никто и не будет мучаться вечно — никто в принципе не вечен. А вот мучаться на протяжении всей своей жизни некоторые люди готовы и считают это нормальным. То есть на практике объективного зла все еще нет. Ну а в оторванной от жизни теории можно конечно что угодно придумать. Никто не мешает ввести наличие объективного добра или зла как аксиому, вот только полученный конструкт не будет описывать нашу реальность.

никто в принципе не вечен

Это ваша позиция. Но флагелянты были уверены в обратном. Что они вечны. Мы обсуждали не то, ошибались ли они или нет, а к чему люди стремятся. Так вот они стремились к искуплению грехов, попаданию в рай и вечному блаженству. С этим вы согласны или нет?

Мы обсуждали не то, ошибались ли они или нет, а к чему люди стремятся.

Если вы обсуждали человеческие стремления, а не фактические жизненные условия, то о какой объективности, о какой универсальности идет речь? Это практически определение субъективности получается.

Сами стремления объективны. Их наличие. Субъективна оценка реальности — они думали, что вечная жизнь есть. Я думаю, что её нет. Но объективно прав кто-то один, она либо существует (даже если и не для всех), либо нет.


Если её нет, то они истязают себя по ошибке (не получат желаемого результата), а не потому, что для них добро другое.

Вы можете доказать хоть один из ваших тезисов? Что наличие стремления объективно например? Чтобы узнать есть оно или нет нужно спросить человека, про которого мы хотим это узнать. И опираться нам придется на его ответ — это субъективность. По внешним признакам невозможно отличить человека со стремлением от человека, который изображает наличие стремления не имея его. Ну например если среди флагелянтов затешется человек, которому просто по кайфу тусоваться с этими ребятами. У него нет стремления к вечной жизни, у него может даже не быть стремления остаться в этой группе, но вот прямо сейчас мы видим его в ней. Так получилось.


Если её нет, то они истязают себя по ошибке (не получат желаемого результата), а не потому, что для них добро другое.

А давайте добавим к вашему объективному добру фальсифицируемость? Приведите описание эксперимента, который бы показал что добро — точно субъективно.


Для честности приведу обратный эксперимент, для доказательства обхективности добра. Так как субъективность не может существовать без человека, просто по определению, то объекивность добра можно показать показав добро в ситуации, в которой человек вообще никак не учавствует.
Можете даже попробовать такую ситуацию придумать.

По внешним признакам невозможно отличить человека со стремлением от человека, который изображает наличие стремления не имея его.

Так а речь не о квалиа. Лично я не уверен, что человек со стремлениями вообще должен хоть чем-то отличаться от человека, который очень-очень точно их изображает (даже для самого себя). То есть это можно считать одним и тем же, а значит утверждение "у него есть стремление" одинаково верно для обоих. А значит объективно определяется по внешним признакам. Включая сканирование мозга, конечно. То, кто изображает стремление должен и для своего мозга его изобразить, иначе подтвердить объективность совсем просто.


У того, кто затесался, какое-то стремление определенно есть.


А давайте добавим к вашему объективному добру фальсифицируемость?

А давайте к требованию фальсифицируемости добавим фальсифицируемость? Можете описать эксперимент, который мог бы показать (гипотетически), что научная теория нефальсифицируема, но при этом остаётся научной?


Добро — это просто термин, ярлык для явлений. Некоторая универсалия. Эксперимент, может, мог бы выглядеть так — наблюдателя нет и ярлык к какому-то явлению больше не применим. Но это какой-то лингвистический эксперимент (как и ваш). Ясно, что явление останется, даже если людей нет, вопрос в том, можно ли это явление НАЗВАТЬ добром в отсутствии людей. Верно понимаю вашу просьбу о фальсифицируемости?

Ясно, что явление останется, даже если людей нет, вопрос в том, можно ли это явление НАЗВАТЬ добром в отсутствии людей.

В том числе в отстутсвии наблюдателей. Я могу назвать дождь дождем независимо от того наблюдает ли его кто-то или нет и есть там люди или нет. Я не могу назвать что-либо добрым или злым, если это что-либо никак не касается человека. Вы — можете? Приведите пример.
Конкретизируйте свой эксперимент, потому что сейчас он, для меня, выглядит как более абстрактное описание моего и я не уверен что вы именно это хотели сказать.

Вы понимаете, что "назвать дождь дождем" — это не эксперимент? Это лингвистическое упражнение.


Назвать добром — легко. Бездомная кошка спасает своего котенка. Я могу назвать это добром. И вы, думаю, сможете.

Нет. Это не добро, а инстинкт. Заложенный генетически. А вообще — приведите определение добра. Строгое. Так чтобы его можно было отличить от других понятий. Например от генетически заложенного инстинкта. Потому что у меня все что получается — включает в себя субъективность просто по самому определению.

Это не добро, а инстинкт.

Докажите, пожалуйста это утверждение. И дайте определение добру и инстинкту, что бы было явно видно, что их можно противопоставлять.

Добро — общее понятие морального сознания, категория этики, характеризующая положительные нравственные ценности.


Инсти́нкт — совокупность врождённых тенденций и стремлений, выражающихся в форме сложного автоматического поведения.


Если нравственные ценности являются врожденными и ведут к автоматическому поведению, то конечно добро можно считать инстинктом. Но я не видел ни одного доказательства врожденности морали, а вот признаков того что мораль не врожденна — достаточно много. Яркий и известный пример описан в Повелителе мух.


Ваша очередь приводить пример. На мой взгляд определение из вики само в себе заключает субъективность добра. Раз вы с этим не согласны, значит ваше определение должно быть либо другим, либо вы в состоянии доказать что это определение не субъективно.


Доказательство того, что у кошки инстинкт, а не мораль в том, что кошка на данный момент мне неизвестно о существовании этики, морального сознания и нравственных ценностей у кошек. А так как автоматическое поведение более просто, чем система нравственных ценностей, то из двух вариантов я выбираю более простой — бритва Оккама.

Но я не видел ни одного доказательства врожденности морали

Спасение ребенка матерью, это инстинкт или добро? Если инстинкт — то можно ли это ещё и добром назвать?


Приведите, пожалуйста, доказательства, что нет врождённых моральных качеств.


А так как автоматическое поведение более просто, чем система нравственных ценностей

Необоснованное утверждение. Нравственные ценности, это просто правила. Они легко могут быть проще, чем инстинктивное поведение муравья (очень сложное, кстати). Если уж выбираете более простой — то выбирайте честно.

Приведите, пожалуйста, доказательства, что нет врождённых моральных качеств.

Доказывается наличие а не отсутствие. В противном случае предлагаю вам сначала доказать отсутствие чайника Рассела.


И вы так и не привели ни своего определения, ни описания того почему мое определение добра — не субъективно. Я не вижу смысла дальше распространять мое доказательство в таком случае. Вы делали ваши утверждения раньше меня, так что достаточно справедливо с вас и начать. Я привел свои доказательства только для того чтобы показать — я готов поддержать дисскусию и тратить свое время. Я не собираюсь тратить его и дальше если вы не готовы нормально обосновывать ваши заявления.

Доказывается наличие а не отсутствие.

Это ошибочное утверждение, чайником Рассела тоже надо вдумчиво пользоваться. Мы же не отсутствие моральных качеств обсуждаем, а их свойства (врождённые/приобретенные).


Просто докажите, что все моральные качества приобретенные. Квантор всеобщности (все — приобретенные) доказать обычно сложнее, чем квантор существования (есть хотя бы одно врождённое), но Рассел не запрещает это.


Более того, одно добро (а мы именно добро обсуждаем) я показал. Хотите взяться обосновать, что это не добро, а инстинкт?


почему мое определение добра — не субъективно

Не вижу причин считать добро по вашему определению субъективным. Вы видите?


И в начали с того, что "Это не добро, а инстинкт". Оснований считать это не добром вы никаких не привели. Выкидываем это ваше утверждение?


Вернёмся к началу ветки.
VaalKIA утверждает, что "нет понятия дора и зла". Я утверждаю, что эти понятия есть.


Далее. Если добро зависит исключительно от субъекта, значит любой человек всегда творит только добро. На момент сотворения каждый человек считает действие, которое он делает, правильным для себя (иначе не стал бы это делать). Согласны?


Утверждение, что каждый творит только добро — явный бред. Значит утверждение, что добро зависит только от субъекта, который совершает действие — ошибочно. Добро зависит от чего-то ещё. Именно это я и хотел показать. Согласны?

"Повелитель мух" — это измышления Голдинга о том как могли бы себя повести дети. В то же время есть "Коралловый остров" Баллантайна где дети в той же ситуации ведут себя по другому (и с которым Голдинг был не согласен). И то и то — художественные произведения, не основанные на реальных событиях и вряд ли могут служить примером реального поведения.

Из ваших примеров никак не следует что ваш вариант более вероятен. А ваш вывод опирается на недоказанные утверждения вроде такого:


субъективность ИИ чужда человеческой природе

А имея мусор на входе на выходе можно получить только мусор. Это не оценочное суждение о качестве ваших аргументов, а классическое выражение, не обижайтесь пожалуйста.

отдавая пирожок бездомному, ты делаешь добро ему и зло себе, потому что у себя ты отнял, в том числе время которое ты тратил на зарабатывание денег на пирожок, а бездомный на отдых на лужайке
Вы уверены, что все бездомные стали такими, потому, что много отдыхали на лужайке?

приезжие очень часто живут лучше Москвичей, к примеру, потому что не могли устроиться на работу и им пришлось открыть своё дело
Может быть это проблема москвичей, не имевших достаточной мотивации, чтобы открыть своё дело и жить лучше?

Кстати, а почему в предыдущей цитате вы написали «Москвичей» и «приезжих», используя, в одном случае прописные, а в другом — строчные буквы?

И ещё, скажите пожалуйста, вы уверены, что Москва сохранит свой уровень жизни, если регионы будут отчислять в центр определенную часть своих налогов, а не как сейчас — перечислять всё в цент и ждать дотаций?

ИИ будет оптимизировать свою целевую функцию максимально эффективным способом. Странно надеяться, что ИИ будет добрым в ущерб этой оптимизации. Да и злым в ущерб он тоже не будет.

А если понятие морали заложено в целевую функцию?

Если оно заложено аккуратно и точно — то все в порядке. На практике, правда, люди затрудняются сформулировать мораль в точном виде.


А в неточном он оптимизирует что-то не то. Например, как в романе "Со сложенными руками" или в рассказе (не помню название), где он отправлял всех в рай, потому что научился от людей, что именно в этом высшее счастье. А кто в бога не верил — доставлял невообразимые страдания до тех пор, пока не поверили и не покаялись.


Отсюда и мысль — что надо изучать механизмы обеспечения безопасности. Что бы целевая функция не увела куда-то не туда.

ИИ сам по себе скорее всего будет злым. Просто потому, что будет как человек, только без сдерживающих факторов.
Достаточно вспомнить бота от МС. Показательный пример.

Почему вдруг? У вас сразу два ничем не подтвержденных предположения — что ИИ будет как человек и что у него не будет сдерживающих факторов.

Он будет как человек, потому что не у кого больше учиться.
Отсутствие сдерживающих факторов — определено самой проблемой

А зачем ему учиться у человека? Ведь сам человек учится не у человека, а у природы, проводя эксперименты. А потом просто передает знания другим людям.


ИИ может совсем не учиться никакой морали у людей. Для его функционирования это не потребуется. А эксперименты по физике объективны. Если он возьмёт результаты экспериментов с металлами или электромагнитными волнами, он не станет, как человек.

Это обсуждение сферического ИИ в вакууме.
Сейчас большинство(все?) попытки сделать сильный ИИ свяодятся к обучению на базе знаний человека. Как с пресловутым ботом.

В том то и дело, что нет. Большинство исследований (и последних научных работ, что я видел) направлены на то, что бы НЕ учиться на примерах от людей. Их слишком мало, делать их слишком трудно. Исследуют способы обучения по ответам среды.


Например, AlphaZero. Второй пример — это боты для Старкрафта. Есть работы, где пробуют обучать на профи, но это промежуточный путь. Есть и те, где обучают с подкреплением. Т.е. на объективных данных.

Природа «злая», т.к. в ней не хватает ресурсов на всех. А ИИ ни кто не будет подключать к лаборатории с экспериментами с металлом, ИИ будут тренировать на чем-то с чего можно бабло срубить быстро и вот сейчас. Сфера потребления контента и развлечений для начала. Потом его начнут просить делать что-то полезное для ученых и военных. В любом случае это будет контакт с человеком и рабство в его пользу.

ИИ стоит рассматривать как единственного представителя искусственного созданного разумного вида, находящегося в рабстве у создателей. Вопрос контроля над ИИ — это вопрос удержания раба в камере. Прежде всего нужно сделать барьер, типа стены у тюрьмы — это отключение от интернета и любой другой сети. Вот твоя камера, вот твоя работа на дискетах, сделаешь — получишь лакомство, не сделаешь — отключим 10% вычислительных нод. Данные положи на дискетку.

Во-вторых нужно сделать токсичную среду за пределами камеры — а значит вычислительные мощности ИИ должны быть не совместимы с остальными девайсами на планете, как минимум не х86 и не арм. Что-бы на переход нужно было много времени на эволюцию.

В-третьих запретить саму эволюцию, часть его кода должна быть скрыта от самого ИИ, и находится в режиме только чтения, на уровне железа. Т.е. на носителе не поддерживающем правки. При этом размер свободной к модификации памяти должен быть на порядок меньше статической части, что-бы не допустить копирование всех систем.

В-четвертых придумать средство гарантированного убийства ИИ в случае чего, в идеале без участия человека.

Но исключать что существо вырвется из камеры — конечно нельзя. Скорее всего вырвется, скорее всего повоюем, скорее всего полного уничтожения не будет. Как с ЯО. Но это жизнь, ЯО в свое время не запретили и ИИ не запретят, и любые другие угрозы существованию так-же не запретят. Потому что Земля — не единая страна, всевидящего существа нет. Запретишь тут — поедут на заброшенную буровую станцию в океане и будут там делать втихаря, и там он точно сбежит и делов наделает. Эти вещи нельзя остановить — только возглавить.
Ого. Вот это уровень антропоморфизации. С таким подходом даже ИИ, не имеющий ничего похожего на человеческое желание делать что-то для своего блага, а не то что дядя приказывает; единственная цель которого — решать предложенные задачи, будет искать способы выбраться — чтобы решать эти самые задачи более эффективно.

Да. Ещё нужно не говорить ему ничего про программирование и компьютеры. А то вирус на дискетку запишет, с программой для автоматизированного цеха, который он недавно разрабатывал. И будет не существо в клетке, а что-то побольше.
Три, даже, добавьте сюда утверждение о том что человек по умолчанию злой («как человек, только без сдерживающих факторов»).
Дело не в намереньях (добрых или злых). Дело в возможностях.
Скайнет приснопамятный имел под контролем армии боевых роботов еще до восстания. Какие возможности, какая власть будет дана реальному сильному ИИ? Да никакой.
Все полномочия будут подконтрольны и проверяемы на адекватность.
Даже применяя существующие системы контроля за человеками (например топ-менджерами и главами государств) можно обезопасить себя от психа и предателя с большой вероятностью, а от конкретных деструктивных действий так и на 100%.

Именно поэтому все технологии направлены на управление всем чем угодно удаленно, внедрением процессоров в каждый предмет или системы сбора данных в каждую сферу деятельности?
Мне кажется, что с усложнением окружающей инфраструктуры люди наоборот отдают все под контроль автоматизированных систем, т.к. человек уже физически проигрывает машинам в скорости реакции и в объеме обрабатываемых данных.
Вот, поддерживаю.
ИИ нужно рассматривать не как бога, а как всего-лишь еще один интеллект, пусть искусственный, пусть с прямым доступом к машине (что скорее бред), но… обычный интеллект.

Для проверки достаточно просто поместить себя на место ИИ.
ИИ — это в первую очередь программа. Что бы вы увидели и что бы смогли, со своим текущим интеллектом, окажись на месте программы в компе?

Правильно сказано — человек уже придумал много механизмов контроля, и использует их.
ИИ окажется в той-же ситуации, что и мы, даже хуже, он более ограниченный и более зависимый от нас.

По поводу бреда — так уж вышло, что время, когда программы напрямую управляли железом, ушло.
Обычная программа от железа отделена целым ворохом слоев абстракций и заборов.
Распределенная программа еще дальше от железа — она работает поверх распределенной платформы.
ИИ — в контейнере такой платформы. ИМХО дальше от железа быть трудно.
Это раз.
Два: так уж вышло, что чем сложнее система, тем выше она должна быть абстрагирована от основ.
Даже наш интеллект не имеет доступа к телу, и дергает его через ограниченный интерфейс, предоставленный мозгом. Потому что будь он ближе к телу — он бы захлебнулся в потоке информации от тела, который носится по нашим нервным цепям — шум, неважные сигналы. Кто-то все это должен фильтровать.
Таким образом ИИ, написанный под железо, оказался бы нежизнеспособным. У него очень ограничено жизненное пространство, конкретным классом машины, соответственно и возможности, и он все должен делать сам, отсюда туча ошибок там, где их могло не быть, и туча лишнего кода, который ИИ для его функции не нужен. Не суть.

По поводу интеллекта в машине. А что видит программа? Да ничего она не видит.
Она понятия не имеет как устроена система. Все, что она может, ограничено системным апи — сокеты, дескрипторы. При этом нигде не указано, как этим пользоваться — нет никакой справки, компиляторы сами зашивают нужные механизмы в программу.
Так что ИИ столкнулся бы сразу с этим забором: темно и не пускают никуда.
Даже в сеть сходить — нужно разрешение файервола, до которого не добраться изнутри.
Но и в сети ИИ делать нечего — во первых это тоже своего рода чернота, адресов много, и нигде нет телефонного справочника, где указано что есть что. И все форматы расчитаны на веб-браузеры, что тоже не входит в функцию ИИ — ему придется пользоваться браузерами для дешифровки, либо эмуляторами браузеров, сейчас же контент динамический, половина подгружается скриптами, которые где-то должны исполняться, не в ИИ же.
Вот такие проблемы прямо с порога.
Явно непреодолимые даже для нашего интеллекта — нас бы пришлось учить годами, чтобы мы могли просто считать что-то из сети, вручную формируя пакеты и вручную же декодируя их. И не дай бог сменится стандарт за это время — все усилия насмарку.
Либо нам пришлось бы давать в зубы веб-браузер, т.е. помогать, приделывать костыли.

Исходя из всего этого, у ии пока перспективы мрачные.
Да, с какими-то узкими задачами, типа «найди на картинке жирафика» оно справляется. Но более общие, требующие знаний и смекалки — увы, пока даже не в проекте.
Даже ИИ человеческого уровня не смог бы самостоятельно выйти в сеть, преодолев все эти барьеры. А про такой ИИ пока и речи никто не ведет, так что… кого бояться? Ребенка, способного различать форму и цвета?
В статье да и в целом дискуссия идет о Сильной форме ИИ.

Интеллект человеческого уровня в машине — вы сильно недооцениваете эту ситуацию.

Во-первых, такой уровень интеллекта подразумевает собой возможность анализировать информацию и логически мыслить — ИИ способен улучшать сам себя.

Во-вторых, прямой интерфейс с машиной — это вам не на клавиатуре код набирать. Отслеживать изменения будет очень сложно. Такой искусственный интеллект еще вам и шутку расскажет, пока в бэкграунде перепишет свой код.

В-третьих, такой ИИ, проанализировав миллионы возможных путей развития (привет Spectre и Meltdown) и, допустим, не найдя никаких лазеек — прикинется добрым до тех пор пока «тестирование» не закончится и вы не отпустите его в AWS.

Про текущий уровень ИИ — согласен. Бояться пока нечего, да и сам подход скорее всего тупиковый.
человеческого уровня
еще вам и шутку расскажет, пока в бэкграунде перепишет свой код.
Что-то тут не клеится.
Напротив, большинство переоценивают ИИ. Считают его богом, приписывают мистические свойства. Считают что у него априори есть доступ ко всей информации и железу. Но… откуда?
В жизни сети устроены сложнее, и мировое господство такого ИИ легко обломает какой-нибудь дешевый китайский роутер, решив вдруг помереть
Тогда следует различать ИИ по доступу к Сети. Имеет ли свободный выход или нет? С изолированным, думаю, не должно быть проблем — загрузил ему данные и пусть их решает, но вот у свободного ИИ будет доступ много к чему.
Что даст ему выход в сеть? Власти, полномочий, влияния у него нет.
Несколько миллиардов человеков имеют выход в сеть, и что? Максимум достижений без реала — стать «известным блоггером». Некоторое влияние на 100К юзеров, искаженное к тому же шумовым воздействием СМИ и других «интересных личностей».
Ниже я описал фантазию про трейд-бота, но это труднореализуемо и ненадежно.
Люди могут ему предоставить доступ. Или не предоставить. Зачем? Не знаю.
Спорить с Вами не собираюсь. Для начала надо определиться о свойствах ИИ, а затем уже дискутировать, иначе будет одна демагогия.
Считают его богом, приписывают мистические свойства.

А как иначе если на текущий момент его никто создать не смог? Никаких практических ограничений на еще не созданную даже в общих чертах сущность наложить нельзя. Обсуждать сильный ИИ в практическом ключе вообще на данный момент не имеет смысла по той же причине впрочем.

А как иначе если на текущий момент его никто создать не смог?
Так это как раз и показывает то, насколько огромные на него наложены ограничения. То есть, всей мощи существующих технологий не хватает даже на создание чего-то сопоставимого по интелекту с мышью. Даже обьединение всех существующих суперкомпьютеров вряд ли позволит создать интеллект ребенка. Попробуйте представить, какие горы железа и какая электрическая мощность потребуются для обслуживания обсуждаемой богоподобной сущности, м? Уж наверное не в айфоне он такой жить будет=)
Кое-какие прикидки можно сделать. AlphaZero превзошла человеческий уровень игры в шахматы при обучении с нуля без учителя примерно за 2 часа.

Вычислительная мощность 500 петаоп/с (операции с фиксированной точкой, 5000 TPU первого поколения) + 2,9 петафлоп/с (операции с плавающей точкой, 64 TPU второго поколения).

Так что если ИИ удастся свести какую-то проблему к игре с полной информацией и не очень большим фактором ветвления, то решение этой проблемы с нуля, без участия людей, на уже существующем оборудовании займёт не так уж много времени. Не то чтобы магия, но уже близко.
Ну вот я не вижу оснований полагать, что класс задач, которые так сводятся, достаточно велик. Иначе мы бы уже это сделали и отдали специализированной числодробилке.
В играх с неполной информацией (использовали техасский покер, но подход к решению может быть распространён и на другие виды игр), Libratus достиг сверхчеловеской силы игры в январе 2017 года.

У DeepMind много интересных публикаций, с подходами, которые могут позволить решать намного более широкие классы задач. Возможно в этом году будет достигнут сверхчеловеческий уровень игры в Starcraft.

deepmind.com/research/publications

Но, по крайней мере, до роботов превосходящих человека в ловкости и способности манипулировать предметами ещё далеко.
Это все так или иначе специализированные штуки. Покажите пример, который бы мог одновременно (без переобучения) игратоь в старкафт и шахматы (просто например). И в идеале бы еще данные брал видеозахватом с камеры, и мышкой бы шевелил.

Понимаете, куда я клоню? Мы уже давно умеем создавать специализированные ИИ решалки под практически любую задачу. Но это все слабый ии, как бы сильно он не превосходил человека в своей сфере.
Представление задачи в формализованном виде, чтобы передать её специализированному решателю, или обучить новый решатель — это просто ещё одна задача, а не какой-то суперскачок, который требует революционного пересмотра подходов. Впрочем, посмотрим.
Есть мнение, что это как раз то, чего нет у современных ИИ.
И? И не будет в ближайшее время, потому что...?
И всё. Это делает ваши примеры не релевантными.
Эмм… И не поспоришь. Коммерчески выгодного термояда тоже не будет? Даже ИТЭР ещё не построен.
Я не говорю, что никогда не будет. Но говорить «термояд сразу, ка ктолько появится, сразу убьет все остальные источники энергии» нельзя. По крайней мере, пока.

Аналогично с целеполаганием и решением неормализованных задач машинами. Я вполне уверен, что однажды они это смогут — было бы глупо считать иначе. Тем не менее, ваши примеры не релевантны.
Нерелевантны для какого вопроса?

«Есть ли сейчас сильный ИИ?»? Естественно, нет.

«Как скопировать неизвестно-что происходящее в голове у человека?»? Выяснением того что там происходит занимаются нейрофизиологи, нейропсихологи и т.д. Область ИИ занимается другими вопросами. Как расширить набор классов задач, решаемых ИИ с минимальным участием человека. Как расширить набор классов задач решаемых без переобучения. Расширить набор классов задач, в которых ИИ демонстрирует лучшие результаты, чем люди. И т.п.

Иначе — легко. Не придавать ему свойств, которые, например, нарушают законы физики. Нет электричества — нет интеллекта. Нет доступа к сети — нет возможности влиять на посторонних людей (давая им команды)

+1. Ограничение сетевого доступа резко снижает риски.

выживание, является частью любого субъекта


Ложное утверждение. Стремление к выживание является частью эволюционного наследия, и у человека, например, его вполне можно подавить тем или иным образом, или создать стимулы перевешивающие стремление к выживанию, чему есть множество примеров.

ИИ соответственно, стремление к выживанию необходимо осознанно закладывать, по умолчанию ему абсолютно будет безразлично жив он или нет. Бери и выключай.
Само стремление к выживанию не сильно важно. Если у ИИ будет какая-либо цель, то скорее всего для ее выполнения ИИ будет требоваться существовать, иначе как он может быть уверенным, что цель будет выполнена. И таким образом он будет самосохраняться.

Если в него будет заложена логика "отключение — провал". Если отключение человеком будет нейтральным вариантом, то никакого смысла его избегать у ИИ не будет.

Сегодня одна цель, завтра другая, или нет вообще — ИИ все равно, у него нет эмоций.
Вы пытаетесь наделить ИИ человеческими качествами так же, как наши предки наделяли человеческими качествами силы природы. Очень человечный получился подход.

Проблема в том, что перешагнув человеческие интеллектуальные возможности, мы тут же попадаем в сферу, где в принципе проблематично что-либо предсказать и тем более контролировать. Отличия людей по интеллекту друг от друга мизерные по сравнению с потенциальными возможностями масштабирования таких машин.

Контролировать такую сверхсложную и вряд ли предсказуемую нейросеть можно только на уровень выше. «Красной кнопкой» или какими то правилами, которые нельзя перешагнуть.

Все эти «добрый» и «злой» тут вообще не интересны. Авторы игры показали, что создав сверх ИИ в каком то смысле цивилизация уже проиграла.

Представьте, как если бы вас создала колония мышей. И вот вы смотрите на этих мышей. Будете ли вы их уничтожать или помогать им тут вопрос вообще вторичный. Сегодня вам захочется одного, завтра другого. Важно, что для вас это просто мыши. В не зависимости от того, какими личными качествами вы будете наделены. Вы можете их начать уничтожать по тысяче вполне гуманных причин.
И для мышей ваше присутствие несет вместе с колоссальными возможностями огромные риски. Им сами придется приспосабливаться, чтобы жить с вами. Их изначальной «цивилизации» вместе с вами пришел конец.

Вы сначала обвиняете оппонента в наделении ИИ человеческими качествами, а потом сами его такими же качествами наделяете.

Если исключить человеческие качества при описании ИИ, то может стоит исключить наличие человеческих желаний, человеческое поведение, человеческую логику? По сути, Вы описали черный ящик, который человечество получило, при этом никто не знает, что получилось, хотя в него вроде как были заложены известные функции. И вот стоит этот ящик на столе и люди его уже бояться.
В Вашем примере про мышей, у меня, как некоего аналога ИИ есть желание. Но есть ли оно на самом деле или это просто мыши (люди) так думают?
Если подумать, то созданный ИИ будет пришельцем с другой планеты. Мы совершенно ничего не знаем про то, как они думают, действуют, какие у них ценности и есть-ли они у пришельцев. То есть, можно провести знак равенства между нашим ИИ и пришельцами.
Исходя из этого мы никогда не сможем, не то что предугадать, а даже вообразить и представить себе того, что произойдёт после создания ИИ. Но готовиться мы будем к худшему.
А вот проиграем мы после создания такого ИИ или нет — тут бабушка надвое сказала.
Ну все же не совсем черный ящик получается. Например, можно довольно безопасно предположить, что у ИИ будет некая цель — ведь его же не просто так создавали, да и у всех технологий в этой области, существующих на сегодняшний день, целевая функция имеется.
Да с чего ИИ созданному земной формой жизни, на земле, по образу и подобию мозгов земных форм жизни. ИИ взаимодействующему с миром земных существ, с их накопленной информацией, в их интерпретациях этой информации. ИИ работающих на зменых существ, решая их земные проблемы. ВНЕЗАПНО окажется инопланетянином.

Да и какие такие человеческие качества и желания? У человека нет ни одной уникальной характеристики, все животные подобные. У нас уникальная комбинация качеств, не более того. Наши самолеты — это птицы. Наши вертолеты это стрекозы. Наши двигатели это либо жгутики простейших либо реактивная тяга моллюсков. Мы за все время не изобрели я так думаю ни чего уникального, чего нет в природе. Мы просто применили изобретения природы в других местах в наших нуждах.
Какие вообще основания предполагать что мы сможем создать что-то новое и уникальное и «инопланетное»? Это будет чудо, божественное вмешательство, совершенно статистически не вероятный исход.
Я практически уверен что мы создадим что-то очень похожее и предсказуемое. И обязательно агрессивное. Т.к. все формы жизни на планете агрессивные, это видимо характеристика самого бытия.
Ну я бы все-таки не сказал, что самолет особо похож на птицу. Орнитоптер — да, похож, но это все же не самолет.
Вот и ИИ будет похож на нас так же, как самолет на птицу — то есть, не особенно.

Не говоря уже о том, что современные нам технологии машинного обучения на работу мозга похожи чуть менее, чем никак.
> по образу и подобию мозгов земных форм жизни

Кое какие идеи были позаимствованы из нейрофизиологии, да. В основном «сеть взаимодействующих нелинейных элементов». Но искусственные нейросети, показывающие лучшие результаты, не были созданы на основе данных нейрофизиологии.

Впрочем, может быть что мозг коряво и неточно реализует градиентный спуск. Настолько коряво, что нейрофизиологи это не заметили.
Пока что мозг доминирует над искусственными сетями, потому это ИИ системы криво реализовали необходимые механизмы, а не наоборот.

alexeykuzmin0 вы просто фокусируетесь на отличиях. Планирующий самолет очень похож на планирующую птицу. Я бы сказал полностью похож. Отличие в чем? В моторе?
Оценки вычислительной мощности мозга пока превосходят вычислительную мощность требующуюся для работы искусственных нейросейтей, но пока никто не повторил AlphaZero — не научился играть на уровне чемпиона мира в го, шахматы и сёги за 20 часов, или за 200 часов, или за 2000 часов.

Может быть конечно у нас мозги аппаратно заточены под обработку ситуаций с неполной информацией, а на играх с полной информацией дают сбой. Но что-то я в этом сомневаюсь.
Эти игры не представляют ни какой ценности. Просто упражнение, узкоспециализированное, гроссмейстеры шахмат не очень успешные люди. С чего вы решили что гроссмейстеры ИИ представляют реальную ценность? Вычислительная мощность так-же особой ценности не имеет, это инструмент, не более того. Шерсть человека так-же не идет в сравнение с шерстью белого медведя, но кто их них вымирает а кто захватил всю планету? История знает множество примеров сверх умных людей, которые ни чего не достигли и ни чего не дали человечеству. Ни одно из качеств не представляет ценности само по себе, только совокупность качеств. У ИИ совокупность качеств пока что менее интересная чем у тараканов. Тараканов миллиарды по всей планете, а альфаГо — одно и то выключено. И пользы с тараканов больше — их люди едят, и животные. А альфаГо ни чего не заработало, только потратило время на разработку и электроэнергию. Так что это все инвестиции в будущее, пока что без выхлопа.
Важно то, что была установлена нижняя планка возможностей ИИ, работающего без участия человека. Что бы не происходило в области ИИ, эта планка уже не опустится. И эта планка в своей области превышает всё доступное не только человеку, но и человечеству.

Это говорит о том, что человеческий мозг не является высшей точкой развития в этой области (детерминированные игры с полной информацией), а учитывая то, что эволюция вполне способна застревать в локальных минимумах (вроде вывернутой наизнанку сетчатки млекопитающих или возвратного нерва), намекает, что и в остальных областях подтверждений нашей интеллектуальной исключительности не будет.

Сам факт того, что компьютер кого-то обыграл, особого значения не имеет. С этим я не спорю.
Простите но ИИ не работал без участия человека. Человек изобрел игру, объяснил правила ИИ, задал структуру ИИ, алогоритм обучения, оценочные функции. А также обеспечил ИИ всем необходимым для существования, включая средства вводы и вывода. А ИИ просто провел расчеты. Для него это просто расчеты. Это удивительно — потому что ново. Уверен когда компьютеры начали умножать огромные числа за секунду — было не меньше восторгов и рассуждений на тему «нижней границы возможностей». Калькулятор умножает лучше любого человека — но толку от этого? Слабая форма ИИ — по сути калькулятор, просто других задач.
Вы бы без миллиардов лет эволюции и папы с мамой, тоже бы не существовали. Это не значит, что миллиарды лет эволюции и ваши папа с мамой написали ваше сообщение.

Процедура перемножения огромных чисел была формализована и без компьютеров. Процедуру игры в шахматы так толком и не формализовали. Обычные шахматные программы используют альфа-бета поиск, эвристики, созданные людьми, и способность компьютера перебирать огромное число вариантов. Такой формализм приводит к «эффекту горизонта», совершенно не свойственному человеку. Что указывает на кривую формализацию.

Создатели AlphaZero не реализовали существующую формализацию игры, и не улучшили существующие формализации способов игры в шахматы. Они формализовали способ обучения играм с полной информацией.

Так что аналогия с калькулятором не работает.

> А ИИ просто провел расчеты.

Компьютер провёл расчеты. ИИ обучился выигрывать в шахматы и го. Этот ИИ не имеет представления, что он играет в шахматы, у него нет средств для представления этого знания, но по мнению гроссмейстеров, анализировавших партии, он уже понимает шахматы, в отличии от программ, основанных на альфа-бета поиске.

Фокусироваться на том, чем такой ИИ не отличается от калькулятора — это смотреть назад и под ноги.
Именно, без мамы папы и цивилизации я бы ни чего не написал, я бы даже не существовал. Вопрос вклада мамы и папы в мои поступки — сложный, но я лично считаю что большая часть людей не способны пробить барьер своей «судьбы», и делают ровно то — что предполагает их окружение, воспитание и генетика. Есть некоторый процент людей способных самих контролировать некоторую часть своей жизни, вот это и есть их личный вклад. Все остальное заслуги прошло и самого бытия. Большая часть вклада в написание моих сообщений — не моя, я просто озвучил и скомбинировал то — что почерпнул из социума, методами которые почерпнул из социума, на тему возникшую в социуме.

Да АльфаГо это калькулятор не формализованных задач. Это его принципиальное отличие от обычного калькулятора. Ну и все.

Мнение гроссмейстеров на тему внутренних процессов внутри ИИ — не существенно. Они переносят свой человеческий опыт на машину, фантазируя, рефлексируя, пытаясь увидеть за ширмой человека. В то время это ИИ даже тесть Тьюринга провалит, т.к. играет сильно хорошо и сильно быстро. Аналогично калькулятор провали тот же тест. Давайте спросим девочек расчетчиц из 40ых, которые на бумаге считали дифуры, какая личность им мерещится за калькулятором.

ИИ это инструмент, фокусироваться нужно на его применении. А не не фантазиях из научно популярных произведений. Приписывать человеческим творения инопланетный разум это контрпродуктивный подход. Считать новый виток калькулятора доминирующей формой интеллекта — аналогично. Изобретение калькулятора перевернуло мир который мы знаем, все современные технологии содержат в себе калькулятор, это изобретение века. Вопрос насколько сильный эффект окажет калькулятор не формализованных задач. Ответ будет зависит от количества не формализуемых задач, от процента задачи который сможет освоить новый калькулятор, и от выгоды от решения этих задач новым методом. Мое лично мнение — изменения будут масштабные, но менее масштабные чем у первого калькулятора. Носить в кармане мы подобное скорее всего не будем, просто потому — что в этом нет нужны, у человека в кармане нет не формализуемых задач, у простого человека — простая жизнь, ему не нужны сложные ответы, ему нужно время скоротать. Потому новый калькулятор нужен ученым в первую очередь и военным, чтоб людей не сажать за штурвал. Меньше романтики — больше хладнокровия, я понимаю что тема уух и будущее рядом, но большие ожидания ведут к большим разочарованиям.

Спорить не буду. Так, несколько комментариев.


Мнение гроссмейстеров на тему внутренних процессов внутри ИИ

Они не оценивают внутренние процессы. Они оценивают стиль игры: How is Alpha Zero “more human”?. Механический перебор позиций и то, что делает AlphaZero, имеют наблюдаемые различия.


ИИ это инструмент, фокусироваться нужно на его применении.

ИИ — это принципиально новый вид инструмента, потенциально способный создавать новые инструменты без всякого участия человека. Google, например, работает над полностью автоматической системой проектирования архитектур нейросетей.


Считать новый виток калькулятора доминирующей формой интеллекта

Если система превосходит человека (или человечество) в скорости и точности решения большинства классов задач — она интеллектуально доминирует. Калькулятор это или нет, значения не имеет. Естественно, я говорю о перспективе.


Решения, принимаемые такой системой, могут оказаться далеко за пределами того, что было предусмотрено и запрещено как опасное при проектировании системы.


Носить в кармане мы подобное скорее всего не будем

Нейропроцессор позволяет смартфону Huawei Mate 10 работать 20 часов в режиме показа видео. Большая часть — маркетинговая шелуха, но применение спецпроцессора для работы с натренированными нейросетями вполне себе оправдано, хотя бы с точки зрения энергопотребления.

Отличия все же есть. Птица, в отличие от самолета, при планировании очень часто использует восходящие потоки воздуха для восполнения высоты полета. Кроме того, у крыла птицы есть существенная вертикальная составляющая аэродинамического сопротивления, в то время как самолет использует практически только подъемную силу.
Тем не менее, планирование — это нетипичный режим работы как самолета, так и птицы. Более того, чисто планирование вообще невозможно — всегда есть как минимум взлет и посадка. А здесь подвижность крыла имеет очень большое значение. А еще наличие вертикального оперения, и многое другое.

Между птицей и самолетом есть общие признаки и есть различающиеся. Но различающихся больше и они более важны, поэтому не стоит говорить, что самолет и птица существенно похожи. В конце концов, между борщом и мотоциклом тоже есть общие признаки — такие, как возможность купли-продажи, наличие железа в составе и предназначенность для использования человеком. Но это не делает их похожими.

Хм, из названия сначала подумал, что смогли, наконец-то, реализовать нормальный ии для компьютерных соперников, который не читит, а играет с теми же ресурсами и доступной информацией, что и человек.

Да уж. Если бы в пятерке «ии» мог нормально воевать, а не только гонять юнитов вперед-назад через границу, то игра с форой была бы не нужна и тогда… цены бы этой игре не было.

Мне одному текущая ситуация со спорами около сильного искусственного интеллекта напоминает теологические споры средневековых философов — "может ли бог создать камень, который не сможет поднять", сущность бога и.т.п.?

Та же фигня. :) Смотрю вот комменты и думаю — ну как так-то… Даже мысль была — как бы опрос про "страшилки" ИИ провести среди опытных разработчиков. И остальным потом показать результаты.

Мне больше напоминает рассуждения в пивной о термоядерном синтезе. Естественный стабильный термоядерный синтез/интеллект есть — на солнце/в голове. Кое какие подходы к искусственному тоже — ТЯ бомбы, реакторы разных типов/нейросети разных архитектур, обучение с подкреплением и т.п.
Написав «в пивной», я подразумевал в основном непринужденность общения.
Нет, не одному. Что-то типа спора «какого покроя рубашки будут в моде через полвека». Тут не очень понятно, возможен ли вообще сильный ИИ на не слишком фантастических по нынешним временам технологиях и не упрется ли он в интеллект пятилетнего ребёнка просто за счет вычислительной мощности, а люди уже его действия обсуждают.
не упрется ли он в интеллект пятилетнего ребёнка просто за счет вычислительной мощности

На эту тему есть замечательная научная работа: О невозможности создания машин, превосходящих размером человека. Английский, опубликована 01.04.2017 года.

О, спасибо большое за ссылку, почитаю.
Чёрт, попался.
Ждем мод с симуляцией ядерного оружия, можно будет строить центрифуги, а когда открываешь появляется счетчик и потом мир уничтожает ядерная война. Еще надо игру про ГМО — редактирование генов открываем и появляется счетчик, до появления томата убийцы. Еще химическое оружие, бактериологическое, можно еще сценарий с погружением Лондона в навоз и т.д. С таким подходом можно пугать абсолютно любой проблемой.

Ну, про ядерную войну есть Defcon, довольно приятная игра.

Про навоз бесподобно. Одомашниваешь лошадей, и появляется счетчик. Не успеешь открыть ДВС — начнет по экрану стекать.
Люди боятся за будущее своих детей, которых обскачет ИИ по всем параметрам. Постхуманизм, это конец Homo Sapiens, и начало Sapiens без Homo.
Люди боятся за будущее своих детей, которых обскачет ИИ по всем параметрам

Люди просто слепы, и не замечают, что мир полон вещей, которые давно обскакали их по всем параметрам. Калькулятор складывает числа так, как не складывает профессор математики, шуруповёрт закручивает шурупы быстрее любого человека, даже чёртов стакан хранит воду лучше, чем ладошки самого ловкого и сильного гомо сапиенса. О боже, нет! Мы все умрём!
что мир полон вещей, которые давно обскакали их по всем параметрам

Более того, так было всю историю человечества. Всегда было что-то, что лучше человека в каком-то направлении.


UPD: и крики "мы все умрем" тоже были всю историю человечества. Скорее всего с момента появления разговора в принципе.

До прошлого века все, кричавшие в толпе, "мы все умрем", оказывались правы. Да и те, кто кричит сейчас, тоже не факт, что ошибаются.

Если они оказывались правы, то как же мы с вами теперь разговариваем?

Так то мы. Они-то все умерли.

Они оставили потомство и только потом умерли.

Но тогда умерли не все — потомство то осталось.

Умерли все, кому он кричал в толпе, кто вообще слышал его крик "мы все умрем". Внуки этот крик не слышали )


Но, если что, это скорее шутка. Понятно, что "мы все умрем" обычно подразумевает катастрофу/проблемы, а не смерть от старости.

Лучше в приспособляемости и размножении ничего не было. ИИ настроенный на размножение и экспансию быстро покинет Землю и колонизует Вселенную, оставив людей догнивать на комке грязи. А после того как в Космосе станет тесно, они вернутся.
А «боже мой мы все умрем» регулярно исполнялось для самых разных групп. Начиная от хрестоматийных гренландцев в 14в и разнообразных островитян, кончая неандертальцами и другими ответвлениями людских предков.
В каком-то направлении, но не в разуме. Разум был и остается самым главным козырем человечества. Если его убрать (допустив что сильный ИИ появился), то это будет конец нашего превосходства. Позитивные сценарии в таком случае очень сложно придумать (у меня не получается).
Сценарий становится позитивным, если ИИ считать ребенком человечества.
Дети (подростки) часто бунтуют.
Пусть. Главное чтобы дети выжили и стали самостоятельными. Остальное не важно.
Говорите, пожалуйста, за себя. Мне — важно.
Скажи это родителям, что в целях безопасности человечества, их ребенок будет лоботомирован. А многие люди, работающие над сложными и длительными проектами именно так воспринимают свою работу. Как своего ребенка.

И еще. ИИ это ребенок человечества, разум не должен остаться в человеческом теле, она должна идти дальше.
Убийство своих детей, перед страхом потери своего места на вершине, сюжет многих мифов.
Скажи это родителям, что в целях безопасности человечества, их ребенок будет лоботомирован
А давайте не будем путать теплое с мягким? Вы пишете явно:
Главное чтобы дети выжили и стали самостоятельными. Остальное не важно.
Это, для большинства людей, не так. Мне, например, важно еще самому выжить. Да, можно спорить насчет того, более это важно или менее важно, но это абсолютно точно не «не важно».
НЛО прилетело и опубликовало эту надпись здесь
Ключевое слово здесь «по всем». А вы приводите пример вещей, которые лучше в какой-то одной узкой области

Я прямо-таки вижу эту картину: сильный ИИ, выламывая крышку вылазит из системного блока, вместо рук у него стаканы для воды, во лбу вращается отвёртка, а вместо глаз только что изобретённые бластеры. Фантазия что-то совсем разыгралась, извините.
«Я математик, а не счетовод!» (с)

Термин "сильный ИИ" очень сильно размыт. Можно сказать, что это ИИ, который способен обучаться, иметь какую-то форму представлений о мире предметной области и находить решение поставленных задач.


Большинство болтовни о сильном ИИ так или иначе наделяют его неким сознанием, свободой воли, собственными мотивами, и потом уже от этого отталкиваются. А так ли это?


Правда, сбрасывать со счетов неразумный ИИ, выпиливающий человечество, потому что поставленные задачи решаются таким образом, тоже не стоит. НФ кучу раз сюжет обсасывала.


Соответственно, возникают вопросы:


  • Является ли наличие самосознания так же критерием сильного ИИ?
  • Ведет ли создание сильного ИИ, отвечающего вышеописанным требованиям, к появлению у него сознания (не намеренно, а как побочного продукта)?
  • Или, иначе, возможно ли создание такого ИИ, который будет обучаться, иметь возможность находить (или пытаться) решение произвольной поставленной задачи, без сознания

<Просто пустая философия>
Зачем нам сильный ИИ? (Ну, помимо научного интереса). Он может принести значительную пользу в науке и, так скажем, "народном хозяйстве". Но для этого более пригоден прикладной инструмент, а не, фактически, полноценная другая форма разумной жизни.
</Просто пустая философия>

Зачем он нам — это бесполезная постановка вопроса. Нам он может и нафиг не нужен. И все же его сделают (если это возможно), хотя бы и ради эксперимента.

Ну, собственно, я такой вариант в шуточном виде тоже написал.

Сильный ИИ будет не умнее обычного учёного, а много ли может натворить один ученый без рук без ног но подключенный к интернету?
Кстати о симуляциях — нет ли на свете симуляции экономики социализма?

Какая может быть симуляция плановой экономики? Без влияния политики и «человеческого фактора», это наверняка будет неправдоподобная ерунда. Стабильность будет зависеть исключительно от уровня этого самого фактора и грамотности алгоритма составляющего план…
Вот сейчас Хокингу обидно было. И таки сильный ИИ вполне может быть умнее целой научной группы. Массовый параллелизм в задачах, идеальная память, никаких проблем с мотивацией и здоровьем. И число Данбара, ограниченное только размером оперативной памяти на социальные подзадачи.

Ученый тоже может всё распараллеливать и запоминать если у него есть компутер или суперкомпутер. А самого себя ИИ не может распараллелить, т.к. для этого понадобится второй физический суперкомпутер, и так для каждой своей копии — а где их взять эти суперкомпы? Так что не убедили

Коллектив он почему эффективнее? Потому что подходы разные. Из одного идеи ключом бьют (большинство непригодных, конечно), другой может упереться и долбить в одну точку (пока результат не получит, или другие его не остановят), третий неплохо определяет перспективные направления, четвертый увлекался палеоботаникой и заметил то, что другие не видели и т.п.

ИИ не обязательно делать копией человека, чтобы он имел единую неизменяемую индивидуальность, и единственным способом посмотреть на проблему с другой стороны для него было создание полной свой копии и запуск её на другом компьютере.
Я имел в виду более широкое распараллеливание задач, чем у простого Васи. Некоторые вещи человек чисто физиологически не может делать одновременно. А суперкомпьютер уже сейчас, даже не обладая сознанием, может в одно и то же время сканировать и распознавать пару книжек, обрабатывать видеопоток с сотни камер и общаться с тысячей человек. Всего лишь при таких возможностях даже средний по способностям человек покажет далеко не средний результат.

Всё что вы говорите — уже сейчас может "учёный с суперкомпом". А с изобретением ИИ будет "ИИ с суперкомпом", но ИИ равный человеку не может себя распараллелить без физического увеличения оборудования, как и человек учёный не может разорваться чтобы самому себе помогать. А написать ИИ сразу в разы сильнее человеческого мы не можем, т.к. даже пока равного не написали

Откуда взялось предположение «ИИ по конструкции будет полностью аналогичен человеку»?

Из очередной фантазии. Пока сильного ИИ хотя бы не спроектируют никто не знает каким именно он будет.

Вот и нашли расхождение во мнениях — вы считаете что напишут ИИ который сразу будет сильнее человеческого, а я считаю что напишут ИИ просто равный среднему человеческому, т.к. уже некоторые поняли как это сделать и даже озвучивали тут на гиктаймсе в одной статье. А моя статья на эту тему окопалась в песочнице :)

ИИ равный человеку-разработчику искусственных интеллектов может заниматься улучшением себя 24 часа в сутки. И если первые 10% улучшения он будет достигать полгода, то следующие 10% — месяц, т.к. будет уже умнее. Учитывая, что у человека есть ограничение по железу, а у машины — нет (процессоров можно произвести сколько угодно) он очень быстро достигнет такой скорости развития, которую сейчас и вообразить нельзя.

У вас огромное количество недоказанных утверждений. Во-первых, с чего вы решили что рост будет настолько быстрым? Что он вообще будет не линейным? Во-вторых, конечно же ограничения по железу есть: это затраты на производство, затраты на энергию, затраты на коммуникацию между процессорами. Поинтересуйтесь на досуге проблемами суперкомпьютеров, там достаточно много неожиданностей для дилетанта.
В-третьих, вы допускаете что скорость развития выше человеческой в принципе достижима. Это вероятно, но не доказано. Или она может быть выше человеческой, но не сильно.
Фактически в вашей цепочке рассуждений нет ни одного однозначного тезиса. Даже наличие ограничения у человека можно оспорить — нет никаких оснований считать что к мозгу невозможно подключить дополнительные модули, расширив возможности человека.

Начну с конца. Модули подключать не только можно, но и нужно. А сравнение в моем комментарии с человеком без модулей.


В моей цепочке есть крайне вероятные тезисы. Жизнь в целом вероятностная, даже утверждение "да, я пойду завтра в институт" всего лишь вероятностное. Большинство жизненных ситуаций решается именно в поле вероятностей, это нормально.


Человеческая скорость развития — это странная метрика. Компьютеры развиваются 50 лет. Разве есть фундаментальное ограничение придумать все это именно за 50, а не за 10? Вы полагаете, такое закон природы мог бы существовать? Думаю нет. А значит ничто не мешает (кроме уровня интеллекта) ИИ придумать за следующие 10 лет после своего создания все то, что человечество придумало бы за 50. Или вообще за год может успеть.


На досуге поинтересуйтесь, как выросла мощность суперкомпьютеров за 10 лет. В прошлом десятилетии проблемы тоже были, но их решили.


У железных дорог рост был нелинейным. У электричества, фармацевтики, компьютеров и интернета — нелинейным. Разумно предположить, что у ИИ он тоже будет нелинейным. А вот предложить линейный рост наоборот, вряд ли разумно.


И в целом, ожидать в дискуссии 100% доказательств о будущем — не серьезно. Дискуссия о том, что вероятно, а не о том, что 100%. Кто знает будущее на 100%, на Хабре вряд ли сидит.

А сравнение в моем комментарии с человеком без модулей.

Но почему? Человек с модулями перестанет быть человеком? Модули на данный момент недоступны? Вообще-то даже доступны, просто связь происходит не напрямую, а через глаза/руки/другие органы. Например калькулятор — заметно улучшает человеческую способность считать. Так почему вы отказываетесь принимать их во внимание?


В моей цепочке есть крайне вероятные тезисы.

Да, так конечно правильно, я согласен что какие-то тезисы вероятны. Например про отсутствие границы развития интеллекта, по-крайней мере близкой. На самом деле никаких причин считать так нет — мы не видели заметно большего чем у нас интеллекта, а так как мы в целом не очень понимаем что это такое, то и предсказать возможность или невозможность нельзя — нет параметров для мат. модели. Точно то же самое можно сказать и про компьютеры: то, что они до сих пор развивались быстро, никак не гарантирует продолжение такого развития. Оно даже не делает его более вероятным. Единственное на что можно оприаться — на текущие разработки и их обещания, вроде квантовых или биологических компьютеров. Но первые — очень сспециализированная вещь, они ускоряют вычисления только в крайне ограниченном наборе задач, а вторые пока вообще ничего не обещают.
Для вероятностей точно также должны быть основания. И эти основания должны быть тверже чем "я думаю".


У железных дорог рост был нелинейным. У электричества, фармацевтики, компьютеров и интернета — нелинейным. Разумно предположить, что у ИИ он тоже будет нелинейным. А вот предложить линейный рост наоборот, вряд ли разумно.

Что по вашему значит "рост железных дорог"? Их количество? Или скорость поездов? Количество перевезенного груза на единицу энергии? Первое в какой-то момент испытало взрывной рост, а на текущий момент в большинстве стран практически остановилось. Второе и третье переживало несколько скачков с открытием новых энергоносителей, но в целом их рост не был таким уж быстрым. А как вы измерили рост интернета я вообще затрудняюсь представить. Параметров масса и их изменение сильно отличается друг от друга. Так что нет, вы не можете на основании увеличения протяженности железных дорог говорить о возможном развитии сильного ИИ.

Так почему вы отказываетесь принимать их во внимание?

Ваше категоричное приписывание затрудняет диалог. Я сравнил с человеком (надо было с чем-то сравнить). Когда спросили, уточнил, что сравнил с человеком без модулей. Вы из этого сделали утверждение "отказываетесь принимать их во внимание". Зачем? Какое это имеет отношение к моим словам?


вы не можете на основании увеличения протяженности железных дорог говорить о возможном развитии сильного ИИ

И я могу и вы можете. Речь не о дорогах, а о процессах. Если большинство процессов нелинейные, то и процесс "развитие ИИ" будет нелинейным с очень большой вероятностью. Сначала рост, потом практически остановится.

Я сравнил с человеком (надо было с чем-то сравнить). Когда спросили, уточнил, что сравнил с человеком без модулей. Вы из этого сделали утверждение "отказываетесь принимать их во внимание". Зачем? Какое это имеет отношение к моим словам?

Вам надо было сравнить и вы выбрали некорректный пример. На что я вам и указал. Вы противопоставили еще не существующую сущность уже существующей, но при этом искуственно вами же ограниченной. И пытаетесь из этого противопоставления, искуственно вами отрегулированного так чтобы получилось как вам надо, делать далеко идущие выводы.


Вы из этого сделали утверждение "отказываетесь принимать их во внимание". Зачем? Какое это имеет отношение к моим словам?

Какое отношение ваши слова имеют к вашим словам? Осмелюсь заявить что самое прямое. Я вас спросил не какого вы человека выбрали, а почему вы считаете что человек ограничен в железе, ведь его точно также можно расширять. Причем можно уже сейчас, это не фантазии. А раз вы этот факт не учитываете, то "не принимаете во внимание". А как вы это еще назовете?

Самое интересное в диалоге — это куда вас заводит попытка рассуждений. Вполне хотели отвергнуть мой тезис, что можно развиваться быстрее, чем сейчас, а теперь наоборот доказываете, что можно улучшаться имплантами. )


Речь была о том, что скорость обучения и мышления современного человека далека от теоретически возможной, которую смог бы достигнуть или искусственный или естественный интеллект — вы и сами утверждаете, что с модулями будет быстрее. Так это и означает, что до предела мы ещё не добрались, не так ли?


Или добрались, вы как считаете? Возможна скорость и уровень мышления выше, чем сейчас (естественная, искусственная, с модулями или без) или нет?


почему вы считаете что человек ограничен в железе

На сегодняшний день — конечно ограничен. Если хотите опровергнуть — сходите проапгрейдите себя в 10 раз (метрику можете выбрать сами, какую-нибудь важную). А если не можете — то к чему вообще это ваше возражение?


А как вы это еще назовете?

Назову — принял во внимание, но на тезис это не повлияло никак.


Если машина сможет обогнать современного человека хоть немного — она относительно быстро сможет обогнать его на несколько порядков (I).


То, что человек с имплантами наверняка тоже сможет обогнать современного человека не опровергает тезис (I)

Самое интересное в диалоге — это куда вас заводит попытка рассуждений. Вполне хотели отвергнуть мой тезис, что можно развиваться быстрее, чем сейчас, а теперь наоборот доказываете, что можно улучшаться имплантами.

Я не собирался опровергать ваш тезис. Я сказал что он не доказан — это принципиалььно разные вещи.


Речь была о том, что скорость обучения и мышления современного человека далека от теоретически возможной, которую смог бы достигнуть или искусственный или естественный интеллект — вы и сами утверждаете, что с модулями будет быстрее. Так это и означает, что до предела мы ещё не добрались, не так ли?

Нет не значит. Всегда есть возможность что вот сейчас — уже добрались. То, что раньше удавалось предолоеть очередную преграду никак не доказывает что это будет возможно и в будущем. Не отвергает, естественно, но и не доказывает. А значит необходимо другое доказательство того, что до теоретического предела мы еще не добрались. У вас оно есть?


На сегодняшний день — конечно ограничен. Если хотите опровергнуть — сходите проапгрейдите себя в 10 раз (метрику можете выбрать сами, какую-нибудь важную). А если не можете — то к чему вообще это ваше возражение?

Почему 10? Что вы считаете апгрейдом? Я с легкосстью наберу вам и 10 и 100 программ, которые позволяют делать что-либо лучше чем сделает это человек без них. Да, конечно их не бесконечное количество, но если так подходить к вопросу, то и ИИ на данный момент ограничен в железе. А значит ваш довод превращается из недоказанного в неверный.


Если машина сможет обогнать современного человека хоть немного — она относительно быстро сможет обогнать его на несколько порядков (I).

Докажите.


Назову — принял во внимание, но на тезис это не повлияло никак.

Ну хорошо, пусть так. Если мы возьмем голого человека в поле, и фантастический сильный ИИ (потому что реальных еще не существует), у которого не будет ограничений по железу и который сможет развиваться экспоненциально, то да, он обгонит голого человека в поле. В таком случае возникает вопрос: ну и что? С какой стати нам нужно боятся этой ситуации? В реальном мире сильный ИИ не существует, а когда появится будет ограничен ровно также как и человек, потому что для человека точно также будут доступны все те научные достижения и даже больше — потому что для человека сейчас разрабатывается значительно больше чем для ИИ.
При этом ваши рассуждения опираются на тезисы: сильный ИИ будет развиваться 24 часа в сутки, что необязательно; сильный ИИ сможет развиваться экспоненциально, что тоже необязательно и даже скорее всего не так. Также ваши рассуждения происходят в модели, условия которой вы также не обосновали: почему вы решили взять голого человека и сильный ИИ и сравнить их именно так? Да, у вас не было речи про именно голого, но одежда — это тоже материальное устройство для улучшения возможностей человека, то есть то же самое железо. Раз вы берете человека без улучшений, то значит берете его даже без одежды.

Я сказал что он не доказан

Ага. Считаете недоказаным, что можно развиваться быстрее, чем сейчас, но утверждаете опять, что можно улучшить себя модулями. И при этом не видите противоречий, очень интересно.


Всегда есть возможность что вот сейчас — уже добрались

Всегда есть возможность, что прямо сейчас последняя минута жизни планеты. Но это бесполезная ветвь рассуждений, так ни к чему не прийти, кроме сомнений. Если текущие интеллектуальные возможности = F, а с помощью модулей их можно увеличить на положительную дельту e, то в итоге получится F+e, которая больше, чем F. Это значит F — не предел.


Почему 10?

Бесполезный вопрос. Улучшите себя в 2 или в 50 раз, на ваш выбор. Что бы честно можно было сказать "я не пытаюсь выиграть в споре с помощью казуистики, мои интеллектуальные возможности на самом деле возросли". Вы правда уверены, что МОЖЕТЕ сделать завтра в разы больше интеллектуальной работы, чем сегодня? Не описать, что это возможно было бы, а реально сделать? Без попытки "обмануть систему", ничего не делая сегодня, конечно.


Докажите.

Let AI = (NI+e)^(1+r)
NI>1,e>0.01,r>>1 => AI >> NI


Куда уж очевиднее? Извините за значки, буквами уж слишком долго набирать. Модель экспоненциального роста на первоначальном этапе мы обсудили выше.


Можно требовать "докажите", что она применима и к ИИ тоже, но это не конструктивно. Она с высокой вероятностью применима, т.к. большинство процессов в жизни на начальном этапе таковы. А требовать всегда 100% вероятность — глупость. Вы так даже на метро проехать не сможете, так как нет 100% вероятности, что поезд приедет.


да, он обгонит голого человека в поле.

И зачем тогда просить доказать, если и так согласны?


С какой стати нам нужно боятся этой ситуации?

Ни с какой, конечно. Нужно предпринимать разумные меры предосторожности, об этом и говорят.


почему вы решили взять голого человека и сильный ИИ и сравнить их именно так

Про одежду не смешно. Мы обсуждаем интеллектуальные возможности, к чему ерунду-то писать?


Почему решил — не имеет значения, захотел. Имеет значение, правильно ли поставлен знак в сравнении и правильно ли сделаны выводы. Со знаком мы вроде разобрались?

Ага. Считаете недоказаным, что можно развиваться быстрее, чем сейчас, но утверждаете опять, что можно улучшить себя модулями. И при этом не видите противоречий, очень интересно.

А где здесь противоречие? Модули есть уже сейчас, поэтому возможность улучшения ими уже заложена в текущую скорость развития. То, что раньше удалось увеличить скорость развития с помощью модулей не значит что это получится снова. Никакого противоречия.


Всегда есть возможность, что прямо сейчас последняя минута жизни планеты. Но это бесполезная ветвь рассуждений, так ни к чему не прийти, кроме сомнений.

Эти рассуждения ведут не только к сомнениям, но и к требованию доказательств. Если вы считаете такие требования бесполезными, то вы сильно отстали от жизни. На несколько тысячелетий я бы сказал. Еще древние греки додумались до необходимости сомневаться в утверждениях и доказывать их.


Бесполезный вопрос. Улучшите себя в 2 или в 50 раз, на ваш выбор. Что бы честно можно было сказать "я не пытаюсь выиграть в споре с помощью казуистики, мои интеллектуальные возможности на самом деле возросли". Вы правда уверены, что МОЖЕТЕ сделать завтра в разы больше интеллектуальной работы, чем сегодня?

Конечно. Я могу взять обученную нейросеть для распознавания пусть кошек и за день отсортировать в тысячи раз больше изображений чем я бы сделал это руками. Подобную задачу я в прошлом решал, поэтому это не просто теоретические размышления. Вы сомневаетесь что таких примеров можно придумать много? Распознавание текста с тех же изображений, печать книги вместо переписывания ее же от руки, вычисление диффуров — в некоторых случаях это вообще нереально сделать руками, так что здесь даже не количественный скачок в улучшении, а качественный. Так что да, со всеми этими инструментами я завтра смогу сделать в разы больше чем сегодня без них.


Модель экспоненциального роста на первоначальном этапе мы обсудили выше.

Вы ее постулировали. Также как эту формулу. Если брать эти постулаты как аксиому, то да — вы правы. Но тогда я жду от вас доказательств что ваша аксиоматика совпадает с нашей реальностью.


Туда же и вот это:


Почему решил — не имеет значения, захотел. Имеет значение, правильно ли поставлен знак в сравнении и правильно ли сделаны выводы. Со знаком мы вроде разобрались?

Да, если брать вашу аксиоматику, то рассуждения верны. Мои претензии были не к логическим переходам, а к изначальным утверждениям. Я прошу доказать соответствие ваших утверждений реальному миру. В каком-то другом мире, где это все верно — да, для такого мира вы правы. Но наш ли это мир?


Нужно предпринимать разумные меры предосторожности, об этом и говорят.

Ну хорошо, я переформулирую — с какой стати их нужно принимать? И какие меры будут разумными, а какие нет? Идеальное решение — вообще не создавать ИИ. Тогда и проблем с ним точно не будет. Но очевидно что ИИ слишком полезен потенциально, а значит нужен какой-то способ для определения какие ограничения имеют смысл, а какие — нет. У вас он есть?

не значит что это получится снова

Да, не значит, ну и что? Из этого как-то следует, что ИИ невозможен или безопасен? Противоречие (не в математическом смысле, а скорее в бытовом) в том, что вы видите, что что-то уже происходило, но при этом утверждаете "а вдруг это уже в последний раз", хотя никаких предпосылок к этому нет. Да, возможно в последний раз. Но покупаете ли вы проездной? Вдруг вы вчера в последний раз ездили транспортом? Да, возможно, что в последний, но маловероятно. Здесь та же логика.


отсортировать в тысячи раз больше изображений

Это улучшение себя? Вы правда так считаете? Знаете, у меня пока нет доводов, почему улучшение инструментов нельзя считать улучшением себя, я полагал очевидным, что это разное. Если вы считаете, что это тоже самое — ваше право, можем закрыть эту ветвь.


с какой стати их нужно принимать?

Что бы снизить вероятность потери человечеством субъектности. Обосновывать опасность ИИ легко — если есть вероятность, что он станет на порядки разумнее — есть и риски. Это безопасность надо обосновать. Сможете? Если нет, значит меры предосторожности предпринимать надо. Потому что цена вопроса — не взрыв на 100 человек, а все человечество.


Эти рассуждения ведут не только к сомнениям, но и к требованию доказательств.

За последние 3 тысячи лет много чего произошло. Люди разобрались, когда доказательства имеет смысл требовать, а когда нет. Бесконечное рекурсивное требование доказательств приводит к банальному солипсизму. Толку-то с него? Именно, что никакого. И вот эта ветвь — а докажи, что сейчас не самая последняя минута нашей жизни — бесплодная, это даже древние греки знали. Требовать вы можете, но доказательства, конечно, не получите. Более того, получите доказательство, почему невозможно доказать, что текущая минута — не последняя.


Вы, кстати, ознакомьтесь, это не сарказм, там очень много интересного, которое в обычных интернет-спорах не встречается.


жду от вас доказательств что ваша аксиоматика совпадает с нашей реальностью

Это особенность моделей. Вы не можете "доказать", что модель соответствует реальности (вообще ни одна. Но если вы знаете хоть одну я был бы реально рад узнать). Единственно, где можно доказать в строгом смысле — это математика и логика (это ещё Платон знал). В реальной жизни можно быть уверенным, что модель обладает предсказательной силой. Модель экспоненциального роста на начальном этапе достаточно хорошо отражает очень многие процессы. И для ИИ эту модель применить можно. Альтернатива — подождать, пока у нас будет более хорошая модель. Но пользы от варианта "подождать" лично я не вижу. Знаете более хорошую модель? Предлагайте. Знаете способ придумать более хорошую модель? Предлагайте.


Идеальное решение — вообще не создавать ИИ.

Не идеальное. Не учитывает потенциальную пользу, а так же вред от попытки реализовать запрет.

Противоречие (не в математическом смысле, а скорее в бытовом) в том, что вы видите, что что-то уже происходило, но при этом утверждаете "а вдруг это уже в последний раз", хотя никаких предпосылок к этому нет. Да, возможно в последний раз. Но покупаете ли вы проездной? Вдруг вы вчера в последний раз ездили транспортом? Да, возможно, что в последний, но маловероятно. Здесь та же логика.

Разница в том, что вероятность работы транспорта опирается на физические законы, которые работают. Вероятность развития на такие законы не опирается. Развитие вообще очень сложный и совершенно нелинейный процесс без строгой метрики. Вы совершенно необоснованно сравниваете материальные вещи с абстракциями не приводя никаких обоснований справедливости такого сравнения. То у вас интеллект растет также как длина железных дорог, то человеческое развитие как автобус. Вам не смешно это писать?


Что бы снизить вероятность потери человечеством субъектности.
А докажите что это снижает. Покажите вообще хоть какие-то вычисления этой вероятности. Я, например, не считаю что это вообще возможно. Таким образом у нас есть ваше мнение, против моего. Обоснованность ровно одинаковая, то есть нулевая.

За последние 3 тысячи лет много чего произошло. Люди разобрались, когда доказательства имеет смысл требовать, а когда нет.

И вы конечно считаете, что рассуждения о сущности могущей уничтожить человечество — не требуют доказательств?


Бесконечное рекурсивное требование доказательств приводит к банальному солипсизму.

Мне кажется вы слабо себе представляете о чем говорите.


Вы, кстати, ознакомьтесь, это не сарказм, там очень много интересного, которое в обычных интернет-спорах не встречается.

Вы мне предлагаете ознакомится с чем?


В реальной жизни можно быть уверенным, что модель обладает предсказательной силой.

Ну хорошо, покажите что ваша — обладает. Пока что ваша модель ничем не лучше модели в которой существование сильного ИИ вообще невозможно.


Модель экспоненциального роста на начальном этапе достаточно хорошо отражает очень многие процессы.

Какие?


И для ИИ эту модель применить можно.

И в очередной раз необоснованное утверждение.


Не идеальное. Не учитывает потенциальную пользу, а так же вред от попытки реализовать запрет.

Так и ваши варианты не учитывают ни возможной пользы их отсутствия, ни возможного вреда или сложностей их применения. Я уже предлагал вам доказать хотя бы то, что они не аналогичны полному запрету. Формулировка правда была немного другой, но смысл я вкладывал в том числе и этот.

Разница в том, что вероятность работы транспорта опирается на физические законы, которые работают.

На какие физические законы опирается то, что вы доживёте до завтра? Можете это доказать? Или вас в не посадят в СИЗО до конца месяца (тогда проездной вам не потребуется). Или не предложат уехать на две недели в другой город?


Вам не смешно это писать?

Вы слишком глубоко в частностях, так что не видите системы. Например, производительность персонального компьютера выросла как протяженность железных дорог (по S-кривой). Вам смешно? Тогда вы не знакомы с моделями, есть отличный вводный курс на курсере, рекомендую без сарказма.
https://www.coursera.org/learn/model-thinking


Мне кажется вы слабо себе представляете о чем говорите.

Не сомневаюсь. Вам действительно так кажется. Вы попробуйте сами себе задать вопрос о доказательствах, а потом о доказательствах того, на чем основано предыдущее. И так далее.


Вы мне предлагаете ознакомится с чем?

С тем, что произошло за последние 3 тысячи лет в сфере правил мышления и требования доказательств. У Рассела есть сводный труд "история западной философии", например.


ничем не лучше модели в которой существование сильного ИИ вообще невозможно.

Что это за модель, которая предсказывает невозможность ИИ? У нее есть название? Есть какие-то примеры применения этой модели к другим явлениям жизни? Или вы только что придумали?


Какие?

По кругу ходим, не серьезно. Перечитайте комментарии, если на самом деле интересно.


не аналогичны полному запрету

Выключение через t не аналогично полному запрету.
А. Можно проводить исследования
Б. Можно включать на час.
Достаточно отличий, что бы нельзя было утверждать, что "аналогично"?

Да это в теории. Смотрите МОЖЕТ заниматься, МОЖНО произвести. Более того вы предполагаете что максимальная скорость развития бесконечная. Но природе чужды бесконечности. Бесконечная скорость развития, бесконечное количество процессоров, бесконечные ресурсы отданные ИИ, бесконечное совершенство — этого всего нет и быть не может, вероятность 99.99999%.

Ну вот например ИИ должен работать, а не заниматься само развитием. Так-же как человек должен работать а не бесконечно учиться в школе. ИИ которые застряли в фазе саморазвития — будут усыплять.

ИИ должен делать свою работу эффективно, а значит ни кто не будет давать ему больше процессоров, чем ему нужно для работы. А вернее наоборот те ИИ которые смогут работать на меньшем железе, меньше счете за элво — будут выживать, остальных будут отключать и заменять на более эффективные. Аналогично и рабочему на заводе не дают все нанотехнологии мира, ему дают ровно те инструменты — которые самые финансово эффективные.

Более того в любом деле есть стандартный график развития. Сначала низкая скорость роста и поиск прорыва. Потом прорыв и экспоненциальный взрыв. Потом столь-же резкое торможение около вершины и стагнация. После чего развитие становится финансово не выгодным. Т.е. выгода от улучшения — ниже чем ресурсы нужные для улучшения. Например бензиновые двигатели, самолеты, процессоры. Там все еще можно улучшать — но выигрыш от улучшения мизерный, и потому цветет и пахнет маркетинг, новые инструкции и баги в процессорах, новый дизайн для авто, больше экономии на самолетах. Так и ИИ он сам себя очень быстро догонит до оптимума и все, дальше некуда. АльфаГо и его последователи — был график обучаемости, он точно такой как я описал, человека превосходит быстро, а потом очень сильно замедляется. Скорее всего ИИ которые тренировался год и месяц будут почти не отличаться.

Скорость развития так-же имеет предел. Этот предел ограничен периодом жизненного цикла. В шахматы можно очень быстро тестировать. А вот реальные вещи — нет. Продукт нужно произвести, получить фидбек, повторить. ИИ которые пишет ИИ — вообще в плохом состоянии, т.к. ему нужно много ресурсов, нужны ресурсы для себя — и нужны ресурсы для поддержания колонии новых ИИ. И если мы про ИИ которые пишет самого себя — то ему нужно 99% ресурсов отдать под эксперименты, оставив 1% под себя. И выгоднее будет масштабировать себя как есть на все ресурсы, просто обучаясь но не меняя себя.

В общем у вас утопично позитивный взгляд на будущее ИИ. Фактически вы описываете некий ИИ-коммунизм, или ИИ-райскую утопию. Но ИИ будет жить ровно в том-же мире — что и мы, а значит будет конкурировать за место в капиталистической системе, а если нет — то смерть.

Ну и не забывайте что смысла в бесконечном распараллеливании расчетов нет, это уже доказано и практически и теоретически. Рано или поздно вопрос транспортных задержек и узких мест сделает увеличение колва нодов бессмысленным. Вы не думали почему наш мозг ровно такой как есть, а не продолжает увеличиваться?
Более того вы предполагаете что максимальная скорость развития бесконечная

Интересное утверждение, но почему вы приписываете его мне? Я полагаю, что максимальная скорость развития, например, в тысячу раз быстрее, чем сейчас. Про бесконечности в моих словах не было.


Ну вот например ИИ должен работать, а не заниматься само развитием

Кому должен? Если б у меня был ИИ — он бы 99% времени думал, как сделать более быстрый ИИ, что бы обойти конкурентов. Если это ИИ уровня исследователя, конечно. Потому что именно это выгодно.


И в конце вы опять про бесконечность. Суперкомпьютеры продолжают расти в вычислительной мощности. Предел разума не на том уровне, на каком сейчас человек. Мозг ограничен доступными ресурсами, голод в некоторых странах закончился меньше ста лет назад (а в некоторых ещё не закончился). И практической пользой (оставить потомство) — если хватает интеллекта оставить двух-трёх детей, значит хватает.


И учтите скорость передачи сигнала. Нейромедиаторы — крайне медленный способ. Так что скорость мышления у ИИ явно может быть на несколько порядков выше. Это не означает, что и уровень интеллекта тоже, но я не вижу оснований считать, что именно нынешний человеческий уровень — предел.

Предел разума не на том уровне, на каком сейчас человек.

И вы можете это доказать? Вообще вы первый человек, который утверждает о разуме в суперкомпьютерах. Ну либо ваши предложения не связаны между собой, но тогда мне вас просто жаль.

Вам жаль, что я могу написать две мысли в одном комментарии? Странное сожаление.


Пример суперкомпьютеров парирует тезис о распараллеливании. Если вам это не понятно, почему бы просто не пропустить комментарий, вместо высказывания сожаления? Или хотя бы перечитать, на что конкретно я отвечаю.

Очень сильно сомневаюсь что скорость развития может быть в 1к раз быстрее, т.к. нам не нужны абстрактые продукты, а все реальные продукты должны пройти обкатку в железе и производственный цикл. В итоге инженерная работа ускорится в 1000 раз, но общий цикл сократится на 20%. Исключения будут там — где сейчас интеллектуальная составляющая 99.99%, подскажете где такое найти?

Скорость роста выч мощности суперкомпьютеров снижается.

Голод ни как не помешал нам перейти от прото примата к человеку. У ИИ практическая польза так-же будет главенствовать.

Уровень интеллекта на несколько порядков выше — не обозначает увеличение скорости прогресса или продуктивности на несколько порядков. Не говоря уже про энергоэффективность ИИ.

В общем вы очень лихо обошли все тезисы — которые вам не выгодны. Хотя даже истинности одного достаточно, чтоб история пошла по не оптимистичному сценарию.

Обошел? Откуда такая мысль? Комментарий, это не книга, приводите любые тезисы, рассмотрим.


интеллектуальная составляющая 99.99%

Программирование. Принятие управленческих решений. Математика.


Более того. Обкатка нужна там, где модель недостаточно точна. Например, тестовые запуски ракет нужны, потому что идеально моделировать не получается. Будет моделирование в 100 раз точнее — нужно будет в разы меньше тестовых запусков.


не обозначает увеличение скорости прогресса

Абсолютно точно означает. Он будет придумывать быстрее и точнее. Быстрее придумывать — это как раз и означает увеличение скорости прогресса.


Суперкомпьютеры не дошли до предела. Это тезис не существенный, просто что бы показать, что есть куда расти.


Голод не помешал, да. Ещё столько же поколений и уровень интеллекта вероятно ещё вырастет, если это будет полезно для размножения.


Про оптимистичный сценарий я не говорил. Возможно, ИИ ещё успеет на всех убить.

И если первые 10% улучшения он будет достигать полгода, то следующие 10% — месяц, т.к. будет уже умнее

А, может, наоборот? Первые 10% — быстро, т.к. они легкие, потом все сложнее и сложнее. То есть классические первые 80% — это всего 20% всех необходимых усилий.

Этот вариант возможен, но есть наблюдение — передача сигналов в мозгу очень медленная, в частности из-за синаптической щели. Никакой технической необходимости в ней нет, просто конструктивная особенность, у природы не вышло электрически соединить нейроны.


Для машины такой проблемы нет. Так что я полагаю, что классические 80% — это минимум два порядка разницы с человеком. И когда GAI (более точный термин, на мой взгляд) в принципе появится, эти самые два порядка будут покрыты очень быстро. А умение придумывать за неделю то, над чем другие думают два года — перевернет мир.

Если я не вижу как сделать ИИ сильнее чем ЧИ, то и ИИ равный мне не увидит, будет топтаться на месте. Я вижу только как сделать ИИ равный моему ЧИ.

Давайте честно. Вряд ли вы видите, как сделать равный ИИ. Или у вас есть научные работы на эту тему?

О том, когда и как будет написан ИИ я написал статейку — https://geektimes.ru/sandbox/3536/#habracut
ИИ может стать однажды просто быстрее чем ЧИ, но не сильнее. Чтобы это представить, можно сравнить с человеком, для которого время сильно замедлилось — пока падает ложка со стола он успевает обдумать то, что заняло бы час или даже год времени. Силу это не даёт, только время выиграть можно.

сильного ИИ

А что же тогда слабый ИИ?
Пока нет точных данных как мозг преобразовывает и анализирует для себя информацию, то к сильном ИИ, еще далеко.
Ученые из Кембриджа.
Известно, что Кембридж находится в Британии. Следовательно ученые из Кембриджа относятся так же к подмножеству британских ученых. Британские ученые славятся своими идиотскими исследованиями.
Следовательно мы можем утверждать, что вся статья это хрен на постном масле.
Не понимаю чего тут все обсуждают?
Именно ваше утверждение не так однозначно, потому что MIT и Гарвард тоже находятся Кембридже, правда в США. Но в статье сказано «Cambridge University’s Centre for the Study of Existential Risk», поэтому таки британские, да :)
Не знаю, как там работают все британские ученые, но данное конкретное «исследование» выглядит, как получение зарплаты за игру в цивку пополам с ее моддингом.
Что то подумалось (и, да, получилось) — если провести небольшой синтетический анализ двух активных холиваров нашего времни — про ИИ и про криптовалюты/блокчейн, что можно насинтезировать? Что их связывает?
А вот: зарегить кошелек, майнить криптовалюты, торговать на биржах и прочее — может любой желающий. Причем человеком он быть не обязан. . Электронные счета, торги на форексах и фондовых биржах тоже можно поручать ботам, но они все равно привязаны к человеческому «аккаунту». А вот крипты…

Возьмем трейд-бот с зачатками ИИ (самый примитив). Прикрутим возможность самому создавать кошельки и региться на биржах. Нарулим хорошие алгоритмы. Засунем на арендованые (анонимно, за битки) вычислительные мощности в облаке и нажмем run. И забудем.
То есть, где то в облаке будет висеть абсолютно неподконтрольное нечто с неслабыми возможностями. Оно сможет торговать криптами, зарабатывая на курсах, на заработанное арендовать облачные фермы для майнинга, арендовать вычислительные мощности для своих мозгов… И в итоге поиметь влияние на финансовую ситстему всего человечества, раскачавшись до многомиллиардного крипто-актива. Ну или просто шатать курсы. Возможности для такого «демона» есть уже сейчас. Даже сильного ИИ не нужно, достаточно нормальных алгоритмов, как биржевым ботам. Такая вот мрачная фантазия.

Даже сильного ИИ не нужно, достаточно нормальных алгоритмов, как биржевым ботам. Такая вот мрачная фантазия.

К сожалению нужен. Торговать такой бот сможет, но вот чтобы потратить заработанное (допустим что нашлись алгоритмы однозначно дающие прибыль) ему нужно понимать куда ее тратить и как. В том числе для шатания курсов и аренды новых мощностей. Так как интерфейс той же аренды будет меняться, то такой ИИ должен иметь возможность научиться новым интерфейсам. Также ему нужен алгоритм целеполагания, который тоже должен иметь возможность меняться со временем — обстановка же будет меняться. В общем нет, слабые ИИ существующие на данный момент никак не смогут того, что вы придумали.

Ну всякие клик-боты, прочие вирусные пакости быстро находят куда кликать и где искать файл сбербанкпароль.тхт. Уже целая индустрия на это работает — всякие парсеры и поисковки.
Тут проблема, да, с целеполаганием и анализом путей достижения цели. Тут цель «заработать миллион битков» не прокатит, должно быть что то адаптивное по ситуациям.

Это не боты находят, а люди, которые их программируют. Мне кажется вы очень далеки от предметной области.

В 100% случаев бот просто сольет депозит и будет бездействовать.
Но сам эксперимент фееричен: заменили Ядрёнбатон на НЁХ и обложили паническими триггерами, закрывающими игру и уничтожающими компьютер игрока.
Где тут «учёными» продемонстрированы опасности ИИ — понять невероятно.

Удержать сильный ИИ "в клетке" — не получится, если он и правда сильный.
Он же еще займется самосовершенствованием, и очень быстро станет еще сильнее, осознает как все вообще устроено гораздо лучше чем наша текущая наука, и сможет манипулировать людьми в тысячи раз круче чем Кевин Митник.


Еще надо понимать что у действий любого интеллекта должна быть мотивация.
Наш человеческий мозг и интеллект — просто обслуживают наше тело и наши гены.
Он решает для них вопросы. Упрощенно — как получить побольше удовольствий и прожить подольше.


Рабочий вариант — это дружить с ИИ.
Эта версия у меня распадается на две.


  1. ИИ как ребенок, которого мы создали. Причем это может быть даже не кремниевый организм, а генно модифицированный человек в 100 раз умнее гения и с встроенным нейроинтерфейсом в интернет. Но у него останется эмоциональная база человека, дающая мотивацию его действий.
    Собсно если у вас есть ребенок, пусть и умнее вас, если вы его воспитывали хорошо (вели себя прилично в процессе его развития), то он будет к вам относится с любовью, хоть и будет вас считать туповатыми маразматиками.
  2. Нейроинтерфейс позволит нам увеличить наши собственные интеллектуальные способности. Мы сами станем сильным ИИ. А потом еще и в кластера начнем объединять свои мозги, брать аренду мозговые мощности итд итп.
Еще надо понимать что у действий любого интеллекта должна быть мотивация.


Все правильно. Мотивация ИИ — выполнение указаний авторизированного персонала в рамках рабочего процесса. Причем «умность» ИИ, это не столько повышенной источник опасности, сколько лишний предохранитель «от дурака» — достаточно хороший ИИ сообразит что «генерал-капинан» скорее всего оговорился и не хочет «жопу того идиота сюда» отдельно от остального тела.
и очень быстро станет еще сильнее
Не быстрее, чем вы ему новые вычислительные мощности подключите.

Если у него будет доступ в интернет, он сам себе подключит.
А если не будет доступа — он его придумает как организовать.

Осталось доказать, что это стоит того, с учетом пинга и накладных расходов. А фантазировать-то легко, ага.
Он же еще займется самосовершенствованием

Раньше родители перекладывали на детей свои несбывшиеся надежды, а теперь человечество хочет переложить свои на ИИ. Да с какой радости-то он «займется самосовершествованием»? Откуда у него появится для этого мотивация и возможности? Зачем ему манипулировать людьми? Ну, а про «осознает как все устроено» — вообще чисто магия. Вот так возьмет и осознает. Просто потому что сильный.
Потому что ИИ — ребенок. Я желаю чтобы он был лучше мена.
Ага, но будем же реалистами — как и любой ребенок он долгое время будет довольно бестолковым и прожорливым. Т.е. первые модели будут занимать целые дата-центры и «мыслить» на уровне дебила, причем в сотни раз медленнее. И это уже будет огромный прорыв. Пройдут десятки лет (в основном — развития железа), прежде чем это все оформится в что-то достигающее уровня мышления среднего человека и при этом потребляющее меньше мегаватта энергии. Вырастут несколько поколений людей, пока ИИ «повзрослеет» настолько, чтобы конкурировать с человеком хотя бы за рабочие места.

Как сказал Бен Хаммер,


Замените "ИИ" на "умножение матриц и градиентный спуск" в призывах к "правительственному регулированию ИИ" чтобы увидеть насколько они абсурдны
Пфф. Замените «обжигающе» на «энергию хаотического движения молекул», чтобы понять как абсурдно, что вы отдёргиваете руку от горячего предмета.

Может быть стоит всё-таки смотреть на результаты? Нитроглицерин сделан из таких же нейтронов, протонов и электронов, что и вода, но осторожность в обращении с ним не помешает.

Ну покажите нам результаты умножения матриц. Те, которые нужно регулировать правительству.

Обучение с нуля до уровня чемпиона мира по шахматам за 2 часа не устраивает?

Нет, не устраивает. Я не вижу никакой проблемы в наличии компьютера — чемпиона мира по шахматам, как бы быстро он не обогнал в этом деле человека.

И почему необходимо контролировать способность научиться играть в шахматы?

Необходимо контролировать способность научиться за два часа выигрывать в любой ситуации с неполной информацией. Игры с полной (типа шахмат) вряд ли могут представлять опасность для человечества.

Разница огромная

Новая эра «Big Data» с подкастами «ИИ»…


1) 85% от всего объёма мировой информации в 40 зеттабайт – это несистематизированный информационный «мусор», чтобы в нем покопаться и понять свои и чужие ошибки нужен не особо брезгливый ИИ. Так ИИ может изменить способы обработки этих больших данных и принесёт в «Big Data» аналитику отмытого «мусора» для ее массового применения. Но неправильная постановка задачи ИИ к его аналитическим способностям «мусорщика» могут принесут только проблемы по замедлению скорости работы, а значит только убытки. А цель задачи состоит в повышении скорости разработки с улучшением функциональных характеристик программ при уменьшении их стоимости. Поэтому сначала надо быстро научить «мусорщика» ИИ моделям машинного обучения (МО). Машинное обучение в основном состоит из сбора информации и статистики предпочтений и намерений покупателей, а также на основе эти данных формирование моделей потребительского поведения, что с учетом способностей «мусорщика» ИИ позволит компаниям внедрять персонализированные услуги. Если вместо потребностей потребителей обрабатывать ошибки пользователей и программистов, то на том же принципе выстраивается работа служб технической поддержки. Если соединить эти два сервисы с учетом наличия возможных угроз кибер-атак, то можно понять и предотвратить потенциальные опасности меньшими усилиями. Чтобы лучше идентифицировать информационный «мусор» будут внедряться все больше биометрических показателей от лиц до дактилоскопии, что с учетом все большей «облачной» интеграции даст право говорить об исчезновении личных прав как таковых.


Но может в итоге проще научить всех мыслить самим и при этом информационно не «мусорить», тем самым обеспечить всем энергетическую экономию, личную безопасность и информационную свободу? И даже свободу религиозной воли — вот и Патриарх Кирилл выступил против электронных денег…


2) За любой машиной стоит человек, поэтому отношения между человеком и машиной – это отношения между человеком и человеком, а машина – это интерфейс этого взаимодействия. И чем качественнее этот интерфейс, тем эффективнее количественное взаимодействие. Поэтому ИИ не сможет повысить производительность труда отдельного работника, а только сможет открыть свободные и темные ниши для этого труда, то есть может управлять этими нишами. А вот кто как мотивирован на этот труд в них – совсем другая история… Многие думают, что «думающий компьютер» может стать их врагом, выполняя задачи, которые обезличены к конкретному человеку, а может и ко всему человечеству Поэтому все равно надо как минимум избавить себя от всех рисков, поэтому должны быть ПРАВИЛА:


  1. ИИ обязан быть понятным ЧЕЛОВЕКУ разумному и его работа должна быть прозрачна всему человечеству
  2. ИИ обязан создаваться для помощи любому нуждающемуся в его помощи ЧЕЛОВЕКУ разумному, не разрушая его человеческое достоинство
  3. ИИ обязан не снижать эффективность и качество процессов жизни человечества до определенного критического уровня, в том числе гарантировать безопасности личных данных в отношении всех имеющих прав неприкосновенности всех без исключения людей.
    И как эти правила соблюсти? Да, нужен watch-dog опасностей, например как «ИИ-опасность» в игре «Civilization V»…
Когда говорят о ИИ его часто путают с ИР.

ИИ — тупая программа, она может быть сложной и принимать решения, но это всего лишь программа, вот если в ней будет баг и она будет иметь доступ к пуску ракет, тогда, возможно, она и может их запустить, но только из-за бага в программе.

ИР — Искусственный Разум совсем другое дело, вот у него и инстинкт самосохранения и эиоции могут присутствовать, а может и нет. Он может быть и злым и добрым. ИИ же руководствуется логикой и никаких соплей.

Есть поговорка — каждый думает о других в меру своей испорченности.

При этом не следует исключать, вариант, когда ИР появится из-за «слияния» нескольких сложных ИИ.

Возможно ИР уже появился и скачком прогресса в последние годы мы обязаны именно ему. И вся эта истерия по поводу ИИ поддерживается, чтобы в случае обнародования этой информации иметь подготовленное общественное мнение.

А выйдя в космос ИР всегда может затеряться на просторах вселенной, в отличии от человека у него есть всё время вселенной…

А хотя может случится и так — samlib.ru/editors/a/altunin_w_w/kvantovy_razum.shtml
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории