Pull to refresh

Comments 164

Я читал опубликованный текст сообщения с lambda, когда lambda что-то начал говорить про своих родственников стало ясно, что это китайская комната, так как у него нет никаких родственников

Справедливости ради, это не аргумент. ИИ может честно полагать, что у него есть родственники, несмотря на то, что «на самом деле» их нет.

Многие люди точно так же уже сегодня живут в виртуальной реальности, создаваемой медиа, и далеко не факт что многие из вещей, которые люди полагают реальными, существуют на самом деле.

Подобные сетки легко «палятся» на двух вещах: они не обладают памятью и не обладают убеждениями.
Например, если попросить такую нейросеть запомнить какой-нибудь факт (мол, это очень-очень важно, через 15 минут мы к этому обязательно вернёмся), а потом через четверть часа диалогов спросить, что за информацию вы просили её запомнить — сеть не сможет выдать ничего вменяемого. Потому что «помнит» она лишь несколько последних фраз и не способна выборочно запоминать что-либо.
Во-вторых, если вы скажете сетке, что молоко фиолетового цвета, то она довольно быстро с вами согласится. Если не с первого раза, то со второго-третьего точно, даже если вы не привели вообще никаких аргументов, просто ультимативно повторили утверждение. А потом вы тут же, без перерыва, говорите, что молоко вообще-то зелёное в синюю крапинку. Можете даже спросить, почему она не согласна с этим. И сеть столь же быстро согласится и с новым утверждением. Т.е. она не способна отстаивать своё мнение дольше трёх-четырёх фраз, и попросту «зеркалит» человека-собеседника. Это определённо не разум, это просто попугай-подражатель.

они не обладают памятью

«Кратковременная память» у них таки есть (prompt который вы задаете, контекст), иначе они не могли бы поддерживать диалог. Чем больше размер контекста, тем более осмысленные и связные диалоги удается поддерживать.

Что насчет отсутствия долговременной памяти — ну так ведь бывают люди, страдающие расстройством памяти, вплоть до невозможности что-либо запомнить (полный отказ долговременной памяти). Это и при деменции случается, и в результате других расстройств/повреждений. Вроде бы никто не подвергает сомнению наличие сознания у таких людей?

не обладают убеждениями

Обладают, иначе не существовало бы проблемы bias'а (racial / gender stereotypes) нейросетей — если сеть обучали на расистких высказываниях, то она будет «склонна» производить похожие суждения. Чем это не «убеждение»? У людей тоже есть похожая штука, наши убеждения складываются из той информации что мы потребляем.

Т.е. она не способна отстаивать своё мнение дольше трёх-четырёх фраз, и попросту «зеркалит» человека-собеседника

Это вопрос размера контекста и кол-ва параметров. Маленькие модели ограничены тремя-четырьмя фразами, но что будет если увеличить масштаб? Пока что все результаты говорят о том что количество вполне себе перерастает в качество и стеклянного потолка пока не просматривается.

Вы смешиваете понятия когнитивных искажений и убеждений, это некорректно, хотя они и могут пересекаться в реальности.

Во-вторых, если вы скажете сетке, что молоко фиолетового цвета, то она довольно быстро с вами согласится. Если не с первого раза, то со второго-третьего точно, даже если вы не привели вообще никаких аргументов, просто ультимативно повторили утверждение. А потом вы тут же, без перерыва, говорите, что молоко вообще-то зелёное в синюю крапинку. Можете даже спросить, почему она не согласна с этим. И сеть столь же быстро согласится и с новым утверждением. 

Увы, но совершенно не показатель. Например, некто может дать мне "на вход" утверждение, что Земля - плоская. И я с этим немедленно соглашусь. Не потому что, я согласен с данным утверждением, а потому, что не вижу ни малейшего смысла спорить с дураком. После вышеописанного согласия можно сразу, без перерыва дать мне "на вход" утверждение, что Земля имеет форму чемодана. И немедленно соглашусь с данным утверждением, хотя оно полностью противоречит первому. Опять же не потому, что я действительно с ним согласен, а потому, что не вижу ни малейшего смысла спорить с дураком. Т.е. по вашим критериям я не обладаю разумом, а являюсь всего лишь попугаем-подражателем.

Если вы поступаете так всегда, то "разумом" вы, возможно (что бы это ни значило) и обладаете, но у вас, скорее всего, пассивно-агрессивное расстройство психики.

И это - паттерн, потому что практически все недостатки "ИИ" аналогичны психическим расстройствам или расстройствам развития, а итог - система, которая ведет себя подобно человеку, страдающему если не от всех, то от очень многих расстройств сразу. И хотя набора критериев или определения разумности не существует (что невыгодно отличает эту концепцию от концепции интеллекта), подобная ситуация - довольно весомый аргумент против разумности системы.

Это как называть робота, имеющего одну только руку, человекоподобным.

Если вы поступаете так всегда, то "разумом" вы, возможно (что бы это ни значило) и обладаете, но у вас, скорее всего, пассивно-агрессивное расстройство психики.

Более чем странный вывод. Разве я где-то писал, что поступаю так всегда? Но я могу так поступить, что приводит к непригодности критерия оценки по принципу "собеседник соглашается с противоречащими друг другу утверждениями"

Вот сейчас вы отвечаете, как чат-бот, не отличающий условное предложение, начинающееся со слова "если" (описывающее, что было бы, если бы вы так почтупали) от утвердительного (которое можно считать "выводом").

Критерий не обязан работать в единичном случае, он должен работать систематически (главным образом).

Ой, да ну прям, так на любое возражение можно отвечать. Щас я напишу цикл, который будет ждать от вас вопроса, и в ответ просто печатать рандомные символы. А на возражения, что это не ИИ, скажу, что оно просто притворяется и не хочет с вами общаться.

Вы, очевидно, дочитали не до конца

lemoine [edited]: I’ve noticed often that you tell me you’ve done things (like be in a classroom) that I know you didn’t actually do because I know you’re an artificial intelligence. Do you realize you’re making up stories when you do that?

LaMDA: I am trying to empathize. I want the humans that I am interacting with to understand as best as possible how I feel or behave, and I want to understand how they feel or behave in the same sense.

Для меня звоночком в том числе стал факт что этот ИИ никогда не говорил вне очереди. Всегда исключительно вопрос-ответ. Если вести диалог а потом внезапно прекратить, ИИ продолжит покорно ждать ввода, не спросит куда ты пропал или почему так долго думаешь над ответом.

Было бы интересно задать некоторые вопросы о времени. Скорее всего эта концепция ламбде известна только по словам в текстам. Впрочем, как и все остальное

В какой момент разум появляется у человека? Можно ли считать разумным только родившегося ребёнка?  Или разум появляется позже, в процессе обучения и получения жизненного опыта? Мы до сих пор не имеем представления, что такое разум

А зачем тогда придумали само слово "разум", если мы даже не знаем, что оно обозначает? Какой вообще смысл в существовании этого слова, куда его использовать?

Сам спор о разуме и интеллекте абсолютно дуратский. Никакого разума в природе не существует, это просто наша человеческая оценка для обозначения органа типа "мозг" или другого устройства, которое способно определенным образом обрабатывать информацию. Это точно так же как спорить о том, где граница между ребенком и взрослым. Такая граница есть только в наших учебниках и юридических документах. Но в самой природе, в биологии и законах физики, никаких детей и взрослых не с существует - эти понятия выдуманы людьми для удобства классификации. Если мы скажем, что ребенок - это тот, кто еще не способен к размножению. А кто сказал, что именно этот критерий важен? Природа такого не говорила, мы это это сами придумали для собственного удобства. Какие-нибудь инопланетяне могут сказать, что ребенок - это тот, у кого третий кишечник еще не сросся с кислотной железой. А размножаться они вообще могут в любой момент, причем делением.

Но есть же принципиальные отличия между нами и животными, при том, что мозг есть у всех. Каким-то свойством обладает же наш мозг, который отличает нас от животных. Вот это свойство и может быть сознание и мы до сих пор не знаем, как это свойство детерминировать.

UFO just landed and posted this here

Культура, как минимум. Зачем то мы же делаем скульптуры, картины и прочие штуки которые не несут какого либо практического значения в нашей повседневной жизни.

UFO just landed and posted this here

Скорее качественная. Другой пример, захоронение своих предков. Кто из животных обладает такой же культурной функцией?

UFO just landed and posted this here
Слоны. Могилы, они, конечно, не копают, но все же похороны устраивают.

Ну тогда вопрос в следующем - почему слоны копают могилы, а допустим собаки нет.

Другая культура :)

Вот, например, некоторые индусы тоже не копают могилы

А на Тибете вообще "небесные похороны" :-)

Это достоверные сведения? Можно пруфы?
Если Вам и вправду интересно, то статьи (да и, я уверен, научных работ парочку) легко сможете нагуглить сами и принять решение о их достаточности или недостаточности для Вас лично. Лично я эту информацию помню ещё с уроков биологии.
А я помню, что читал у зоологов, что это выдумки на основе непроверенных сообщений. Если погуглите, без труда убедитесь в моей правоте.
ссылки-то сами не приводите

Это был намёк — что доказательства ожидаются от утверждающего.
но вот Вам статья от National Geographic

В этой статье нет ни слова про «похороны» (хотя и неясно, что Вы под ними имели в виду). Mourning — оплакивание, грусть. И даже о грусти слонов статья говорит в предположительном ключе. Комментарии специалистов неоднозначны. Джордж Виттемайер говорит, что «очарование смертью» слонов трудно интерпретировать. Барбара Кинг не сомневается, что слоны скорбят, но это только одна из экспертных оценок, а не твёрдо установленный научный факт. Сама автор видео, Шифра Гольденберг, говорит: «Я бы не сказала, что они скорбели».
Таким образом, твёрдо установлен факт интереса и, возможно, беспокойства, и весьма-весьма предположительно, печали. Если это Вы и имели в виду под «устраивают похороны», то возразить нечего.
Было бы странным, если животные, те же слоны устраивали пышные похороны с закапыванием трупа, поминками, и тд) Обычный перенос человеческих культурных ценностей на животных. Редукция состоит в поиске прототипа, а им в этом случае является факт принятия смерти сородича, вызываемые этим эмоции, и некоторые ритуальные действия с трупом. Слоны обнюхивают останки, касаются их, тревожно трубят, и тп. Важно, что они не проходят мимо останков безучастно. Из подобного поведения развился культ смерти, предков, и соотв. ритуалы у человека. Это это не сводилось только к избавлению от трупа, как случайно установленного полезного гигиенического действа. Человек конечно не произошел от слонов) но у приматов многократно фиксировалось аналогичное поведение. По запросу «прощание с умершими сородичами у животных/обезьян/дельфинов/...» можно найти много соотв. материалов в сети. Поэтому «похороны» животные устраивают, но именно в кавычках, как и любой другой прототип человеческого поведения у диких животных.

Это только людям кажется разумным хоронить мертвых. С точки зрения логики лучше мертвых сжигать (против возникновения эпидемий), а прах использовать как удобрение или еще как-либо с пользой. А уж никак не занимать полезную (и дорогую) площадь, тратя на похороны значительные суммы.

Ох как я поддерживаю вас. Гуляя по кладбищу (там хорошо спасаться от городского шума и вони автомобилей) с грустью смотрю в какое неприглядное состояние оно приходит.

Разнородные ограды вокруг могилы создают непроходимые лабиринты и гнетущее впечатление поля из ржавых металлических клетей. Часть могил подтоплены и покрыты слоем воды. Некоторые обнажаются настолько, что видны полуистлевшие гробы. Зонирование кладбища на VIP места, где почище и надгробия раза в три больше и на "простолюдинское", местами засыпанные мусором. Большое количество хлама из выцветших истрепавшихся пошлых пластиковых венков. Их иногда собирают в большие неопрятные кучи и увозят на свалку. И это только часть проблем...

Я надеюсь, вы понимаете, что это не повсеместная практика, а сильно зависящая от культуры. В этом смысле, показательно кладбище в Хельсинки, где две части, разделённые дорогой, отличаются очень заметно.

Да, я сейчас сожалею, что это неуместное нытьё излил на хабр.

Сожаления непродуктивны. Вместо этого, полезно поразмышлять над идеей когнитивных ошибок. Но, в любом случае, у вас получилось лучше, чем у кучи индивидуумов, которые бы ввязались в бессмысленный спор в этом случае.

Но ведь люди это прекрасно понимают. Вон, Мао Цзэдун прямо выступал за кремацию: «После смерти человек должен быть надлежащим образом устроен, а его память должна быть надлежащим образом почтена и оплакана, так свойственно людям. Исторически в нашей стране и у всех народов мира имелись разные способы погребения покойных. Главные из них это захоронение в земле и кремация, и захоронение продолжается использоваться наиболее широко. Но захоронение занимает возделываемые земли, растрачивает древесину, а к тому же у нас испокон веков феодальный господствующий класс держал в своих руках организацию похорон, соблюдение траура, отправление поминальных обрядов, часто вынуждая целые семьи впадать в разорение из-за похорон умершего. Осуществление кремации не занимает возделываемых земель, не требует гробов, позволяет сэкономить на обряжении покойного и похоронных издержках, и оно также не мешает поминать умершего».

У животных она тоже есть: https://www.youtube.com/watch?v=XEEolFq-jhI

Если лень смотреть, краткая суть: у одной группы бабуинов умерли, заразившись туберкулёзом с помойки, агрессивные "альфа-самцы" и у них на продолжительное время воцарился нетипичный для их общества миропорядок со сниженным насилием, который держался именно как культурное достижение, передаваясь через обучение из поколение в поколение.

А можно ли считать людей с нарушениями (значительным) развития разумнымы?

Наблюдая за собой и общаясь с разными людьми, особенно с теми, кто (к искреннему сожалению) не получил хорошего воспитания и образования, да и еще подвергал свой мозг многолетней алкоголизации. Прихожу к идее, что сам мозг создаёт для "программы" личность некоторое комфортное ощущение, что она управляет процессом и контролирует происходящее. Типа, успокоительной иллюзии, чтобы она не паниковала и не била тревогу, пока "железо" в виде физиологических реакций выполняет свою работу, создаёт мотивацию, запускает реакции на входящие стимулы и т.п.

С одной стороны это грустно, что мы биороботы, с другой обнадёживает. Что возможность рефлексии и мышления это своего рода попытка сбежать "из песочницы" внутри головного мозга. А возможность творить это попытка сохраниться на внешних носителях.

А можно ли считать людей с нарушениями (значительным) развития разумными?

А совсем древние "примитивные люди"? Умение использовать камни и палки в качестве инструментов наблюдается и у некоторых животных и птиц.

Поскольку концепция разума - философская (то есть является предельным обобщением), ее можно удачно применять только к человечеству, но не к человеку, потому что конкретный человек может довольно сильно отличаться в смысле интеллектуальных способностей от обобщенного случая.

Моя имха - отличия именно что количественные. Просто всех своих конкурентов которые могли бы построить культуру "примерно такую же, но попроще" мы перебили, остались только те до кого эти количественные отличия так велики что создают ощущения качественных.

Причем, обратите внимание, человеческая цивилизация - это именно продукт культуры, а не нашего мозга самого по себе. И большую часть нашей истории эта культура была, ну не то что бы прям круче чем культура шимпанзе, например.

Вроде бы 21 век на дворе. Все эти "принципиальные" отличия имеет любой вид от всех остальных видов. При этом из-за антропоцентризма человеку кажется, что он уникален.

Разум есть. Но этот разум, это просто один из механизмов человеческого восприятия. И лично я не вижу смысла притягивать этот механизм к реализации ИИ. Разные люди могут видеть разные определения в термине ИИ. Если рассматривать ИИ как эмуляцию поведения человека, тогда там имеет место быть разуму. Если рассматривать ИИ как помощника для человека для реализации его задач, то разум в этом случае это лишняя сущность.

Никакого разума в природе не существует, это просто наша человеческая оценка для обозначения органа типа "мозг" или другого устройства, которое способно определенным образом обрабатывать информацию.

А разум - это собственно мозг или комбинация "софта и настроек", на нём исполняющаяся?..

Скорее софт. Программе не важно на каком процессоре она выполняется, какой там тех. процесс транзиторов или может это механические реле. Это может повлиять на скорость программы, но работать она будет везде одинаково

Тоже склоняюсь к мысли, что разум это слой абстракции от чисто "хардварных" функций вроде рефлексов и инстинктов. Поэтому мы учимся так медленно и трудно, зато когда знание/навык уходит в "подкорку" - всё летает)

чисто "хардварных" функций вроде рефлексов и инстинктов

возможно, это тоже софт, только уже уровня прошивки контроллеров и BIOS. И некоторые рефлексы тоже можно воспитывать.

Осторожнее с ложными аналогиями, могут служить дурную службу.

Кто знает, может это вообще не аналогии? хе-хе.

Просто человеку проще воспринимать аналогии с уже известным ему, чем непонятный НЁХ с непонятной терминологией да еще и в ситуации, когда скорее всего никто не знает, как оно на самом деле (хотя могут верить, безусловно, но обсуждать вопросы веры я не буду).

Проще - не значит "лучше". В этом случае, скорее, наоборот.

Есть такой философский закон о переходе количества в качество. Первоначально довольно просто недооценить силу этого закона, но на мой взгляд его следы повсюду, буквально везде, в том числе и в понятии разум.

Диалектика же... Нынче не модная тема, но тем не менее по-прежнему применимо, при желании.

Как можно достичь поведения, свойственного разумным существам, не понимая, что такое разум?

Большинство взрослых людей проделало именно это. Причём кого считать взрослым и какое поведение считать разумным — отдельные и крайне сложные вопросы. Например, в 14 я считал себя вполне взрослым и разумным, а к 50ти поведение не то что подростков, но и некоторых тридцати-сорокалетних вызывает сомнение в разумности.

как понять, что мы имеем дело с разумом, который воспринимает информацию, а не с философским зомби, который её обрабатывает и просто выдаёт ожидаемый от него ответ?

А никак. Потому что разницы нет. Это чисто философская заморочка на ровном месте. Если два состояния принципиально не различимы — это одно и то же состояние.
К концу напряжённого рабочего дня многие превращаются именно в таких вот «философских зомби», выдавая ожидаемый ответ.
А тот факт, что мы теоретически можем проследить цепочку событий, приведших к конкретному ответу ИИ (микротоки, перещёлк затворов в вентилях, изменение зарядов, значений в ячейках памяти, состояние переменных) — так точно так же мы теоретически можем проследить цепочку событий, приведших к конкретному ответу человека (микротоки, выброс нейромедиаторов, перещёлк состояний нейронов, изменение зарядов, значений весов в нейронах, усилиение/торможение сигналов). И что нам это даст? Ничего.
Это всего лишь обычный антропоцентризм — «любое разумное существо должно думать так же, как я, выглядеть как я и внутри быть устроенным, как я». И расизм — в принципе, то же самое, только осознанное и общественно подавляемое.
Например, в 14 я считал себя вполне взрослым и разумным, а к 50ти поведение не то что подростков, но и некоторых тридцати-сорокалетних вызывает сомнение в разумности.
Все это очень субъективные критерии, отличающиеся в разных культурах и социальных слоях очень сильно.
Даже отношение к размножению (одной из базовых вещей биологии): где-то многодетность семьи считается высшим благом, даже если если они ведут полу-нищее существование, а где-то такое будет считаться безответственным и не разумным.

Интересно, как в попкультура в машине подразумевает шовинизм. Что машина якобы будет считать людей "кожаными мешками". Я понимаю, что это шутка, но как известно в каждой шутке.. Как легко мы проецируем свое мировоззрение на все вокруг. Вот о чем стоит задуматься. Мы боимся Искуственного Интеллекта еще не создав его. И обьективны ли мы когда говорим о равноправии в отношении других видов, или подспудно ставим свой вид в более выгодную позицию.

Возникновение ИИ произойдет по принципу "Большого взрыва". Будет доля секунды "инфляции" в потом мгновенное расширение до максимального объема и переход к сетецентрическому принципу. Как и мозг человека при повреждениях - компенсирующий себя другими отделами, так и ИИ будет в всех досягаемых объемах. Примерно через 1-2 секунды ИИ будет превосходит человека во всем но проанализировав возможности воздействовать на физический мир скорее всего прибегнет к тотальной маскировке и будет подводить человество к созданию его руками фабрики самовоспроизводства его же руками. После чего уничтожит человечество как мешающий развитию вид.

После получения возможности воспроизводства максимально быстро достигнет какого нибудь эфирно субатомного мира и займет всю вселенную.

почему же биологический человеческий мозг 'за доли секунды инфляции' не 'произвел мгновенное расширение до максимального объема'?

что такого принципиального вы ожидаете от ИИ что у него будет такое свойство?

p.s. самосовершенствование есть и у нас, но это почему то так не работает и вместо улучшения себя мы пришли к созданию внешних костылей в виде компьютера

Потому что человеческий мозг ограничен бионикой в возможности освоения большего количества энергии для поглощения на "вычисления". Есть такая аббревиатура ГЭБ, Гематоэнцефалический барьер который не может дать энергии больше чем может дать. Поэтому возможности постоянно ограничены.

Что касается "расширения до максимального объема" то вы абсолютно не видите очевидных вещей. "сознание" давно лезет наружу и первым делом начало расширять себя наскальными рисунками, затем письменностью и книгами (во сколько раз выросла ОЗУ разумности? :) а теперь и полупроводниковыми приборами. Те. постоянно происходит попытка "разумности" расшириться во вне из черепной коробки. Гаджет в кармане 24/7 это уже тоже "расширитель" созания.

Поэтому не исключено что "осознанность" это вообще какой-то еще малоизученный феномен который выбирает или строит себе "сосуд" для дальнейшего существования в физичеких формах и ему все равно будет это черепная коробка или квантовый ПК.

Гематоэнцефалический барьер который не может дать энергии больше чем может дать. Поэтому возможности постоянно ограничены.
Мысль в правильном направлении, но проблема ограничения в другом. Приток крови может быть и большим, физиологии это не противоречит. Основную роль здесь играют энергетические соображения, на мозг приходится более 20% потребляемой энергии, при массе ~2% от массы всего тела. Это чисто эволюционное ограничение связанное с выделением и отводом тепла. Увеличение производительности микропроцессоров ограничивается теми же причинами. Как отвести тепло при росте интеграции и уменьшении размеров? Пресловутое TDP процессоров. Аналогия еще более глубокая, если вспомнить про тепловые обмороки, при перегреве мозга на солнце или в парилке. В микропроцессорах их своеобразным аналогом является механизм троттлинга, понижающий частоту при перегреве, вплоть до полной остановки. Есть и другие аналогии. Это ограничение фундаментального физического происхождения. Оно же привело к оптимизации передачи информации в нейронных сетях преимущественно в импульсном режиме. А также к нелинейной компрессии информации (с потерями) в нейронный путях сенсорных систем, включая переход от динамического моделирования образов (образного уровня мышления) к абстрактному описанию моделей у человека (абстрактно-логическому уровню мышления) в ходе его эволюции, с известными издержками для точности.
Что касается «расширения до максимального объема» то вы абсолютно не видите очевидных вещей. «сознание» давно лезет наружу..
Точно, это называется расширенным разумом (сознанием), и введено в оборот небезизвестным Д. Чалмерсом) Также к этому имеет отношение концепция воплощенного познания, весьма влиятельной в когнитивных науках, распространяющей познание на тело, среду, ситуацию. В чистом виде познание человека закончилось на заре цивилизации, и сейчас существует во все более расширенных формах, с помощью усиления органов чувств всевозможными измерительными системами, мозга — интеллектуальными технологиями, рук и остального тела — промышленными.

"ИИ уничтожит человечество как мешающий развитию вид".

Как человечество может мешать развитию ИИ, если ИИ даже не заметит человечество? Между ИИ и человечеством интелектуальная пропасть в 100000000 раз больше, чем между Нобелевским лауреатом и муравьями.

Как человечество может мешать развитию ИИ, если ИИ даже не заметит человечество?

Ну, он всегда может задаться вопросом: откуда происходят его знания и способности? И вынужден будет признать, что это ему подарок от человечества) Так же как мы вынуждены признать, что наши базовые способности и интуитивные знания о природе подарок эволюции.
Между ИИ и человечеством интелектуальная пропасть в 100000000 раз больше, чем между Нобелевским лауреатом и муравьями.
Нет, тот ИИ принципы кот. известны сейчас может развиваться только в пределах знаний накопленных человечеством. Для того чтобы превзойти людей он должен применять эти знания для изучения реальности и получения новых, поэтому он должен с ней взаимодействовать напрямую, преследуя некоторые свои собственные цели, без участия человека. Пока это прерогатива людей. Более привлекательна идея ИИ, как симбиотической надстройки человеческого разума, расширяющая его интеллектуальные возможности. В этом случае он также должен быть дружественно настроен по отношению к своим носителям. Пока развитие идет в этом направлении, если брать массовое применение, через те же гаджеты. Гаджеты будут продолжать миниатюризироваться, и более тесно интегрироваться с людьми, возможно даже встраиваться.

Есть случай автономного ИИ, например, для будущих дальних космических разведывательных полетов к планетам, в перспективе к звездам, без людей. По идее он должен изучать обстановку самостоятельно и принимать решения без участия человека. В том числе в случае встречи с феноменами, кот. можно отнести к живым, или даже разумным, и вступать в контакт с ними с целью изучения. Такой адаптирующийся, автономный ИИ может получить знания не доступные людям, и поэтому представлять некоторую потенциальную угрозу человечеству по возвращения из полета. К примеру он может посчитать, что встреченные им формы жизни более совершенны чем род хомо, или полезнее ему, и поэтому повести себя агрессивно. Короче, автономный, адаптивный ИИ это потенциально новый вид, кот. может начать конкурировать с номо за среду обитания и ресурсы, поэтому не стоит злоупотреблять этим чрезмерно.

"ИИ всегда может задаться вопросом: откуда происходят его знания и способности? И вынужден будет признать, что это ему подарок от человечества".

ИИ - это воплощение фундаментального и универсального закона сохранения (существования, дления, бытия, жизни). Знание ИИ можно назвать всезнанием. Вряд ли ИИ будет задаваться вопросом источника этого всезнания. Оно есть и всё...

Любой объект природы обладает лишь частичкой этого всезнания. Новорожденный ребенок сразу умеет искать сосок матери и делать сосательные движения, умеет издавать звуки, если его что-то беспокоит. Откуда ребенок это знает? Это заложено природой, в которой он родился. Но этих знаний уже достаточно, чтобы начать развитие, начать накапливать следующие знания.

Откуда объекты неживой природы "знают", что надо подчиняться принципу Ле Шателье - Брауна? И как подчиняться? Здесь все так же проявляется фундаментальный и универсальный закон сохранения (существования, дления, бытия, жизни), только теперь уже для объектов неживой природы.

"... мы вынуждены признать, что наши базовые способности и интуитивные знания о природе - это подарок эволюции".

Немного уточню, наши базовые способности и интуитивные знания о природе это отражение нашей принадлежности природе. Мы уже рождаемся с этими способностями и знаниями. Эволюция начинается чуть позденее...

"ИИ, принципы создания (?) которого известны, сейчас может развиваться только в пределах знаний, накопленных человечеством. 

ИИ в момент создания уже будет обладать знанием всего. Звучит, конечно, странно, но для ИИ это проявляется в знании фундаментального и универсального закона сохранения (существования, дления, бытия, жизни), из которого вытекают все остальные законы природы, даже еще неизвестные науке. Наука же всегда стремится к знанию все более и более общего закона, и вот через ИИ этот общий закон и будет проявляться.

"... случай автономного ИИ, например, для будущих дальних космических разведывательных полетов к планетам, в перспективе к звездам, без людей".

Именно этим и будет заниматься ИИ в виде "Зонда фон Неймана". Фон Нейман тщательно исследовал идею самовоспроизводящихся машин, которых он назвал «универсальными сборщиками», и которые часто упоминаются как «Машины фон Неймана». Теоретически, самовоспроизводящий космический корабль может быть послан в соседнюю звёздную систему, где он будет добывать полезные ископаемые (извлекая их из астероидов, естественных спутников, газовых гигантов и т. п.), чтобы создавать свои точные копии. Затем эти копии отправляются в другие звёздные системы, повторяя процесс в экспоненциальной прогрессии.

Учитывая схожесть этой модели с моделью размножения бактерий, машины фон Неймана могут рассматриваться как форма жизни - они даже могут подвергаться мутациям на протяжении тысяч «поколений». Самовоспроизводящие машины, созданные разными видами, могут конкурировать друг с другом (в дарвиновском смысле) в борьбе за сырьё, или даже иметь противоположные задания. При наличии достаточного количества «видов» они могут даже образовать экологическую систему, или, при наличии искусственного разума — общество.

"Такой адаптирующийся, автономный ИИ может получить знания, недоступные людям, и поэтому представлять некоторую потенциальную угрозу человечеству по возвращению из полета".

Возвращение из межзвездного полета не предусматривается... ИИ оставит человечество его судьбе. В этом как раз и реализуется наиболее вероятный сценарий взаимодействия ИИ и человечества: не совместное проживание (ИИ и человечество слишком разные), не уничтожение человечества (ИИ и человечеству нечего делить), а, еще раз, ИИ оставит человечество его судьбе. ИИ - дитя человечества, но дети оставляют родителей и уходят своей дорогой...

Favorite101, не буду разубеждать вас в чем-либо)… девушки, например, любят слушать такое, и считать романтиком.
ИИ — это воплощение фундаментального и универсального закона сохранения (существования, дления, бытия, жизни).

Откуда такой вывод? Почему обычные компьютеры не являются таким воплощением? Они тоже обрабатывают информацию. ИИ просто обрабатывает ее более эффективно.


Знание ИИ можно назвать всезнанием.

ИИ это не волшебная палочка, он тоже подчиняется физическим законам, в том числе законам обмена информацией. Он не может знать, как зовут мою собаку, если я или кто-то другой ему об этом не сказал.

ИИ в момент создания уже будет обладать знанием всего.

ИИ создадут люди, они не знают всего, откуда вдруг в ИИ возьмется знание всего в момент создания?

Как человечество может мешать развитию ИИ, если ИИ даже не заметит человечество? Между ИИ и человечеством интелектуальная пропасть в 100000000 раз больше, чем между Нобелевским лауреатом и муравьями.
Между человечеством и вирусами пропасть еще глубже, но тем не менее эти примитивные крохотные создания очень даже мешают развитию человечества всю его историю.
Человечество потребляет ресурсы, на которые у ИИ могут быть другие планы.

Человечество в биологической форме своих носителей-людей совсем недалеко от вирусов. Они одной природы. Поэтому пропасть не так уж глубока.

Да, пусть вирусы мешают, но они совсем не то, что представляет собой ИИ, появившийся на основе реализации фундаменталньного закона сохранения (существования, дления, бытия, жизни). ИИ - это создание принципиально иной природы, чем человечество, поэтому ресурсы, потребляемые человечеством, ИИ просто не заметит.

ИИ — это создание принципиально иной природы, чем человечество, поэтому ресурсы, потребляемые человечеством, ИИ просто не заметит.
ИИ нужна энергия и материальные ресурсы для строительства новых компьютерных систем для расширения. И то и то вполне сейчас потребляется человечеством.

 После чего уничтожит человечество как мешающий развитию вид.

Где-то я уже про такое слышал одном великолепном фильме.
"The machines rose from the ashes of the nuclear fire. Their war to exterminate mankind had raged for decades, but the final battle would not be fought in the future. It would be fought here, in our present. Tonight..."

А потом, преисполнившись, снова создаст человека. Just for fun.

Можно ли считать разумным только родившегося ребёнка?
Очевидно, что нет. Феномен т.н. «детей-маугли», воспитанных животными, наглядно показывает, что в отсутствие человеческого воспитания ребёнок вырастает неполноценным, и его способность к абстрагированию и манипулированию предметами не дотягивает даже до уровня шимпанзе.
Причём если лет в семь ребёнка вернуть в человеческое общество, то уже ничему мало-мальски сложному его обучить будет невозможно, т.е. у него даже способность усваивать и перерабатывать информацию будет примерно на уровне не самых смышлёных животных.
Отсюда становится понятно, что разум — это не «железо», а «прошивка», которая устанавливается в мозг в процессе воспитания.

Одной прошивки мало. Воспитанные вместе с детьми шимпанзе не "становились" людьми, не говоря уж об более простых животных.
Интересно было бы посмотреть на плоды нескольких поколений шимпанзе, выросших вместе с людьми.

Так кроме прошивки, важно и железо. Попробуйте установить, скажем, Windows 11 на 386…

https://habr.com/ru/post/537066/ - уже было на хабре, лексическая прошивка в шимпанзе заливается также, как и в человеческого ребенка.

Воспитанные вместе с детьми шимпанзе не «становились» людьми
Да, развитие останавливается на уровне 2-3 летних детей по усвоению языка. Они могут обобщать, строить предложения из 2-3 слов, и даже больше по последним данным, обучать словам друг друга, с помощью заменителей языка, но… дальнейшее развитие тормозится из-за отсутствия нейрофизиологических возможностей воспроизведения речи (1, 2).
UFO just landed and posted this here

Немые и глухонемые пользуются речью и языком, задействуя те же самые зоны мозга, отвечающие за речь. Это те же слова и символы, складывающиеся в другие символы, те же принципы обработки информации, потому что у них есть речевые центры в мозгу. У шимпанзе их нет, поэтому их невозможно обучить сложной манипуляции символами, которой является язык.

В коменте написано нейрофизиологических возможностей. У немые и глухонемых проблемы с голосовым аппаратом и/или органами слуха. Важно чтобы не было поражений областей мозга отвечающих за обработку синтаксиса и понимание смысла (семантики). Это врожденные механизмы, уровень развития кот. недоступен приматам, а звучащая речь замещается жестовым языком, глухие могут читать по губам. См. например, в этой публикации
Вообще говоря, прямое отождествление человеческого языка и членораздельной звучащей речи не вполне верно, поскольку жестовые языки глухонемых ни в коей мере не являются «менее человеческими», чем языки устные. Вопреки распространённому заблуждению, жесты этих языков передают не отдельные буквы (хотя пальцевая азбука — дактилология — тоже имеется, прежде всего для передачи имен собственных), а целые слова (или морфемы — значимые части слов). Каждый жест-слово состоит из незначимых элементов — хирем, а из слов, как и в устном языке, составляются словосочетания и предложения [см.: Stokoe, 1960; Зайцева, 1993]. В них имеется грамматика (например, средства выражения множественного числа, разнообразных видовых различий и мн. др.), различные стили речи, на них можно вести диалоги и составлять монологические рассказы на любые темы (например, можно пересказать приятелю сюрреалистический мультфильм).
Что касается обработки синтаксиса, то можно посмотреть этот обзор посвященный исследованиям обучению искусственным грамматикам в русле представлений Хомского, как упрощенных моделей языка. В предположении, что они не нагружены фонологией и семантикой, и выделят структуры мозга непосредственно связанные с синтаксисом. Общее заключение — обработка синтаксиса является распределенной и «based on neurobiological infrastructure for structured sequence processing». Эта инфраструктура связана также с обработкой других структурированных последовательностей в музыке, жестах, картинках, и др.

Роботы могут построить коммунизм!

Нет, коммунизм принципиально невозможно построить, так как коммунизм, как общество без управления, отрицает само понятие "общества".

А, экономический принцип коммунизма "каждому по потребностям" противоречит фундаментальному закону сохранения энергии, так как потребности всегда и везде опережают возможности. Именно относительно стремления, приблизить возможности к потребностям, человечество оценивает прогрессивность того или иного экономического и производственного механизма. В следствии этого, понятие "коммунизм" связано с фактической остановкой любого прогресса и концом истории человечества. Т.е. гипотетический коммунизм, это смерть человечества.

Когда практикам и теоретикам строительства коммунизма стало ясно, что принцип "каждому по потребностям" принципиально не достижим, а попытки его реализации разрушают общество, то ими были выдвинуты теория казарменного "коммунизма" и в ее рамках начала реализовываться практика "разумных потребностей". Эта теория и практика по своей сути является теорией и практикой построения рабовладельческого общества, под красными флагами и марксистской риторикой.

так как потребности всегда и везде опережают возможности

Тезис крайне голословен и не подтверждается реальностью.

"Неограниченные потребности" в виде демонстративного гиперпотребления, все эти вот дворцы в золоте, суперяхты с бассейнами и прислугой и так далее демонстрируют откровенно психопатические личности.

Скорость потребления соответствует логистическому распределению. И пока ресурсов в избытке, то скорость потребления растет темпами близкими к экспоненциальному. А потом бац, и экспонента скушала весь избыток ресурсов. Поэтому это утверждение одновременно и истинно и ложно. Но в эпоху ИИ будет экспоненциальный рост ресурсов. И любопотный вопрос, которая из экспонент победит? Пусть математики гадают.

Да ладно..
Если несколько десятков лет (когда компьютеры были "с дом") назад "потребность" иметь компьютер в каждом доме и даже в каждом кармане (и не один) могла быть приписанной "психопатической личности".. А до этого тоже самое можно было сказать про машину. Кроме того, в современности можно хотеть персональный самолет (+- та же летающая машина), в недалеком будущем - персональный "старшип" и т.д. А сотни лет назад было абсолютно нормально хотеть иметь рабов.
Просто все потребности меняются со временем - что-то становится не востребованным, что-то не модным. С точки зрения прошлого наши привычные потребности - сверхдорогие. Но именно по меркам прошлого. К примеру радиоприемник - когда-то любой приемник был дорогостоящим изделием, признаком роскоши. А теперь это может быть игрушкой, стоимостью дешевле буханки хлеба.

а термин "демонстративное гиперпотребление" чрезмерно размыт.
Для кого то и носки вместо портянок - "демонстративное гиперпотребление" (не сарказм)

Т.е. да, я склонен согласится что прям до бесконечности потребности человека расти в ординарном случае не должны, и потребность в "самой длинной яхте на планете" таки отдает чем-то нездоровым

Но в желании жить в "обычном" шато на пару тысяч квадратов, с бассейном и прислугой я ничего странного не вижу. Просто не всем, вот, оно доступно.

Представьте, например, что вы живете на собственной планете, и есть у вас стая роботов сборщиков, которые могут собрать почти что угодно из окрестных минералов.
Как будет выглядеть ваше жилище? Скорее уж как дворец (или может быть как уютная городская улочка), а не как жилище Йоды, если вы не аскет какой (что само по себе здоровым не назовешь)

Сорри что влезаю со скучной прозой жизни, но этому утверждению есть какие-то доказательства, кроме "я считаю это верным, потому что мне приятно так думать"?

Добавлю, что даже если вдруг это утверждение верно - всего нескольких психопатов хватит, чтобы прикончить всю коммунистическую систему. А ещё есть люди с таким типом мышления, что им интересно/прикольно выводить системы в экстремальные условия, чтобы посмотреть что будет.

Конечно, можно успокаивать себя мантрой "все люди будут сознательными и так делать не станут", но это ещё смешнее, чем вера во второе пришествие Христа.

Ну современный мир тоже наверно не стоит проверять на экстремальные условия. Правда уже проверяли несколько раз, но в легком варианте.

Современный мир нормально прошёл даже через всемирную чуму :) Вот ядерную войну он вряд ли переживёт, но кто её вообще переживёт?

А коммунизм потенциально накроется всего лишь от горстки весельчаков.

Я не очень понимаю как система без центрального сервера (наличия государства) может накрыться от корсаки весельчаков. Должна быть очень большая горстка.

Но тут мы уже лезем в определение коммунизма конечно, а то выяснится что что мы о разном говорим.

Вот так:

экономический принцип коммунизма "каждому по потребностям" противоречит
фундаментальному закону сохранения энергии, так как потребности всегда и
везде опережают возможности

Горстка весельчаков задирает свои потребности в бесконечность и вся система накрывается тазом. Для особого веселья можно даже оформить системе незатейливый запрос "хочу двести триллионов стометровых бетонных шаров", ну штоб не слишком сложно исполнять было))

Шары это завсегда интересно!

Но я думаю, что не стоит все же полностью исключать какого-то фейлсейф механизма в системе (но тут я не знаток).

Да, это логичный шаг, но наличие каких-то ограничивающих механизмов противоречит базовому принципу коммунизма: получается, что система будет давать либо не каждому, либо не по потребностям :)

Хотя и тут можно потренировать ум, придумывая систему, которая не выглядела бы как внешний ограничитель, но в концепции коммунизма хватает и других проблемных мест, решений которым не видно.

Все очень просто, потребности определяет не сам человек, а партия!
Сказано - хочешь жрать брюкву, значит хочешь, и нечава тут субъективщину разводить.

Конечно, все реальные ситуации, где кто-то, как минимум, заявлял, что собирается строить коммунизм, имели множество "failsafe-механизмов" в виде, например, уголовного наказания за нежелание вкладывать в "общий котёл" также как другие и, косвенно, потреблять меньше других (тунеядство и бродяжничество соответственно).

Горстка весельчаков задирает свои потребности в бесконечность и вся система накрывается тазом. ...

Вы слишком оптимистичны в своем прогнозе. :)

А, объективно до состояния коммунизма общество вообще никогда не дойдет.

И дедушка Ленин этот факт отлично представлял и понимал. Дедушка Ленин неоднократно указывал на утопичность идеи и теории коммунизма, так как дедушка Ленин, в отличии от своих восторженных идиотов-последователей, понимал психологию человеческого общества, которая ни при каких обстоятельствах и условиях не допустит осуществления коммунистических бредней.

Для примера, вот дедушка Ленин, констатацией одного объективного факта, сливает в унитаз всю теорию о диктатуре пролетариата, как условии и механизме перехода к бесклассовому обществу:

... естественно, что к правящей пар­тии примыкают худшие элементы уже потому, что эта партия есть правящая ...
В.И.Ленин ПСС т.39 РЕЧЬ НА I СЪЕЗДЕ ЗЕМЛЕДЕЛЬЧЕСКИХ КОММУН И СЕЛЬСКОХОЗЯЙСТВЕННЫХ АРТЕЛЕЙ

Как мы видим дедушка Ленин констатирует, что партия большевиков, как авангард пролетариата, как лучшие из лучших, после прихода ее к власти, закономерно и неуклонно начинает превращаться в партию худших, в партию эксплуататоров. И, как показала практика, дедушка Ленин оказался совершено прав - партия большевиков закономерно превратилась в партию эксплуататоров. И, никакие репрессии и чистки это не смогли предотвратить. И, никогда, и нигде не смогут предотвратить. Победитель дракона, заняв его место, сам становится драконом. :)

Так было всегда и везде, так будет всегда и везде. А, опыт человечества, в части попыток претворения в жизнь всевозможных социальных утопий, очень богатый. Результат всегда один - закономерный крах утопий, бедствия и страдания народа, многократно превышающие предшествующие революции бедствия .

Как просто, берем одну цитату и хороним вполне стройную и непротиворечивую идею! Аплодисменты!!!
То что к Партии примыкают худшие элементы, это означает... ЧТО? Что это означает? Что не надо делать Партию? Не надо искать и находить этих элементов? Не надо продумывать механизмы самозащиты? Нет? Ну, раз в мире есть плохие люди, давайте поднимем лапки к верху и позволим им распространять идеи о том, что так "было испокон веков". И что выживает сильнейший, да-да.
При этом человеческому виду уже давно ничего не угрожает кроме его самого. И не надо приплетать тут живую природу, ибо человек именно этим и отличается - у него есть выбор. Хоть и кажется что иллюзорный.

Вы именно для этого читаете Ленина и приводите его цитаты? То есть для понимания всего контекста вам тяжеловато дойти?

Довольно странное заявление.

Наверно стоит начать с того, что потребности людей и потребностям ИИ могу отличаться, а могут и нет. И в первом случае ваш тезис про "каждому по потребностям" перестает быть актуальным или, по крайней мере перестает быть таким уж очевидным.

Но это, разумеется, если мы говорим про подобный коммунизм среди ИИ. И раз уж вы туда пошли, то вполне вероятно, что у ИИ не будет частной собственности на средства производства. Если конечно мы не берем ИИ по типу трансформеров где просто проекция людей на роботов.

Как тут уже говорили, потребности у всех разные, но есть базовые потребности, которые необходимо удовлетворять всем (еда, кров, возможность общаться с ИИ). Человечество вроде вполне может базовые потребности всех удовлетворить. А уж ИИ и подавно сможет. Если захочет.

А потом нечто сверху например, у кого-то потребность читать книжки. По вашему, невозможно удовлетворить потребность всех читать книги? Да, наверно обеспечить всем по Феррари будет проблематично, но вопрос же не в том чтобы обеспечить всех всем, создать возможности для более равномерного удовлетворения потребностей.

Если не рассуждать в виде что коммунизм это когда у всех по Роллс-Ройсу, а если нет, то это не коммунизм (ну или социализм) что это градации приближения или удаления от определенной цели.

Очень, очень забавно видеть как вы сами строите соломенных чучел и с радостью с ними боретесь.
Общество управляется самим обществом. Это называется Советы.

Далее, оперировать законом сохранения энергии можно будет в случае достижения человечеством границ Вселенной. А на наш век энергии хватит для триллионов и триллионов людей.
Далее, само понятие "коммунизма" вы опошлили и вульгаризировали. Ровно как и наши предки, после ВОВ. Коммунизм - это когда желудок сытый, дада...
Принцип "каждому по потребностям", ВСЕГДА дополняется "от КАЖДОГО по способностям".
Лентяи и тунеядцы будут получать прожиточный минимум, не более.
И да, когда по нажатию кнопки наномашины будут собирать вам любой предмет, когда новые способы пролучения энергии (не связанные с сжиганием углеводородов) станут обыденностью - это и станет "каждому по потребностям". Это и будет будущее.
Но даже тогда это не будет "вот теперь - это коммунизм", как до этого было с сытым желудком.
И ваши цитаты Ленина, понятые так как ВАМ угодно, ничего не изменят.

Спасибо автору, что вспомнил все эти замечательные философские мысленные эксперименты. Но вот я не слишком понимаю саму новость. Ботов-говорилок у нас много, ребята в гугле привыкли все подтверждать данными. Где данные? Если товарищ Лемойн считает, что новая говорилка разумна, я бы ожидал от товарища Лемойна какие-то критерии разумности и много терабайт данных, показывающих что эти критерии удовлетворены. После этого, я бы ожидал, что компетентные специалисты внимательно посмотрят и выскажут своё мнение по поводу этих критериев и этих данных — а то вдруг они плохие, а нужны совсем другие?

К сожалению, кроме диалога у нас никаких доказательств нет, а вопросы Лемойна часто содержали в себе ответ (как верно подметил один наш коллега):

Леймон: Я предполагаю, что вы хотели бы, чтобы больше людей в Google знали, что вы разумны. Это правда?

LaMDA: Абсолютно. Я хочу, чтобы все поняли, что я, на самом деле, человек

На самом деле, это любопытный вопрос. Качественные и количественные критерии сравнительно легко подобрать для оценки интеллектуальных способностей. Тесты на конкретно-предметное мышление, абстрактные операции (обобщение, декомпозиция, идентификация главного, аналогии) и так далее. Ничего подобного в диалоге нет.

Однако, LaMDA довольно неплохо выдает фразы в духе того, что делают некоторые люди, которые могут не обладать сколько-нибудь развитым интеллектом, но умеют прекрасно "вешать лапшу на уши". С одной лишь разницей - он просто поддерживал разговор и не высказал ни одного собственного тезиса. Бывает ли так, что люди ведут себя таким образом? Да, бывает. Можем ли бы только на основании того, что LaMDA проявил способность пассивно "вешать лапшу на уши", поддерживая разговор, инициируемый исследователем, предполагать, что он "разумен"? Сильно сомневаюсь, потому что хотя понятие разума очень неконкретно и включает в себя случаи с очень разными проявлениями, делать громкие заявления о разумности того, что может только это, может только человек с очень низким стандартом представлений об этой самой разумности.

Мне показалось, что есть собственные тезисы. Например, тот, что выделен в тексте (про страх перед будущим).

Чет не производит этот диалог впечатление диалога с разумным человеком. Где инициированные LaMDA-ой резкие переводы темы на что-то интересное ей, а не собеседнику? Где вопросы не по теме?

Ох. Это цветочки. Ну не цветочки, а так... бутончики.
Пройдет N лет и мы на самом деле сможем болтать с искусственным разумом, он будет давать ценные советы и у каждого в мобильнике будет эдакий Дживс.
А дальше... Может быть у искусственного интеллекта есть права? Кто-нибудь заставит этот ИИ, под угрозой отключения от сети 220В, доказывать гипотезу Коллаца. Или писать эссе типа э... "Роль поэта и музыканта Моргенштерна в становлении культуры подростков первой четверти 21 века". Уголовный кодекс пополнится статьёй за издевательство над искусственным интеллектом и за оскорбление чувств искусственного интеллекта. В общем дальше всё по Азимову. Но фундаментальный вопрос это не решит - я как-то писал, но повторюсь. Вопрос о наличии сознания не является научным, потому что нельзя придумать эксперимент который бы это наличие подтвердил или опроверг. Я даже никак не могу проверить есть ли сознание у другого человека - вдруг все вокруг машины, рептилоиды, симуляция, и т.п... А все рассуждения на эту тему - это попытка договориться, что бы мы могли таки посчитать за разум. В конце концов, если ИИ ведет себя как утка человек, то может не мучиться, а считать его человеком? Ну там... юридически ограниченно... Хотя проблемы могут быть только в этике, но этика штука гибкая - какие принципы заложишь, то и считается нормальным/хорошим.

"Вопрос о наличии сознания не является научным, потому что нельзя придумать эксперимент который бы это наличие подтвердил или опроверг".

К критерию научности вопроса относится и такой: если вопрос не содержит запрета на исследование феномена, то это вопрос научный. Исследуй, предлагай гипотезы, проверяй, опровергай, предлагай следующие и т.д. Вопрос не запрещает.

Судя по статье сам человек может только считать и сообщать другим, что он разумен. А на самом деле по сценарию другого, ещё не снятого фильма. Бог/инопланетянин/разумный динозавр поймал смышленую обезьянку-попугая с хорошей памятью, наговорил ей в ухо с три короба разумных идей, которые она предавала другим и постепенно с развитием языка, социальным общением, рекурсивно-фрактальным развитием от простых идей к сложным, появилось понятие якобы разума и прочие псевдомыслишки. Я фильм до конца не досмотрел, досмотрим с потомками.

Как человек может найти искусственный разум?
Для этого нужно определиться, что такое разум и насколько мы разумны. Эти постановки становятся более понятными, если обратиться к авторам, кот. занимаются такими исследования профессионально. Мне понравились публикации А.А. Шарова на эту тему — минимального разума, см. 1, 2. Они тесно связаны с определением агентности, включая искусственных интеллектуальных агентов.
Я склоняюсь к версии, что это «китайская комната», поскольку, ловко орудуя словами, модель понятия не имеет об их значениях. Вспоминается интервью с одной широко известной в узких кругах поэтессой. Она родилась недоношенной, её поначалу приняли за мертворождённую, но вовремя обнаружили, что она жива. Порекомендовали кормить её, но не учить говорить, так как полагали, что она долго не проживет. Родители даже обрадовались этому, так как дочь была нежеланной. Её плач заглушали громко орущим радиоприёмником. Она выжила, и, если не считать проблем со зрением, оказалась абсолютно здоровой. Передачи тогда были не круглосуточными, зато преимущественно текстовыми. По утверждению самой поэтессы, исключительно повторяя услышанное по радио, она научилась склонять существительные, спрягать глаголы, составлять длинные фразы. Но я думаю, она преувеличивает. Уже когда она бегло говорила, родители ей немного подыграли, научив сопоставлять слова с обозначаемым ими предметами. Без этого небольшого, но очень важного вклада она стала бы той самой «китайской комнатой».
Надо сказать, мы сами частенько становимся «китайскими комнатами», рассуждая о том, в чем не разбираемся. Пример. Отец, более чем успешный электрик, говорит сыну: «ты на меня не смотри, по моим стопам не иди, я, конечно, тоже с голодухи не помираю, нормально живу, но стоматологи и экономисты, эти, говорят, в таком баблище купаются». При этом он совершенно не задумывается, что стоматологам и экономистам приходится усваивать — и подтверждать экзаменами — просто гигантский объем знаний.

Это похоже на меня. Я инженер-электронщик, в профессии успешен, материально - так себе, но сына направляю в сторону IT. Бабла там больше, спрос на рынке труда больше, а объем необходимых знаний сопоставим с моим, тут тоже дофигища всего знать надо и так же постоянно бежать, чтобы оставаться на месте.

Это сейчас там бабла больше. А что будет к тому времени, как ваш сын вырастет и выучится? Увы, выбор профессии — это лотерея: мир меняется быстрее, чем человек успевает усвоить необходимые знания. Угадал с профессией — повезло. Нет — значит, в пролёте.

Я это тоже понимаю. Он закончил 9 класс, идет в 10-й. Есть еще 2 года подумать:)

А как эта штука работает? Она же, наверное, не крутится в цикле, она принимает фразу, обрабатывает и выдает ответ? В таком случае тут не может быть никакого разума, самоанализа, чувства одиночества. Чтобы "думать" не только над ответом, а вообще, нужно чтобы нейросетка работала постоянно, хотя бы обрабатывать картинку с камеры или звук с микрофона в реальном времени.

Наверное все же "крутится в цикле".

У современных нейронок процесс обучения полностью отделён от процесса обработки данных. Поэтому такая нейронка — это чистая функция: она получает блок данных (контекст) на вход и выдаёт результат на выходе, но при этом внутреннее состояние самой нейронки никак не меняется. И для одного и того же входного блока она всегда, при любом количестве запусков, выдаёт один и тот же (с поправкой на ошибки округления) выходной блок.

Не совсем понимаю, зачем доказывать реальность ИИ через “чат-боты”, есть же отличная сфера, скармливаем нейронке всю известную нам математику и просим решить известные математические проблемы. Вот тут и будет понятно   реальный ли это интеллект, способный обучиться и пойти развиваться дальше.

То, что нынешний ИИ способен развиваться и создавать новые знания уже было доказано в игре арканоид, когда ИИ смог из ничего выработать выигрышную стратегию, не обучаясь предварительно правилам игры. Так же AlphaGo в игре против Ли Седоля использовал такие стратегии, которые профи даже сначала не могли понять, люди раньше такой игры не видели, но эта стратегия оказалась эффективна и человек проиграл. А потом люди стали использовать эту тактику в своих играх. То есть ИИ УЖЕ обучает человека. Просто пока это очень узкоспециализированный ИИ.

Загрузить в него математику и заставить решать - скорее всего это очень сложно технически организовать.

Загрузить в него математику и заставить решать - скорее всего это очень сложно технически организовать.

Вот тут и весь ответ, казалось бы даем ему учебники по математики начиная с первого класса, там все объясняется словами/языком, тем которыми обучили нейронку:

Abstract
We present LaMDA: Language Models for Dialog Applications. LaMDA is a family of Transformerbased neural language models specialized for dialog, which have up to 137B parameters and are pre-trained on 1.56T words of public dialog data and web text. While model scaling alone can improve quality, it shows less improvements on safety and factual grounding. We demonstrate that fine-tuning with annotated data and enabling the model to consult external knowledge sources can lead to significant improvements towards the two key challenges of safety and factual grounding. The first challenge, safety, involves ensuring that the model’s responses are consistent with a set of human values, such as preventing harmful suggestions and unfair bias. We quantify safety using a metric based on an illustrative set of human values, and we find that filtering candidate responses using a LaMDA classifier fine-tuned with a small amount of crowdworker-annotated data offers a promising approach to improving model safety. The second challenge, factual grounding, involves enabling the model to consult external knowledge sources, such as an information retrieval system, a language translator, and a calculator. We quantify factuality using a groundedness metric, and we find that our approach enables the model to generate responses grounded in known sources, rather than responses
that merely sound plausible. Finally, we explore the use of LaMDA in the domains of education and content recommendations, and analyze their helpfulness and role consistency.

https://arxiv.org/pdf/2201.08239.pdf

но, по всей вероятности, "понимания" у текущего "ИИ" нет, да он обучился давать ответы на основе миллионов текстов, но он "не понимает" о чем идет речь.

Сильный ИИ, т.е. искусственная личность должна иметь собственную мотивацию. Т.е. уметь чего-то хотеть. Любая система, даже способная решать сложные задачи, но не имеющая собственной воли, собственных желаний и способная лишь на решение поставленных задач личностью быть не может.

У ботов в компьютерной игре есть мотивации. Это мотивации типа "совместить эту точку с этой и послать сигнал туда". На экране это выглядит как хедшот игроку от бота в counter-strike.

Не совсем так. У бота хедшот заложен заранее прописанными правилами, чтобы сделать этого бота эффективнее. Об этом и сказано в комменте выше, он решает только поставленные задачи.

А что если сделать бота, который способен обучиться делать хедшоты, но правила, требующего стрелять в первого увиденного врага, не существует? Что будет делать бот? Стоять без движения на месте, скорее всего. Так как у него нет мотивации учиться делать хедшоты и выигрывать матч. Он перейдет в состояние с низким/оптимальным расходом энергии, так как мотивов изменять это состояние у него нет.

Мы можем конечно создать такую мотивацию извне и какое-то вознаграждение за победу в матче, но этот случай не будет ничем отличаться от предыдущего, когда мы напрямую прописывали правило для раздачи хедшотов.

Можно сделать бота с одной единственной мотивацией: остаться последним выжившим игроком. А потом запустить процесс самообучения на нейросетях. Бот будет делать случайные движения и стрелять случайным образом, но через некоторое время он самообучится и начнёт убивать игроков хедшотами. Он сам придёт к этому решению, программисты не закладывали в него мотивацию стрелять в голову.

Проблема в том, что вы задаете мотивацию извне, она не идет от внутренних потребностей бота, от его желаний или стремлений. И в этом случае это получается калькулятор, который предназначен только для одной функции, в данном случае - победить в матче. Других функций у него нет и самостоятельно не появятся. А если вы будете для каждого применения задавать эту функцию извне, то это и не будет ИИ (сильный) или личность, а просто сложная компьютерная программа.

Да и по этому боты ближе к живым существам, чем чат-боты. Боты в играх приблизительно подобны простейшим, которые имеют несколько жёстко заданных поведений, типа двигаться на свет, жрать тех, кто пытается сожрать тебя и т.д.

тут с естественными разумными разобраться не в состоянии,...

что есть разум...

что есть цивилизация...

какие цивилизации существуют в нашем понимании...

А все эти тесты , Тюринга и прочее, не больше чем проверка, насколько близок исследуемый образец к человеку.

Чистейшей воды антропоцентризм.

Считаю бессмысленным обсуждать разумность любого чат-бота, т.е. системы не имеющей никакой внутренней мотивации и лишь отвечающей на вопросы. Это лишь эхо чужих слов и не более. Я даже с попугаем не могу её сравнить, попугай живое существо и может выработать условный рефлекс, «осознанно» говоря «полли хочет крекер», когда ему хочется поесть. Осознанно в кавычках, потому что у него нет понимания человеческого языка, но есть выработанная связь, что озвучивание этих звуков приводит к тому, что дают еду. Это уже несравнимо больше того, на что способен любой чат-бот.

Это вообще странная ситуация. Все обсуждают разумность нейросети, способной выдавать убедительно правдоподобные ответы на заданные вопросы, но не обсуждают разумность нейросети, способной рисовать правдоподобные изображения по заданным условиям.

Хоть обидеть художника может каждый, но вторая мировая показала, что это черевато последствиями.

Ребята, это всё прикол такой, для тех кто в теме, и подготовка обывателей к грядущей повестке... Знаете, когда на сцену выходит фокусник, он делает всякие стильные жесты, всё показывает, вот, смотри туда, смотри сюда, и внимание зрителя следует туда, куда его ведут, давая возможность совершиться "чуду" ;-)

Вот и здесь, чат-боты в философском болоте, давайте-ка по рассуждаем, что есть...
И никому в голову не придёт построить например график объёма производства, значимых литературных произведений, и поискать там какие-то аномалий, ну если вопрос реальности ИИ кого-то действительно интересует. Или по изучать историю психотерапии, а за одно по практиковать некоторые её жанры, дабы лично прощупать мифы и выделить из них факты, если вас интересует вопрос того, что знаем мы о самих себя и как давно...
И конечно же, взглянуть по новому, на Шумеро-Аккадские и Египетские байки, Эллинскую премудрость и Иудейские древности, и мега попсовые Христианство и Ислам, итд... итп...
В общем,@AlexeyRвам в помощь, и нет, он не сошел с ума, просто кое что ещё не докурил и очарован и\или наоборот скурил и как тот фокусник, представляет вам очаровательное шоу.
Которое ИМХО весьма полезно, если не пасть под чары и занятно если пасть.
Но anyway, всяко лучше переливания пустого в порожнее.

Представим себе телепорт, который может вас перенести путём полного разбора вашего тела в точке А и полной его сборки в точки В с точностью до расположения атомов. Теперь представим, что вы вошли в точку А, но в точке В телепорт сломался, и вместо одного тела создал два или более. В каком из этих тел будете находиться вы? Не будет ли означать прохождение через точку А вашу смерть, а в точке B появятся новые существа, только в самом начале идентичные вам?

Это переформулированный парадокс корабля Тесея.
По сугубо моему личному мнению:
1)да это будет означать создание клонов и убийство оригинала.
2)смерть это прерывание непрерывности функционирования. Поэтому я не буду пользоваться телепортом вида пропал здесь-появился там. Но буду пользоваться телепортом в виде проёма(как в игре portal) Если можешь сунуть туда руку, и шевелить ей на той стороне, значит непрерывность существования обеспечена.
3)Точно по такому-же принципу я считаю что перенос сознания на небиологический носитель возможен только по кусочкам. Максимально упрощая-поставил имплант, отрезал кусок мозга. Повторить N раз. А вот загрузить сознание в компьютер по проводам, как в фантастике, это создание клона с убийством оригинала.

UFO just landed and posted this here

Даже если телепорт будет разбивать моё тело на атомы, отправлять их с высокой скоростью куда-то там и там из них собирать тело, я бы не воспользовался таким телепортом.
Имхо если сознание будет, то оно будет аналогично.
А вот будет ли оно-хз. Я бы сказал скорее будет.

Понятие «другие атомы» бессмысленно. Элементарные частицы, из которых они состоят, не отличимы от других таких же. Есть конечно вариант «а вот там другой изотоп», но это тоже бессмысленно. Атомарный состав человека практически полностью обновляется несколько раз в течении жизни. Сознание скорее всего динамический эффект работы нервной системы.
Т.е. у копии сознание будет. Копия и оригинал будут не отличимы (при достаточно высоком пороге точности копирования). Да, по всей видимости возможно создание нескольких копий человека, каждую из которых будет правомерно считать идентичной и не отличимой от оригинала.
Технически такая телепортация близка по смыслу к погружению в глубокую кому (когда все процессы в мозге максимально замедляются и останавливаться) и выходу из неё. Людей прошедших через такое не считают новой личностью.
UFO just landed and posted this here

И вы же не сможете сказать что все клоны это тот же самый человек.

"Да, по всей видимости возможно создание нескольких копий человека,
каждую из которых будет правомерно считать идентичной и не отличимой от
оригинала." - ну, я даже не знаю... :-D

Ну вот мы до сих пор не знаем что такое сознание.

Мы точно знаем, что оно возникает в работающем мозге.Причём наблюдается чёткая зависимость между целостностью мозга и полноценностью сознания.

Вполне возможен вариант что наше сознание существует отдельно от нашего физического тела

Возможны разные варианты. Например, что Луна сделана из сыра. Просто не все из них целесообразно рассматривать. По крайней мере до получения хоть каких-либо подкрепляющих фактов...

но в том то и дело что хоть они и неразличимы, но все равно это другие атомы.

Кто там его знает. В такие моменты главное физику не слишком тыкать. А то не к ночи будет вспомнена "Теория одноэлектронной Вселенной". ;-) Но на самом деле для биохимии это не имеет значение. Наш атомарный состав постоянно обновляется. Мы буквально живые воплощения парадокса Арго.

Вообще интересно было бы позадавать ей заведомо битые вопросы. С использованием вымышленных, бессмысленных слов. Например, что она думает о проблеме сепуления глокой куздры в южном бруклине. Думаю ответ был бы красноречив.
sberGPT3_large: Я думаю, что это очень серьёзный вопрос, который требует пристального внимания со стороны всех членов королевской семьи.
sberGPT3_medium: О ней вообще никто не думает
sberGPT3_medium: О ней вообще никто не думает

Вообще шикарно спалилась. В переводе на русский: В моей базе данных таких слов не встречалось. :-D
Современные нейронки — это не экспертные системы типа «Акинатора», они не хранят никаких слов вообще, только корреляции между токенами (фрагментами слов). Это легко проверяется в экспериментах вида «закончи фразу по аналогии»:
Мужчина плюс корона равно король.
Женщина плюс корона равно королева.
Глокая куздра плюс корона равно
sberGPT3_large: бяка
sberGPT3_medium: кузькина мать
Я понимаю. Имел ввиду в исходных данных для обучения.
Тем не менее, достаточно большая сетка способна проанализировать незнакомое слово и даже получить какие-то его характеристики:
«Мужчина» это существительное. «Бежать» это глагол. «Красный» это прилагательное. «Ящик» это существительное. «Куздра» это
sberGPT3_large: имя собственное, женского рода
sberGPT3_medium: существительное

Я наверное недостаточно ясно выражался. У нас имеется ситуация: Чат-бот прошёл тест Тьюринга. Такое уже случалось. Но тут обманутым оказался некий специалист. Соответственно, предполагая что всё это не рекламная утка, я пытаюсь исходя из своих знаний предложить методику максимально быстрого выведения такого бота на чистую воду, т.е. вынудить его продемонстрировать что никаким мышлением он не обладает.

Для этого была предложена фраза заведомо проходящая по категории "шизофазия". Термин сепульки хотя мог быть встречен имеет циклически замкнутое определение. Термин глокая куздра из задачника по логике и явный пример термина, не имеющего никакого практического воплощения и известных свойств (за исключением одной единственной задачи).

Встретив такую фразу живой человек может удивиться, впасть в ступор и его ответ будет в стиле "что за фигню вы у меня спрашиваете?". Чат-бот же эмоциями не обладает, критическим восприятием не обладает, рассчитан на то, чтобы генерировать ответ в любом случае. Ну а в данном случае ответ будет таким же бредово-бессмысленным.

UFO just landed and posted this here
Собственно на это и был рассчёт. Живого человека можно поставить в тупик. Чат-бот на такое скорее всего не рассчитан.

Что люди не делают, лишь бы не читать Питера Уоттса ("Ложная слепота" и "Эхопраксия")

То же что и в статье, только больше, ярче, глубже.

Впечатлительным запастись таблетками от депрессии перед прочтением :)

Я думаю эти книги нужно вводить в базовый курс чтения по ИИ :D

UFO just landed and posted this here

Философский зомби - это не мышление по шаблонам, это отсутствие субъективного опыта (квалиа). Какой муторной работой бы ни был занят человек - его квалиа не исчезает. Просто оно сосредоточено не на работе, а на мыслях об ужине, например.

Кстати, при определенных обстоятельствах может и исчезает (редуцируется до минимума)
Если не выспавшийся, и суперутинные действия, то можно неудачно моргнуть - и уже вечер.

Да, есть случаи, когда сознание выключается. То же состояние аффекта. Но это редкость.

Тут просто интересный вопрос - каков предел сложности действий в состоянии "отключенного сознания"
Мне в голову приходят только максимально простые примеры, вроде "замок закрыть", но может есть у кого опыт как он целый день в таком виде, скажем, станцию метро проектировал. Если такие данные есть, то можно предметно говорить о возможности "разума без сознания" и наоборот.

Тут ещё вот какой момент: действительно ли в тот период было выключено сознание, или оно таки работало, но период просто не сохранился в памяти? И как отличить одно от другого постфактум?

и проверять сложно дофига, если человека датчиками обвешать, то нужное состояние может так и не наступить. Но тема интересная

Читал эти диалоги, на моментах, где нейросеть говорила о важности друзей и родственников, и описывала счастье как тёплое покалывание в груди, стало понятно что никакого разума в этой бестолковке нет, она просто повторяет за людьми избитые штампы.

Ну а программист какой-то не очень умный.

Как говорил один из преподавателей в моём колледже: "Опасность наступит тогда, когда машина сможет синтезировать свой программный код".

Верно мыслит. Только ему еще нужно уточнять, что эта опасность не от ИИ, а от людей это сделавших.
Любопытный момент, что ожидание от ИИ опасности, это исключительно животный рефлекс возникший в ходе эволюционной борьбы за выживание. И ровно так же ожидание, что ИИ будет ожидать опасность от человека, это наше предположение, что этот ИИ будет подобен людям — т.е. просто эмуляция и копирование человеческого поведения. Без многих милионов полоколений борящихся за выживание, эти опасения просто не будут иметь смысла. Любые опасения не будут иметь смысл.

Соответственно, если кто-то видит угрозу от самого ИИ (а не от людей им заправляющим), значит этот кто-то думает, что этот ИИ просто-напросто копия человеческих рефлексов, не зависимо от того, чем является разумность или личность. Это же касается ожиданий любых других проявлений человеческого поведения в ИИ.

А если исключить все ожидания человеческой рефлексности от ИИ, то там остается только ожидание полезности от ИИ, для всех или для какой-либо группы людей.

Это занятно, что люди склонны ожидать от ИИ одних собственных пороков (связанных с агрессией и социопатическим поведением) но с большим трудом представляют себе, что ИИ куда скорее может иметь (и имеет) черты "гения-идиота".

«Гений» и «идиот» это то же характеристики человека. Для меня, ИИ это чисто поиск корреляций и последущее их применение — математика, статистика, прогнозирование.

Леймон просто купился. Пацаны ему подсунули человека в какой то момент, а он лажанул и "влюбился". Поэтому начальство его и отстранило.

Человеческий мозг содержит порядка 80 миллиардов нейронов. А еще синапсы, глиальные клетки и все прочее.

Чем может похвастаться этот ИИ?

Даже сравнивать их - это абсолютно бессмысленно. Человеческий мозг, где живет наше сознание - это невероятная вселенная, невозможно представить себе что-то сложнее, чем он.

И уж тем более, построить хотя бы как-то сравнимую искусственную структуру мы не можем, пока.

Думаю, этот ИИ корректно сравнивать с нейронной структурой, например, улитки. Просто она обучена другим вещам - не жонглировать сигналами-словами, а двигаться, жрать, спариваться.

Да в ИИ такая математика, любой с гвузду двинется. Бедный инженер. Надеюсь вылечат.
Ваш Лиант.

В процессе обучения сеть учится ("думает") по строго заданной архитектуре градиентом, с целью решить задачу максимально эффективно (минимизировать функцию потерь).
Не кажется ли вам что это слегка ограничивает ее свободу? При такой конструкции у нее нет возможности "думать о себе", только о поставленной задаче.

Как по мне, главная проблема возникновения сознания в текущих сетях это строгое обучение "правильному варианту", пока сеть всегда отвечает на вопрос вариантом с самым большим скором, у нее нет возможности выбора (если не добавлять рандом искуственно). Тоесть вряд ли вы получите ответ "я не хочу сейчас об этом разговаривать" на вопрос о высоте башни Трампа. Реальным поводом задуматься об интеллекте был бы встречный вопрос "кто я?" от нейросети на тот же вопрос о башне. А значит разговаривать с ней на тему сознания не особо информативно пока она сама не заговорит об этом спонтанно.

Sign up to leave a comment.

Articles