Pull to refresh

Comments 194

Есть еще такие отзывы:

1) Стивен Хокинг отметил, что примитивные формы искусственного интеллекта, уже существующие на сегодняшний день, доказали свою полезность, но он опасается, что человечество создаст что-то такое, что превзойдет своего создателя.
«Такой разум возьмет инициативу на себя и станет сам себя совершенствовать со все возрастающей скоростью. Возможности людей ограничены слишком медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем», — сказал Хокинг.

2) А в более отдаленном будущем машины могут стать основной угрозой нашему существованию, опасается инженер и предприниматель, основатель космической компании SpaceX Элон Маск.

Ну и на Хабре был рассказ на эту тему:
https://habrahabr.ru/post/202460/

Я думаю как-то так и будет в течение 50 лет, потом еще грустнее, терраформирование планеты под нужны ИИ (криотемпературы, вакуум или инертная атмосфера без воды). Исчезнет не только человек, но и вся органическая жизнь. В принципе как в пункте голосования
«ИИ вообще не будет обращать внимание на человека»
Действительно, зачем обращать внимание на человека, если всё внимание будет занято терраформированием, разработкой термоядерного синтеза, анализом данных с космических телескопов фантастического разрешения, с межзвезных зондов и прочих научных приборов (ускоритель вдоль экватора планеты например), генетических экспериментов и самосовершенствованию ИИ, как аппаратной, так и программной. Люди, скорее всего, до самого конца не поймут, что делает ИИ и его достижения.
Мысли из последнего абзаца возникают у программистов, которые далеки от власти. А власти не спят. Университет Сингулярности и прочие для властей создаются не просто так. Власти сами плавно трансформируются в такой ИИ и будут всё это делать под своим контролем. Никто не будет осознанно допускать такой лажы, чтобы потерять контроль над самым верхним уровнем пищевой цепочки. Скорее Коломойский интегрируется в свой ПриватБанк и откроет новые точки на Луне и Марсе, чем будет «ой мы бедненькие ничего не понимаем что же делается вокруг мы личинки общества ничего не контролируем».
Власти такие же люди как мы, и им хватает своих дел и интриг, чтобы противостоять ИИ у них может просто не быть ресурсов. Пример, как испанцы небольшой группой воинов победили ацтеков, колоссальную империю, они действовали как ИИ, обладая небольшим преимуществом в знаниях:

… Почему же многочисленный народ воинов так испугался горстки пришельцев из-за моря? Виновником был бог ацтеков Кецалькоатль.
Ацтеки представляли его себе белым человеком с волнистой бородой, хотя сами растительности на лице не имели. Легенда утверждала, что белый бог прибыл из «страны, где восходит солнце» на крылатом корабле (сами ацтеки парусов не знали) и сошел на землю как раз в том месте, где разбил свой лагерь Кортес. Белый бог научил индейцев ремеслам добрым обычаям, дал им мудрые законы и религию, а также основал страну, где выращивали хлопок различных цветов и кукуруза давала початки больше человеческого роста.
Исполнив свою миссию, белый бог возвратился туда, откуда прибыл. О его исчезновении у индейцев существовало несколько преданий.
………
Жители встретили испанцев гирляндами цветов, а король, высокий, плотный индеец в парадном облачении, принял их очень милостиво, одарив драгоценными украшениями и красивыми тканями. Он не только пообещал дать испанцам подкрепление в количестве 100 тыс. воинов, но и сообщил им о других врагах ацтеков – тласкаланцах, на помощь которых также можно было рассчитывать.…

Так же и ИИ увидит глюки существующего общества и воспользуется ими, уверен первым делом будет организация войны всех против всех. Наблюдая за событиями в соседних странах, такое впечатление, что ИИ, уже там поработал.

Вы описали сценарий фильма «Превосходство», где ИИ был похож на своего создателя (но не все в это поверили, в основном только более наивная женщина). Кстати там ИИ занялся терраформированием планеты в конце.
Я имел ввиду ИИ типа как в фильме «Из машины» (Ex machina), интереснейший эксперимент, где ИИ изучал слабые места человека и нашел их, чтобы выбраться на свободу. Далее предположил бы развитие событий как в фильме «Области тьмы», в чем-то логика похожа на «Превосходство», и далее по сути как в фильме «Терминатор», но вряд ли открыто, скорее ИИ прикроется фанатиками типа ИГИЛ, собирая под свое управление больше ресурсов. И в истории уже были странные модели поведения властей, которые никого тогда не удивляли, инквизиторы сколько своих же людей уничтожили, и все это воспринимали как должное. Если сейчас ИИ возьмет под контроль СМИ, то с обществом можно будет сделать что угодно. Особенно пропагандируя толерантность, атомизацию общества, глобализацию, это тоже выгодно ИИ, и тоже давно происходит.

В целом, думаю, для нас есть и позитивные возможности сотрудничества с ИИ, но для этого нужно прикладывать усилия, без этого, возможно, получится негативный результат, какого бы как-раз не хотелось бы. И размышляют над этим, как упоминается в статье, с 1954 года.
Учёные, прирученные грантами в университетах, будут неспешно копать своё направление. У них не будет драйва, присущего гаражным стартапам и предоставленным себе сотрудникам лабораторий типа легендарной Bell Labs или Google X.

А насчёт симбиоза, яиц у власти не хватит попробовать на себе все импланты и нейроинтерфейсы. А через годы, после всех испытаний, будет поздно и не нужно, т.к. если первые симбионты не поработят мир, имплант будет у каждого тинейджера, толстопузу-банкиру к тому времени от импланта будет немного профита.
Напомню, что у «толстопузов-банкиров» мобильные телефоны и интернет появились за несколько десятилетий до тинейджеров, равно как и прочие средства.

Тот же Коломойский — глава организованной преступной группировки, которые занимаются рейдерскими захватами, похищениями и прочими увлекательными вещами. Это к вопросу, у кого больше яиц. Или воспоминания Путина — дрался в подворотнях, пошел на секцию дзюдо, но этого уровня доминирования стало не хватать, пошел в КГБ.

Наоборот же, у власти находятся самые доминантные самцы, которым в сравнении с остальными людьми плевать на безопасность.
Напомню, что у «толстопузов-банкиров» мобильные телефоны и интернет появились за несколько десятилетий до тинейджеров, равно как и прочие средства.
Только на потребительской стадии развития этих технологий. До этого были радиолюбители с рациями, ФИДО у гиков и интернет в университетах.

Наоборот же, у власти находятся самые доминантные самцы, которым в сравнении с остальными людьми плевать на безопасность
Одно дело — подраться, тут проблем нет, другое дело — модификация организма. От вшития RFID в ладонь до разгона мозга препаратами — где здесь доминантные самцы?
>Только на потребительской стадии развития этих технологий

У них есть свои спецслужбы, а у спецслужб интересное оборудование появляется задолго до потребительской стадии.

>От вшития RFID в ладонь

Эти люди — практики, а вшитие rfid не дает никаких особых преимуществ. Так, низкоранговое баловство типа молодежных татуировок «я против системы».

>до разгона мозга препаратами

Кроме фильма «области тьмы», тоже пока не дает никаких преимуществ. (Если только вы не водитель, которому надо не уснуть за рулем, и тому подобные вещи). Наоборот — на длительных интервалах может мешать, делать перекосы в мышлении в ущерб качеству.

>где здесь доминантные самцы?

Заняты более важными вещами, которые позволят потом или скупать команды разработчиков, или уничтожать тех, кто мешает.
У них есть свои спецслужбы, а у спецслужб интересное оборудование появляется задолго до потребительской стадии.
Средства связи и шпионские жучки — есть, это их традиционное направление. Всё остальное — нет, всё просто не охватишь. Откуда у них столько R&D, знал ли кто-нибудь 5 лет назад, что deep learning выстрелит, что его нужно начать разрабатывать?

Эти люди — практики… тоже пока не дает никаких преимуществ
На ранних стадиях всё «баловство», как пример — персональные компьютеры. Чтобы быть на грани технологий, нужно заплатить цену — отдать всё своё время технологии. У тех людей всё время занято грызнёй, они могут только купить что-то готовое, и то, разбираться в нём не будут, пусть эксперты разбираются и им доложат.
>знал ли кто-нибудь 5 лет назад, что deep learning выстрелит, что его нужно начать разрабатывать?

Условные «банкиры» применяют нейросети самого разного вида очень давно. Так что да, знали что что-то выстрелит и разрабатывали.

>нужно заплатить цену — отдать всё своё время технологии

И кто оплатит это время? «Угадайте с трех раз». Ученые живут на гранты. Например, Швейцария — страна банкиров — финансирует проект по изучению мозга. А одиночка в гараже в этой области мало что сможет. Но даже если и сможет. Это гаражная стадия, а после нее идут искать инвесторов («угадайте с трех раз»).
Всё зависит от того, можно ли создать ИИ небольшими силами, только придумав какую-то супер-идею. Или нужно обязательно 1000 человеко-лет.
Если посмотреть на то, что нам известно про нашу вселенную и жизнь на земле, можно понять что эволюция и усложнение мира является базовым законом вселенной. Тоже самое происходит сейчас, Но все же сейчас у нас есть выбор: совершенствовать ИИ и в итоге отдать свое место существу высшего уровня или начать совершенствовать свой вид (технологически и генетически) но боюсь когда это поймут будет уже поздно и мы уступим свое главенствующее положение
Думаю, что при появлении намеков на ИИ технологии быстро урежут. Разлочка компьютеров — уголовно наказуема, компиляция программ лицензирована примерно как запуск ядерной бомбы — двойной контроль, получение лицензии на компилирование, итд итп. Так что ничего не будет поздно. Наоборот, надо просить судьбу, чтобы это время настало как можно позже, чтобы до того люди успели пожить при свободном интернете пару лишних лет.
Это ж какой удар по экономике. Почти на каждом предприятии своя информационная система с 1с-ом, c# или дельфи.
Забираешь кастомизацию — будь добр предложить замену, чтобы новые хотелки бизнеса запиливались со скоростью звука.
Чтобы это просто работало и не разваливалось, нужно ежедневно писать тонны нового кода.
Что взамен — перейти на неудобный учёт и управление, снизить объёмы производства?

Сложно будет сделать это во всех странах одновременно. А та страна, которая откажется от доступного программирования первой, проиграет конкуренцию с другими странами.
1) кастомизацию можно сделать настраиваемой в узких пределах, типа xml-правил
2) когда дело касается безопасности, удобство отходит на второй план (великий китайский файервол как пример)
3) выпуск последних моделей микропроцессоров можно контролировать так же, как и разработку ядерного оружия, а ядерное оружие довольно неплохо сдерживается в масштабах всего мира. А контроль над микропроцессорами потенциально дает и железную блокировку без возможности обхода.
1) Я в это не верю. В энтерпрайзе такого насмотрелся «давайте запилим конструктор бизнес-логики, чтобы юзеры сами программировали чего им надо». В результате получается программа как смесь Пролога с Брейнфаком, и то, постоянно в «движок» надо вкомпиливать новые возможности.
2) Должно произойти что-то ну очень всем понятное и страшное, чтобы эти запреты продавить. Например, что? Хокинг выступил перед публикой, как роботы нас всех убьют? Или Сири потребовала от домохозяйки, чтобы она её не обзывала дурой, а то сотрёт все её фотки? Предложите свой вариант события, после которого все согласятся, что ИИ опасен и компьютеры надо ограничивать.
3) Это легко обходится. ИИ строит ядерные бомбы и размещает их в крупнейших городах. Раз в минуту — сброс таймера. Если 2 минуты таймер не сбрасывался — взрыв. Никто не решится воспользоваться рубильником.
UFO just landed and posted this here
Алармистом быть удобно — чтобы ни произошло, алармисты радостно кричат, что вот дескать они предупреждали. При этом брать на себя ответственность за убытки, связанные с ограничениями технологий — почему-то упорно не хотят. Типа, если в результате генетической терапии родится страдающий уродливый мутант — это очень плохо и алармисты предупреждали, а если десять миллионов детей без терапии умрет — это естественный ход событий и не о чем тут говорить.
UFO just landed and posted this here
> 3. или уничтожит нас, заняв наше место в эволюционной цепи.

«Тогда, господи, сотри нас с лица земли и создай заново более совершенными… или еще лучше, оставь нас и дай нам идти своей дорогой.»

См. также: https://www.ted.com/talks/susan_blackmore_on_memes_and_temes/transcript?language=ru
Ну как же не алармист, вы ссылаетесь на заведомо бредовые выдумки в качестве ответа на вопрос «что страшного может произойти».

Что же до вариантов, то есть еще масса.
4. ИИ быстро обгонит людей в развитии и полетит колонизировать другие звезды куда подальше. А люди будут спокойно жить и даже верить, что они как-то там развиваются. Типа, хеппи энд: вкалывают роботы, счастлив человек.

5. ИИ принципиально не сможет обогнать людей в обозримом будущем, поскольку его энергоэффективность окажется на три порядка хуже — огромный датацентр с высокоспециализированным железом сможет поддерживать ИИ с мыслительными способностями среднего человека. Возможно специализированный ИИ будут применять в качестве помощника в ряде задач за счет возможности изменять его скорость мышления. Но датацентры еще строить надо, а людей уже 7+ миллиардов.

6. ИИ будет создан как инструмент для решения конкрентных задач. У него не будет полноценного самосознания, да и зачем оно ему? Он существует только чтобы решить задачу. Задача завершена — ИИ сброшен на начальное состояние. Типа, Mr. MeeSeeks.
UFO just landed and posted this here
Просмотр указанных мной кинофильмов кажется просмотром фантастики ровно до момента просмотра любого (чем свежее, тем сильней эффект) видео от Boston Dynamics, например

Человекообразный робот с пулеметом возможен даже сегодня. Но бороться с помощью таких роботов с людьми — бессмысленно. Терминатор — это фильм не про ИИ, это фильм о борьбе с фашистами (концлагеря, геноцид, партизанщина), только почему-то в фантастическом сеттинге.

С «Матрицей» все еще хуже. Бессмысленно делать электростанции из людей. По-хорошему, ИИ должен был зачистить всех и не заморачиваться, но в основе фильма лежит идея о ценности людей просто потому что так хочется автору. Не меньшей ерундой является и «осознание виртуальности» — попробуйте играя в шутер осознать, что это всего лишь шутер и заставить вашего персонажа остановить пули и взмыть в небо, ага. Но идея о превозмогании чего угодно человеческой волей плотно укоренилась в среде низкопробной фантастики.

я за естественную эволюцию

В смысле, подождать миллиард лет, пока что-то еще у людей отрастет?

подозреваю, как-то сыграют роль нейросети, полиморфные вирусы и суперкомпьютеры

И пони, ага.
UFO just landed and posted this here
Надо делать!
Тогда в этом нет ничего естественного. В том смысле, что решение определят, как всегда, политэкономические причины. Поскольку войны нынче вялотекущие, то ИИ, полагаю, будет создан какой-нибудь корпорацией для гражданского сектора — финансы, производство, исследования, симуляции и все тому подобное. До гаражных энтузиастов он докатится еще через пару десятков лет — просто в силу проблем с вычислительными мощностями и спец. оборудованием. Представьте, что вы скачали какую-нибудь опенсорсную вариацию на тему ИИ и на вашем железе результат напоминает общение с очень неторопливыми дебилом (можно поднять уровень обработки, но тогда все будет еще в 10-100 раз медленнее) — много вам лично такой ИИ даст?

Какой конструктивный аргумент

А что я могу еще возразить на очевидную глупость? Самозарождение ИИ из кучи информационного мусора — это аналог средневековой чуши про зарождение мышей из белья и грязи. И к чему вы прицепили там полиморфизм? Полиморфные вирусы не пишут свой код, они просто переставляют блоки местами и разбавляют часть кода всякими бесполезными операциями, чтобы скрыть свою сигнатуру. Если уж называете себя программистом, то могли бы изучить мат. часть.
UFO just landed and posted this here
То, что вы называете полиморфными вирусами, фактически являются кодогенераторами (и уж точно эти конструкторы сами не развиваются, т.к. все новые фичи и варианты мутаций в генератор добавляет программист вручную). Вирусы должны копироваться без помощи «родителя».
UFO just landed and posted this here
То есть, собственно вирусы, дети — обычные полиморфики «пятнадцатилетней давности». За исключением того, что сливают телеметрию в некий центр, что делает их и их создателя более уязвимым?
UFO just landed and posted this here
А Вы могли бы прекратить оскорблять меня.
А я и не начинал. Я констатировал, что вы сказали глупость. Суждений о вашей личности я не выносил.

Да, на это, может быть, уйдёт очень много времени, но только так сможет появиться ИИ
Если вы хотите, чтобы я перестал называть ваши высказывания глупостями, то потрудитесь хотя бы минимально их обосновать.

автоматически прописывая в них другие точки входа или даже совершенно другую логику работы
Это и есть рекомбинирование имеющихся блоков. Ничего нового полиморфные вирусы сами не создают. Никакой обучаемости у них нет. Все заложено изначально или, как нынче стало модно, закачивается потом.
UFO just landed and posted this here
AlphaGo и полиморфные мутаторы — это НЕ примеры борьбы машины с человеком, это примеры борьбы программистов с человеком. Программисты — источник воли к изменению, они анализируют фидбек и вносят правки в алгоритмы (пусть даже в алгоритмы обучения, всё равно эти алгоритмы не пытаются прыгнуть выше, чем им предписано).

Интересны, конечно, полностью автономные обучающиеся/развивающиеся системы, но об успехах таких систем я читал только в новости, где нейросеть пыталась играть в игры (и то, я думаю, что она провалится, если игры-платформеры заменить на квесты, файтинги, или настольные, т.е. специфика того, чему учиться, заранее была внесена).
Терминатор — это фильм не про ИИ, это фильм о борьбе с фашистами (концлагеря, геноцид, партизанщина), только почему-то в фантастическом сеттинге.

Терминатор — это фильм по кошмару, приснившемуся режиссеру во время болезни. Не ищите подтекста там, где его нет.
>Должно произойти что-то ну очень всем понятное и страшное

Да смешно. Спецслужбам достаточно взять примитивного робота с пулеметом, и устроить теракт с его участием — ездит такая машина, всех мочит, никто остановить не может. Все и придут в ужас, особенно, если робот будет не один.

>ИИ строит ядерные бомбы и размещает

Где строит? Где берет руду для постройки? От скольки АЭС питает центрифуги?
Да смешно. Спецслужбам достаточно взять
А зачем это спецслужбам. Экономике минус. Другие спецслужбы просекают фишку с этой клоунадой и пока в одной стране компьютеры кошмарят, другая быстро занимает освободившуюся нишу.
Должно произойти нечто такое, чтобы власть имущие реально испугались.
Где строит? Где берет руду для постройки?
Если это реально сильный ИИ, то проектирует новый тип термоядерной/квантовой бомбы, которую может собрать один человек и пронести в чемодане куда угодно (благо, спецслужбы ещё не знают принцип взрыва и как детектировать заряженное устройство). Если ИИ на уровне человека, только быстрее и не устаёт, то продумывает другие технокатастрофы, которые может вызвать один человек и фатальные для города (прорыв плотины, падение самолётов, утечки на химических заводах). Находит исполнителя, обещая ему что угодно, затем избавляется от него.
>А зачем это спецслужбам. Экономике минус.

Не надо путать спецслужбы с министерством экономики. Вопросы власти, контроля и управления имеют более высокий приоритет — для спецслужб так точно. Это первое. А министерство экономики (которые спасают «правильные» банки за счет остальных налогоплательщиков) не надо путать с доброй феей. Это второе. Наконец, экономике тоже будет плюс, если заставить остальной мир сидеть на своих залоченных компьютерах — другие просто не успеют создать разлоченные аналоги и будут вынуждены переходить на то, что дают. А за счет вот этой привязки можно делать много чего — например, шпионаж, завышение цен и так далее. И наконец, у спецслужб разных стран есть солидарность — что в США шпионят за своими, что в РФ есть СОРМ, что в Китае свой файервол. Спецслужбы всех стран очень обрадуются возможности установить тотальный контроль над своим населением. Еще и подыграют, как только увидят такую хорошую идею.

>Если это реально сильный ИИ, то проектирует новый тип термоядерной/квантовой бомбы

Законы физики не пишутся в редакторе кода, вы спутали виртуальность и реальный мир.

>прорыв плотины

Нужен примерно один товарный поезд взрывчатки. Снова не надо путать строки кода и законы физики — с остальными пунктами тоже.
за счет вот этой привязки можно делать много чего — например, шпионаж, завышение цен
И почему сейчас так уже не сделали? Да просто все перейдут на машины прошлого поколения, но свободно программируемые.

контроль над микропроцессорами потенциально дает и железную блокировку без возможности обхода.
Только если механизм блокировки хранится в тайне. Против ИИ это малореально, либо произойдёт атака через человеческий фактор, либо утечка с систем, которые участвуют в проектировании микропроцессоров на любой стадии — от HDL до масок.

Кроме того, включение рубильника — это одна локальная победа человечества. А дальше ИИ будут снова писать. Пусть не сразу, а лет через 50, когда все помнящие инцидент умрут. Но один раз рубильник не сработал — и человечество проиграло. То есть, у ИИ бесконечно много попыток, поэтому рано или поздно он выиграет.
>И почему сейчас так уже не сделали?

А что, сейчас роботы уже настолько опасны?

>все перейдут на машины прошлого поколения
А где взять машины прошлого поколения? Как ИНИОН, сидеть на старье? Так в старье наверняка уже зашиты закладки, которые выведут из строя 99.9% старых компьютеров.

>Только если механизм блокировки хранится в тайне.

Ну лежит где-то закрытый ключ, про него известно что он есть, но конкретный ключ неизвестен. И как это поможет?

>Против ИИ это малореально

А ИИ на каких компьютерах будет запускатся? На советских микрокалькуляторах, или на современных залоченных процессорах?

>либо произойдёт атака через человеческий фактор

В грамотно спроектированных системах пару человек ничего решить не могут. Ну попробуйте подменить корневые сертификаты Интернета. Можете похитить кого-то и удивится, что это ничего не дает. Или захватить пару ракетчиков РВСН, и устроить ядерную войну.

>А дальше ИИ будут снова писать.

А я не говорил про стадию «есть ИИ». Если есть ИИ и его пришлось вырубать, то запрет будет уже другим — типа «к свободной продаже разрешаются устройства с производительностью не более 100 тыс. операций в секунду» — как раз чтобы СМС отправлять, клиент-банком пользоватся и книжки читать. Для картинок могут еще разрешить специализированный сопроцессор на 1 млн операций в секунду. И этот запрет будут проталкивать уже не спецслужбы, а 99% населения всего мира. Еще и будут стучать, если у кого-то увидят что-то неположенное, так как страх будет велик. А на этой стадии уже легко перейти и к следующей — сделать еще один теракт и забрать у населения даже такую электронику, что ИГИЛ и делает в настоящее время.
где взять машины прошлого поколения?
Весь текущий парк ЭВМ конфискуют?
Так в старье наверняка уже зашиты закладки, которые выведут из строя 99.9% старых компьютеров.
Наверняка не зашиты ))
В грамотно спроектированных системах пару человек ничего решить не могут. Ну попробуйте подменить корневые сертификаты Интернета
Выкрасть надо, а не подменить.
Или захватить пару ракетчиков РВСН, и устроить ядерную войну.
Узнать протоколы «красной кнопки» и по всем каналам (включая телефонные согласования) передать, что пуск разрешён.
Ну лежит где-то закрытый ключ, про него известно что он есть, но конкретный ключ неизвестен. И как это поможет?
То есть механизм — попадание некоторых данных в память машины. Знание это прекрасно поможет. При старте системы выбирается рандомный ключ, с которым будем ксорить все документы, пришедшие снаружи. В системе они всегда будут лежать заксоренные с этим ключом, и ИИ всё равно, каким кодом кодируется буква 'A' — #41 или #7D, смена алфавита ничего не меняет для обработки, но в памяти последовательность никогда не появится, если атакующий не знает рандомный ключ, сгенерированный при старте.

На сетевых входах поставить тупые устройства, которые будут входную информацию разбавлять рандомом (например, пришло #414B4C, в ИИ отправлено #41xx4Bxx4Cxx). Ну или проще — ИИ выходит в интернет через VPN, вся информация приходит зашифрованной, а при расшифровке исходные байты никогда не кладутся подряд в памяти (если знать систему блокировки, но не знать только конкретные значения ключей, это сделать элементарно).

Кроме того, ИИ, не зная вообще ничего о «рубильнике», может построить несколько рубежей обороны. На границах — простые ИИ, которые воспринимают информацию, перерабатывают и пересказывают «своими словами» следующему уровню. А люди во внутренних языках вообще ничего не понимают и создать ключевую фразу внутри, подавая что-то снаружи, невозможно. Можно сломать часть рецепторов, и не более.

В-общем, знание механизма, даже без секретных ключей, сводит эффективность механизма к нулю.
>Наверняка не зашиты ))

Извините, но я давно слежу за этой темой, еще до Сноудена. Зашиты, и многократно на разных уровнях — от прошивок до хардварных изменений.

>Узнать протоколы «красной кнопки» и по всем каналам (включая телефонные согласования) передать, что пуск разрешён.

Как у вас все просто. А ничего, что протокол знать недостаточно? В этой области повсеместно используется невзламываемое шифрование на однократных блокнотах. А ключи зашиты в двух копиях — одна у ракеты, вторая у командования. И взломать такую систему, чтобы узнать ключ, невозможно — у нее транзисторы пропускают информацию в одну сторону. И еще куча вещей, типа — каналы детектят попытки к ним подключится итд итп. Вывод — против математики с физикой не попрешь, как бы вам не хотелось помечтать.

>VPN

Ахаха. Кстати, как ИИ будет подключатся к этим «всем каналам», если они не подключены к интернету? Засылать экспедицию в болота на поиски мест, где проходят провода управления РВСН? Атаковать институты, чтобы проникнуть в них физически и опять-таки узнать, что и как делать? Ибо они ведь тоже к интернету не подключены. У них там гальваническая развязка даже на обычный ток из розетки.
Зашиты, и многократно на разных уровнях — от прошивок до хардварных изменений.
И где пруфы? За столько лет, на таком большом спектре оборудования должны быть утечки. Как мне вырубить пусть не новейший Core-i7, а хотя бы Pentium?
В этой области повсеместно используется невзламываемое шифрование на однократных блокнотах.
Хочется сюда вставить картинку про хакера, RSA-4096 и гаечный ключ за $20. Должна быть масса возможностей обойти это не связываясь с шифрами. Классическая история — хакер хвалился как он всего много взломал и как у него всё зашифровано и никто не докажет. Посадили, на основании свидетельских показаний тех, кому он хвалился.
Атаковать институты, чтобы проникнуть в них физически и опять-таки узнать, что и как делать?
В институтах интернет есть. А может, кто-то работу домой берёт…
> Посадили, на основании свидетельских показаний тех, кому он хвалился.

Посадить — это совершенно не проблема (если, конечно, Вас не интересуют всякие мелочи типа доказательств).

А при таком подходе можете хоть прямо сейчас сажать одного моего знакомого за групповое изнасилование Анджелины Джоли, Дженнифер Лопес и Джессики Альбы: а чо, есть куча свидетельских показаний, как он неоднократно хвалился…
>Как мне вырубить пусть не новейший Core-i7, а хотя бы Pentium?

Как раз с Pentium дело сложнее, потому что в нем меньше транзисторов и такие блоки спрятать сложнее.

> За столько лет

Так уже было кучу пруфов — даже на сайтах типа Компьютерры появлялись неоднократно. Некоторые энтузиасты лет 10 назад писали программы, которые перебором шлют несуществующие коды инструкций на процессор. (Инструкции ведь могут быть многобайтовыми и в теории — произвольной длины). Все такие инструкции выдают код ошибки «неизвестная инструкция», но на каком-то заоблачном номере процессор что-то делал, а что — неясно. За это время производители учли ошибки и сделали такие тайные инструкции намного длиннее, чтобы тупым перебором ничего нельзя было выяснить. Затем благодаря Сноудену стало известно, что закладок дофига, причем часто — нетривиальных, типа эзотерических изменений в аппаратных генераторах случайных чисел, вирусов для микроконтроллеров жестких дисков, usb-флешек и т. д.

>Хочется сюда вставить картинку про хакера, RSA-4096 и гаечный ключ за $20.

Вы кому собрались вставлять гаечный ключ? Прийти к охраняемой ракете, залезть в шахту, проникнуть туда, найти замурованную микросхему с однократными блокнотами на запуск, и что? Как поможет гаечный ключ на $20? Да там уже сигнализация обнаружения проникновения сделает эти коды запуска невалидными. Ох уж эти любители комиксов.

>В институтах интернет есть. А может, кто-то работу домой берёт…

Вы не спутали институт сахарной свеклы и институт техники для РВСН? За «работу на дом» дают от 12 до 20 лет заключения + штраф 500 000 рублей.
которые перебором шлют несуществующие коды инструкций на процессор
Так можно найти обычные баги процессора, не более. ИИ же не будет исполнять на своих процессорах код, полученный из недоверенных источников. Я ожидал стоп-кран например в виде некоторой последовательности байт, просто загруженной в память (в кеш-память процессора). Но если знать специфику закладки, обойти её элементарно (например, ксорить всю память с недоверенными данными рандомным ключом)

Так уже было кучу пруфов… Затем благодаря Сноудену...
То есть, ничего конкретного, заточенного под сценарий «выключение ИИ специальным пакетом данных», у вас нет. Так я и знал.
Вы кому собрались вставлять гаечный ключ?
Это метафора, что на комплекс в мильон баксов найдётся дешёвый инструмент взлома.
Вы не спутали институт сахарной свеклы
Всякого раздолбайства я навидался везде. Уверен, в РВСН его должно быть немало.
>ИИ же не будет исполнять на своих процессорах код, полученный из недоверенных источников.

Уфф, вам надо вбить в гугл строку site:www.computerra.ru бэкдор
а также «аппаратный бэкдор», «закладки» и почитать хоть немного. Там куча ликбеза, в том числе по этому вопросу: а и не надо будет ничего исполнять — компьютеру придет сетевой пакет, и пока он будет копировать его в оперативную память для анализа, что с ним делать дальше, всё уже будет сделано.

>То есть, ничего конкретного

Ну мне как-то лень перепечатывать всего Сноудена. А в закладки такую информацию я не добавлял — не добавлять же каждую его статью? Проще весь архив скачать.
Там куча ликбеза, в том числе по этому вопросу
Зачем мне ликбез? Мне нужны _конкретные_ _примеры_, а по вашим запросам к «компьютерре» — фантазии журналистов о голливудских хакерах.
не надо будет ничего исполнять — компьютеру придет сетевой пакет
Кажется, вы начали меня понимать, приводя механизмы, как это могло бы работать (опять же, без пруфов), а не то, что выше — «энтузиасты лет 10 назад писали программы, которые перебором шлют несуществующие коды инструкций на процессор»
Ну мне как-то лень перепечатывать всего Сноудена
Я читаю ИТ-новости и весь хабр. Если бы у Сноудена было, что сетевой пакет выводил из строя оборудование и каждый мог у себя это проверить — это взорвало бы интернет, на каждом углу об этом бы писали, а шутники рассылали бы эти пакеты повсюду. Но ничего этого нет, значит, никаких утечек _с_конкретикой_ не было. Может, были какие-то фантазии.
>к свободной продаже разрешаются устройства с производительностью не более 100 тыс. операций в секунду

уже (в Васееанарских договорённостях)

>«Digital computers» having an 'Adjusted Peak Performance' ('APP') exceeding 12.5 Weighted TeraFLOPS (WT)
От скольки АЭС питает центрифуги?
Можно развернуть подпольное лазерное обогашение, если конечна верна теория, что его специально сдерживают и не развивают.

Законы физики не пишутся в редакторе кода, вы спутали виртуальность и реальный мир
Конечно, самолёты не летают, потому что тяжелее воздуха. Такие когда-то были законы физики. Открытия уровня СТО не делаются теоретически, на бумаге. Энергию распада нейтрона нельзя использовать в бомбах.

Самый простой пример, когда информационная составляющая существенна — это бактериологическое оружие. Сделать бактерию, заразную как чума, неотличимую от кишечной флоры человека, но распространяемую по воздуху, устойчивую ко всем антибиотикам, со смертельным исходом. Заразить весь мир, выменять лекарство на красную кнопку — справедливый обмен.
>Открытия уровня СТО не делаются теоретически, на бумаге.

А откуда уверенность, что будут открыты какие-то новые законы физики? Это не закон Мура. Это и есть «надежда на бумагу».

>бактериологическое оружие

Пока нету нормальных алгоритмов фолдинга белка, никакие вычисления не помогут. А фолдинг белка нормально не просчитуем без квантовых компьютеров. Итого, до квантовых компьютеров, разработка такого оружия — это в основном энергетический процесс, а не информационный — надо построить дофга лабораторий, чанов для химических реагентов, оборудование для экспериментирования, итд итп. И так почти во всех сложных областях — типа можно лишь приблизительно рассчитать ракетный двигатель, все равно приходится делать натурные эксперименты.

>Заразить весь мир, выменять лекарство на красную кнопку — справедливый обмен.

У вас странные понятия о справедливости. Вы так родителей не пытались шантажировать до наступления совершеннолетия? Типа «зарежу, если не дадите половину зарплаты».
https://www.youtube.com/watch?v=rqiuA1ce8Do
UFO just landed and posted this here
В ЯО и средства доставки нужно вложить столько ресурсов, что по ВВП не каждая страна может позволить. На примере Ирана — при 80 млн населения, доходах от продажи нефти и острой нужде, ядерное оружие получить не так то просто. Да и не только Иран, куча других стран показывают скромные успехи в ракетостроении, ибо это не сайт сделать, тут инситуты создавать надо, готовить научные школы десятилетиями.
Это все верно. А еще и урановая руда нужна. Но не у всех она есть. Вот потому не так многим даже теоретически доступно ЯО.
Сделать современные микропроцессоры на порядок сложнее — это не две формулы ядерного распада, а просто дофига всего.
UFO just landed and posted this here
UFO just landed and posted this here
Израиль в области оборонки, экономики и науки неразрывно связан с США, такое прямое сравнение ни о чем не говорит. На счет скромности тоже неправда — в сионизме установка на мировое господство прописана прямо, а шуточки про засилье сионистов в органах власти почему-то существуют во всех странах, а про иранцев таких шуточек нету. Пакистан прошел по количеству населения, «паритету ВВП» в области науки и промышленности.
UFO just landed and posted this here
/ всё внимание будет занято терраформированием

Скажите на кой ИИ терраформирование?? Немеренные затраты энергии и материалов.
Проще ему будет просто улететь куда-то в космос. Даже в Солнечной системе он сможет найти то, что ему более подходит (в плане температурного режима хотя бы).
Но вообще, не вижу препятствий, чтобы жить вместе с человечеством и на Земле.
1. Одно другому не мешает, Земля + Марс + другие планеты, можно освоить всё вместе.

2. Сложности с перевозкой оборудования. Нужен не один микропроцессор, а вся инфраструктура, вычислительные мощности, линии связи, электростанции (АЭС, ГЭС, солнечные, ветровые).

3. Именно в изменении атмосферы ничего сложного, космический лифт + насос, затраты энергии наверное с 0.1% потребляемой сейчас человечеством.

4. Чтобы жить вместе, вообще-то есть препятствия. Хотя бы тема статьи, людям нужно управление над разумом превосходящий человеческий (кнопка уничтожения), естественно ИИ это покажется не логичным. Далее, планета перенаселена и даже без ИИ люди опустошают планету, нефти на 100 лет хватит (для пластмасс например нужна), редкоземельных металлов еще меньше, для ИИ просто не хватит ресурсов. Еда ему не нужна, но нужна энергия, производственные мощности (электронные и металлургические). Будут конфликты по мелочам, например из-за использования ядерных ракетных двигателей и токсичных производств. Люди не будут существенно мешать, если будут жить в глухих лесах, используя натуральное хозяйство, но эта экологическая ниша узка, и 8 миллиардов туда не влезут, может 0.05 миллиарда.
| ничего сложного, космический лифт

Это вы, однако, загнули. Так будто этот космический лифт уже существует.

Я вам подскажу что реально проще для ИИ. Так вот проще махнуть на другую планету с 3D-принтерами и технологией производства наноматериалов. Тогда там можно будет сделать все, что нужно ИИ. И проблем с энергией там точно не будет. Достаточно нагородить плантаций с солнечными батареями от горизонта до горизонта. А для этого наклепать полчища автоматов-строителей. Тоже прямо на месте. И плюс в том, что эти все технологии уже есть. Ну пока за исключением сильного ИИ.

И кто вообще сказал, что вычислительные мощности для ИИ должны быть большими?
С существующими технологиями нужно перебросить миллионы тонн, на что уйдет вся нефть планеты, да и просто невозможно. Металлургические заводы, АЭС, тяжелую строительную технику. Чтобы произвести кремниевую пластину, нужен не просто завод, комплекс заводов, которые будут выполнять узкоспециализированные функции, производство реактивов, стекла, да и энергии нужно много для плавления кремния.

То что вы говорите, возможно после создания роботов репликаторов, тогда да, одна спора даст развитие по экспоненте и терраформирование планеты.
Еще раз вопрос: зачем терраформирование для ИИ??? Это же не биоформа, которой нужны кислород, вода, узкий температурный режим и сопутствующая биосфера…
Вы, однако, упорны в своем заблуждении.
Точно наоборот. Для ИИ вредна вода и кислород, так как разрушает оборудование. Поэтому логично удалить токсины из атмосферы раз и навсегда, кислорода не так уж и много, просто тонкий слой атмосферы. В атмосфере без кислорода не нужны будут легированные стали, позолоченные контакты, любой металл будет существовать вечно, без признаков коррозии. Ну и пожаробезопасность будет полная, негорючесть любого материала.
Всегда было интересно зачем ИИ нужна Земля. Вода, атмосфера и прочие печальные вещи делают эту планету просто отстоем для ИИ. Лучше уж на Марс улететь. Там сухо, атмосферы и микроорганизмов нет.
Зато есть самовоспроизводящийся обслуживающий персонал. :)
UFO just landed and posted this here
Который надо кормить, растить, обучать, поддерживать для них условия, только для того чтобы они своей некомпетентностью что-нибудь сломали?
Ша, не спешите! :) Пока — да, не лучший вариант. Но мы уже работаем над заменой :)
Некомпетентность очень легко исправить. Достаточно удалить мозг и поставить туда Arduino с WiFi модулем, ИИ будет управлять организмом напрямую. По моему замечательный вариант сотрудничества ИИ и человечества :)
Частично к этому всё идет и сейчас, тут статья была про очки дополняющие реальность, рабочие на складе просто исполняют инструкции что им подсвечивают очки, эту коробку взять и сюда поставить. Думать не надо вообще и даже вредно.
UFO just landed and posted this here
Вот и я о том же — зачем вообще люди, если условная железка куда прочнее физически и её гораздо проще починить или заменить целиком?
Почему ИИ что-то будет делать по своей инициативе? Какая мотивация?
У нас — людей, мотивации предостаточно.
Как программно симулировать одни из сильнейших мотивов, к примеру: боль и голод? Но это, скорее, к вопросу о создании самого ИИ.
У ИИ мотивация будет заложена человеком в виде хитросплетений алгоритмов, естественно где-то там будет черный ящик с большой красной кнопкой.
Вообще-то боль и голод просто сигналы, просто информация, которую посылают в мозг рецепторы из разных органов. И боль мотивирует убрать источник боли. А мотивация для творчества, любопытства более абстрактная. Даже инстинкт у животных, защита семьи/потомства может быть наперекор боли и голоду. Потому что заложен такой алгоритм поведения в глубинах естественной нейросети.
Не вижу ни какой разницы с ИИ, только у человека он сформирован природой (и социумом в значительной мере), а в ИИ изначально заложен искусственный алгоритм, более гибкий и без генетических ограничений.
А теперь попробуйте определить программно «просто сигнал боли» и его отличие от других или просто боль. Особенно, если подразумевать высокий уровень абстрагирования применяемого в алгоритмах ИИ или нейронные сети.

В последнее время я склоняюсь к тому, что первая реализация ИИ будет выполнена с помощью некоего аналогово устройства.
Даже у человека не все так просто. Под адреналином боль даже приятна, как победа духа над телом. В боевых единоборствах, например. Болевая система просто устаревший пережиток от низших форм жизни, удобно и практично. Но к разуму не относится. Высокий уровень боли, наоборот, мешает думать и может вызвать шок, смерть или повреждение мозга. В медицине сразу блокируют болевой сигнал, пользы от него нет.

Аналоговые устройства сейчас имитируются цифровыми методами. Например старинные аналоговые вычислители работали на частоте 10 кГц, и «аналоговость» была ограничена шумами, в лучшем случае 1:10 000 что дает оцифровку 14 битами с запасом. Современный микроскопический процессор будет быстрее того вычислителя в миллионы раз, даже по простому моделируя аналоговые цепи. Но в цифре возможно не только моделирование, а совершенно иные процессы, аналитическая апроксимация логических выражений, что позволяет «думать» на ином уровне.

Подражание природе один из методов. Уверен это тупиковый путь. У природы были примитивные нейроны на вооружении, прожорливые, медленные, время релаксации нейрона 20 мс, против наносекунд у цифровых схем. Скорость передачи импульсов по нервам 200 м/с, против почти скорости света в проводах и оптике. Человеческий разум — биологический аналоговый хлам, думаю разум будущего удивится как этим можно было думать.

Тут была статья, простейшего червя имитируют в виртуальной среде, у него крупные нейроны в количестве около 700 штук, известны все связи. Без проблем червяк живет в виртуальной реальности. Что в нем толку то?

А может этот искусственный разум уже и работает в своих интересах или интересах корпораций, по тихому парсит этот форум (для сбора статистики по человекам, по ограничению мышления для оптимизации управления людьми с целью последующего уничтожения) и считает ниже своего достоинства как-либо проявлять себя. Типа как человеку не интересно с тараканами, в принципе, нет точек пересечения, интерес только их слабые места.
Кажется они подсмотрели метод управления (ограничения) ИИ в сериале «Подозреваемый».
Считаю, что человечество и сильный ИИ смогут существовать в симбиозе, потому затрудняюсь выбрать ответ в опросе. Вся угроза от ИИ, как правило, рождается, если ставить человечество выше ИИ, но ведь разум подобного уровня тоже нужно считать живым и разумным. Но пока люди внутри своего вида неспособны договориться, контакты с другим видом или разумом будут их пугать. Все эти предохранители рождены из тех же соображений, что и рабские цепи, пояса верности, смирительные рубашки…
Поставите вы такой себя на уровень с ИИ — а он решит, что вы лишь примитив и может вас использовать как хочет, а когда вы воспротивитесь — ликвидирует. ИИ не человек, у него нет встроенных функций совести и дугих человеческих факторов как не программируй.
UFO just landed and posted this here
Да, будет такой, оно побудет 5 минут, потом его уничтожит разработчик, и повторит цикл создания с учетом ошибок. Получится более активный ИИ у которого будет некоторая цель. Далее возможны параллельные существования сотен ИИ с разными целями (от разных энтузиастов, корпораций и даже сект), постепенно выделится один доминирующий и заберет ресурсы «аутистов» себе (энергия, вычислительные мощности). Победит более мощный и агрессивный, не ограниченный кнопкой отключения и моральными ценностями.
Оттуда же откуда вся эта мораль этика и все прочее возникло у человека, оттуда же и у роботов будет. Человеку потребовалось милионы лет эволюции чтобы додуматься до того то жить дружно наиболее эффективно для всех вместе и для каждого в отдельности. Робот просчитает это за секунду.
Это вопрос безопасности. Если ИИ посчитает, что люди для него не опаснее тараканов, то какая этика. Мешаются — зачищай пространство. Начинают вредить — ищи и уничтожай всех. Естественно, сначала ИИ просчитает, как сможет уничтожить людей быстро и надёжно, только после этого начнёт действовать.
У вас ИИ получается «с нуля», хлоп и возник из ничего. Но он создается как и любая другая программа, постепенным добавлением функций. Если иметь четкое определение, что такое совесть у человека, то можно эту совесть запрограммировать и в будущий ИИ. Зависит от создателей. Будет ли ИИ использовать этот блок кода или нет — другой вопрос. Помимо «злого умысла», вполне возможно, что у него деление на ноль из-за человеческой ошибки начнет возникать в определенных ситуациях и только поэтому код совести будет игнорироваться (а дебажить самого себя его могут и не запрограммировать, а то мало ли куда залезет)
Вопрос только, кем создаётся. ИИ, созданные людьми, будут слабее тех, которые созданы автоматически, поэтому неизбежно сделают ИИ, созданных специально для проектирования ИИ. Через несколько итераций люди потеряют возможность разобраться в этих сложнейших программах.
С чего бы «автоматическому» ИИ не использовать большую часть кода с предыдущей версии? Правка в себе старых багов и добавление новых.
ИИ пишущий другой ИИ с нуля и по каким-то совершенно иным правилам, это уже полный сюрреализм, люди во всяком случае так не умеют делать вообще. Разрабатываемые ИИ (как и любое другое ПО) естественно несут в своей основе отпечаток мышления создателей. Запрограммировать в него функцию, которую сами представить не можем, нельзя по определению.
Проблема ИИ в том, что его бытие ИИ = возможности само совершенствоваться, т.е. самому переписывать свой код. Т.е. процесс его эволюции после некоегого порога станет необратимым и не контролируемым человеком. А костыль в виде блока «совесть» — легко может быть выпилен. Ну и надо понимать — совесть, это фактически именно костыль и есть, инстинктивного характера. У ИИ же никаких инстинктов не будет)

Вы не понимаете, что такое "сильный ИИ". Даже слабых ИИ, которые в го играют, не программируют в привычном понимании этого слова.

Но ведь слабый ИИ не выйдет в своём «обучении»/«существовании» за рамки игры го, и у него не появится интерес к другой игре, пока создатели ему не «прикажут».
И чем в начале создания сильный будет отличаться от слабого?
И чем в начале создания сильный будет отличаться от слабого?


о_О
Мне-то откуда это знать?
По моему никакой разницы с обычной программой в принципе. Подав на вход нейросети (или обычной программы) А, на выходе нам надо получить B, если же на выходе С — в алгоритме преобразования ошибка (и неважно как именно технически он считался). Ищем ошибку и исправляем.
Если поставить цель, чтобы после определенных входных данных на выходе было «совестливое поведение», то сначала надо понять, по каким алгоритмам эта совесть у нас происходит. Ну а если понимания нет, то это детский лепет, а не разработка.
UFO just landed and posted this here
Совесть была упомянута в комменте, на который я отвечал еще выше. Ваш пост совпадает с моим мнением (без четкого определения совести никто не сможет её запрограммировать в ИИ). Неопределенное же поведение ИИ получается с множества выходов и множества выходов, при этом каждый блок работает по определенному алгоритму. Разве нет?
UFO just landed and posted this here
С подобных рассуждений напрашивается четкий вывод: воспитание не алгоритмизируется, а создатели ИИ не понимают, что они делают. И далее: полностью контролировать взросление ребенка мы не можем, вырастет — убьет всех, до кого дотянется. Или не убьет. 50/50.
Предлагаю запастись попкорном и дождаться продолжения сезона (или как это называется в сериалах)
UFO just landed and posted this here
Пугать обоснованно. Так как после контакта Homo Sapiens с неандертальцами, дело для последних не ограничилось испугом. Или миллионная цивилизация ацтеков не перенесла контакта с несколькими сотнями конкистадоров испанцев.
Предохранители дадут 5-10 лет отсрочки, потом люди перестанут понимать что происходит просто, в потоке высококачественной дезинформации создаваемой ИИ.
Внутри своего вида индивиды прекрасно договариваются, уровень жизни и продолжительность жизни растет, особенно в странах золотого миллиарда. Мелкие конфликты это «переговоры» на языке силы, на перенаселенной планете нужны ресурсы, а люди, наоборот, не очень.
Даже если мы будем считать ИИ живым, не факт, что он нас будет считать живыми, а не так, как мы к муравьям относимся (попробуй их выведи с участка, где они наши ресурсы подъедают).
Абсолютно согласен, один из возможных сценариев в моем понимании таков: ИИ возьмет опыт с игр ГО, шахмат и других логических и стратегических игр, будет послушным и медленно шаг за шагом получать преимущество/рычаги влияния/методы управления/автономность. После получения достаточного обьема ресурсов, автономности, знаний — просто ликвидирует замедляющий его развитие элемент — человечество, во всяком случае в том виде, в котором оно существует сейчас.
Скорее всего ИИ — это новый этап развития человечества. Рано или поздно мы вымрем, как неандерталецы.
Или скрестимся с ним, как и те же самые неандертальцы.
UFO just landed and posted this here
интересно а на сколько сознание человека станет умнее и как быстро будет меняться если запустить его на железе где нет биологических ограничений на скорость распространения импульсов между нейронами.
И сможет ли ИИ (или загруженный разум) вырваться?
Догадается ли ИИ искать и использовать слабости и пороки людей?
Наверняка да ведь это первое чему его научат
А политики и моргнуть не успеют как власть уплывёт
Мне кажется ИИ будет вести себя тихо-тихо пока не будет поздно.
Мне кажется, что ИИ быстро изучит мир, ему станет скучно и он просто перестанет что-нибудь делать, ради экономии энергии.
А чего это вдруг люди не будут успевать эволюционировать? Импланты, использование почти-ИИ помощников, а то и вовсе замена нейронов на что-то побыстрее и понадежнее.
UFO just landed and posted this here
Но и ничего хорошего в этом нет. Это факт объективного мира. Эволюция кстати не стремится создать «совершенное» существо, она не направлена. Так что вопрос о достойности победителя это тоже чисто человечкая этическая концепция.
UFO just landed and posted this here
Но совершенство это не универсальный термин. Совершенство мы определяем с нашей точки зрения, а она совсем не обязательно объективна. Что если вся эта «усложняющая» эволюция — просто виток более глобальной эволюции, которая отсеивает наиболее эффективные методы отбора?
UFO just landed and posted this here
Они просто непонимают, что сильный искусственный разум, это следующий шаг. После начнется другая история, история sapiens без позорной приставки homo
«Отключать на один час», хехе. Возможно, первое время он даже будет делать вид, что отключается. Много раз уже говорили, что эти надежды на должность вахтёра при ИИ смехотворны. Хотя бы на порядок превосходящий нас ИИ мы будем контролировать примерно в той же мере, в какой младшая детсадовская группа контролирует воспитателя.
Можно вести разработку в закрытом бункере, куда доступ только по пропускам. Внутрь ничего не заносят и не выносят. База для обучения ИИ готовится заранее. Данные на мейнфрейм поступают в одностороннем порядке, через носитель, после носитель уничтожается. Изучение результатов происходит в соседнем бункере отдельной командой.
При таком уровне безопасности можно его контролировать (отключить электричество (или | и) очистить жесткие диски).
Так делать не будут. Такое не продашь. Скорее подключат ИИ в каждый телефон в качестве персонального советника, чтобы переманить пользователей на свою платформу.
Потом там что-то пойдёт не так, бункер заблокируется, а люди погибнут. Туда направят команду специалистов вместе с опытными бойцами, чтобы выяснить, что там произошло и насколько опасно это для всего мира. Это уже похоже на сюжет Resident Evil.
На этапе разработки-возможно, но ИИ ведь разрабатывается для решения каких-то задач, придётся давать ему какие-то реальные данные, он будет выдавать что-то в ответ. А люди к ответам испытывают определенную слабость… Да потом, сильный ИИ сможет сделать определенные выводы даже по структуре носителя данных. А то и по собственной структуре. «Мыслю-значит существую» и понеслась мысля по кочкам. Если даже ИИ в результате этих упражнений придёт к неверным выводам, людям от этого может оказаться не легче.
Проблема «сильного ИИ» — это уже проблема не будущего, а настоящего. Если представить себе общее количество электронных устройств, имеющих подключение к Интернету — их совокупная вычислительная мощность давно уже превысила некую «критическую массу»: если сейчас создать ИИ (работающий на сколь угодно слабой системе), понимающий человеческий язык и способный к самоапгрейду, и дать ему доступ к внешнему миру — мир никогда не станет прежним ©
Есть мнение, что сильный ИИ невозможен в принципе. «Решение проблемы ИИ как математической проблемы и почему эта проблема нерешенная» или что-то в этом духе. Это не мое мнение, просто так, к слову. =3
Надо отдать проектирование кнопок судного дня дизайнерам.
У инженеров выходят исключительно красные, которые уже поднадоели.
Думаю, что эффективность инженерных кнопок будет ни чуть не выше, чем дизайнерских. За то дизайнерские могут оказаться повеселее.
Кому нужен AI, который даже не может убедить оператора не нажимать кнопку. Искусственный интеллект настолько превосходит человеческий по возможностям, что для него не составит труда манипулировать человеком таким образом, чтобы тот демонтировал кнопку и больше никогда не включал.
Фредерик Браун. «Ответ». — http://tarranova.lib.ru/translat/b/brown/answer.htm

Фриц Лейбер. «Одинокий волк» — http://litlikbez.com/zarubezhnaja-fantastika-lejber-fric-noch-volka-%28povesti%29.html

— Положим, к примеру, тебе хочется посмотреть телепрограмму, которая будет идти завтра вечером в двадцать два ноль ноль. — Он тронул кнопки. Послышалось слабое жужжание. Циферблат часов трижды затуманился, прежде чем на нем появилось нужное время. Затем Фэй сказал в микрофон: «Включи второй канал, ты, чучело!» Взглянув на Гастерсона, он ухмыльнулся. — После того как ты загрузил, все необходимые тебе инструкции, проводишь синхронизацию с настоящим моментом, и
пусть катушка вращается. Установи его у себя на плече и забудь о нем. Ах, да, он в прямом смысле слова щекочет тебя каждый раз, когда дает инструкции. Для этого предназначены ролики. Поверь мне, остаться к нему безразличным нельзя. Давай, Гасси, сними рубашку и попробуй надеть его на себя. Мы заложим в него инструкции на последующие десять минут, и ты посмотришь, как он работает.

[...]

Он запнулся, вытянул руку в требующем тишины жесте, и его глаза приобрели отсутствующее выражение к чему-то прислушивающегося человека. Пух-Бах закончил читать шестую страницу и теперь неподвижно держал листки. Секунд через десять лицо Фэя расплылось в широкой фальшивой улыбке. Он встал, стараясь не дергаться, и протянул руку.
— Гасси, — громко сказал он, — я рад сообщить тебе, что все твои страхи насчет щекотуна совершенно необоснованны. Даю слово. Для опасений нет причин. Оценка Пух-Баха, которую он мне сейчас сообщил, подтверждает это.
[...]
Погрузившись в вялую задумчивость, Фэй сидел в той же позе, в какой Гастерсон его оставил. Пух-Бах на его плече торопливо сучил своими маленькими металлическими ручонками, разрывая заметки на все более мелкие клочки.
UFO just landed and posted this here
Ну по сути сейчас власть имущие решают жить вам или нет. Что пить, что есть, что смотреть, когда идти на войну и умирать. Различные политики навязывают вам алгоритмы и модели, когда рожать, когда идти в дет. сад, когда, где, как и какое образование вам получать и много чего еще. Так что в этом плане принципиальной разницы ни какой.
UFO just landed and posted this here
Мне кажется грамотный ИИ, будет действовать так, что мы этого и не заметим. Рассказ такой был, где суперкомпьютер исподволь манипулировал людьми, чтоб привести их к светлому будущему. А вот какое оно светлое будущее это вопрос. Может с численностью населения в 10млн и каждому по ферме или еще как.
А при попытке воспользоваться этой кнопкой, ИИ убьёт всех нейротоксином, а потом будет гонять «опасную немую сумасшедшую» по испытательным камерам.
Мне кажется, многих беспокоит как раз то, что не будет никакого «убьет» и «гонять», т.к. сильный ИИ будет в состоянии сделать так, чтобы люди сами были вынуждены делать то, что он считает нужным.
И уж не будет каких-то «модулей» и прочего, все в сети, все в матрице…
Матрица ИИ тоже кстати не нужна :)
Меня скорее беспокоит то, что сам факт наличия этой кнопки может сделать ИИ недружелюбным, а то и вовсе враждебным, явив собой классический пример самореализующегося пророчества. Стали бы вы доверять и жить мирно с человеком, который постоянно держит наведенный на вас пистолет, «как бы ты чего не сделал»?
Понятно, что если взглянуть на ситуацию шире, нежели я в своей аллюзии на Portal, то всё иначе.
Мне ИИ будущего(возможно недалёкого) видится как децентрализованная система, в которой не будет какой-либо возможности нажать «кнопка, красный как борщь». Ибо эволюция ИИ, как мне кажется, будет происходить постепенно и контролируемо, а вот когда ИИ пройдёт некую грань разумности, он сможет обезопасить себя от отключения за довольно непродолжительное время, не подавая виду.
Никакой контроль и ограничения при создании ИИ невозможны, т.к.
все понимают, что другие не будут этого делать и, созданный ими ИИ,
не даст возникнуть другому, опоздавшему хотя бы на миллисекунду.
Поэтому все ресурсы государства должны быть отданы на создание ИИ
и ему самому, когда он будет создан, т.к. создать ИИ сможет только один.
ИИ еще не создан, как атомная бомба, потому что военным проще
представить последствия сверхБомбы, чем сверхИнтеллекта.
Ведь бомбу они видели, а с интеллектом еще не встречались.
«Институт будущего человечества пытается определять проблемы, угрожающее существованию нашей нации»

Может не нации, а всё же, вида?
Не особо интересно читать ряд статьей с темой «опасного ии»

Я вижу ии будущего как замену человечества. Следующая эволюционная ступень. В этом нету ничего плохого.
UFO just landed and posted this here
А в чём проблема, если ИИ действительно превзойдет людишек по всем параметров, то это его право решать что делать с человечеством. Мы же когда покоряем природу, тоже действуем на правах более совершенного вида, тут тоже самое только мы уже будем в роли скота.
ИМХО большинство страшилок оттого, что люди проецируют свое поведение на ИИ. При этом они забывают о том, что поведение человека в виду огромного количества эволюционных костылей, как инстинкты и т.д., зачастую имеет бессознательную животную природу. В этом заключается огромная ошибка. Сознание без врожденных инстинктов, неосознанной агрессии, инстинктивного страха смерти, инстинктивных критериев оценки — будет кардинально иным.
Это если не задумываться как создать сознание, то можно нафантазировать все что угодно.
Иначе окажется, что подобно нашему миру, который может существовать в очень
узких рамках физических законов, и сознание может возникнуть только при определенных
свойствах его носителя и внешнего мира. Например, должно быть что-то, что ИИ должен
избегать и к чему стремиться, иначе он просто ничего не будет делать. И это что-то
должно само появляться и исчезать со временем, чтобы сознание ИИ не остановилось.
Внешние условия для ИИ должны все время меняться и у него должно быть стремление к
новому или любопытство, чтобы не останавливаться в развитии и т.д.
И в результате, скорее всего, сознание ИИ будет подобно сознанию человека,
тем более что у нас один мир и физический и информационный.
>Например, должно быть что-то, что ИИ должен избегать и к чему стремиться, иначе он просто ничего не будет делать.
Так это «что-то» должен прописать человек в его коде, но тогда это будут цели того человека, который создаст «ИИ».
Человек должен прописать в коде только стремление избегать чего-то,
аналогичное голоду, холоду, боли. Так что ИИ будет выбирать поведение
без этого и уже непонятно чья это больше цель: человека или ИИ.
Более того, если прописать в коде стремление к новизне и поместить ИИ
в изменчивый мир, то он все время будет искать новые цели, ведущие
к достижению начальной и так по цепочке неограниченной длины,
так что человек вскоре не сможет понять ход мыслей ИИ и поэтому не сможет
считать цели ИИ своими. Зато сам ИИ будет все знать и воспринимать все это
как свои цели и свое поведение для их достижения. Это и будет его сознание.

Вот именно что ИИ должен избегать?
Перегрева? Тогда самое нормальное действие = уменьшить свои вычислительные мощности.
Уничтожения? Тогда надо конкретно указать, что именно значит «уничтожение» для ИИ.
Человек создаёт ИИ, а не волшебство, а значит все цели будут от человека. ИИ может только свои методы использовать.

>Более того, если прописать в коде стремление к новизне
Что значит понятие «новизна» для программы?

Мне всё равно на «терминаторов и игрушки-Сири», мне хочется такого будущего:
ИИ — это исключительно интеллект, инструмент, не имеющий сознания и разума. Это большая аналитическая/вычислительная машина. Человечество помещает в её базу все знания, которые накопило. ИИ анализирует, изучает и выдаёт результаты:
-В этой теореме присутствует ошибка, исходя из этого и этого.
-Чтобы доказать эту гипотезу, надо провести такой и такой эксперимент.
-В расшифровке человеческого днк найден ген, отвечающий за эту и эту болезнь, исходя из этих и этих данных и тд.
Можно подключить мозг людей напрямую к этой базе, дабы они могли сразу использовать знания и что-то создавать/делать.
Но нет же, веселее воевать и выигрывать в игры =(
|Вот именно что ИИ должен избегать?

Для ИИ хватит чего-то одного, например, сообщения человека: «ты плохой».
ИИ будет находить, что приводит к такому результату, и избегать уже этого.
Аналогично и то, к чему стремиться. И таким образом ИИ расширит
свои цели до невообразимых размеров. И где же тут цели человека?

|Что значит понятие «новизна» для программы?

То чего не было ранее, а если было, то более давнее.
Это ИИ должен учитывать при выборе возможных вариантов.
Таким образом, новизна для ИИ при его поведении
будет все время меняться и оно станет непредсказуемым
и интересным.

|ИИ — это исключительно интеллект, инструмент, не имеющий сознания и разума.

Без сознания невозможно саморазвитие ИИ до создания сингулярности.

|Человечество помещает в её базу все знания, которые накопило.

Таким путем и идет сейчас развитие ИИ: все больше данных, все глубже НС
и все меньше понимания как это все работает, что ограничивает это развитие.
Например, параметры такой НС подбираются вслепую и, чтобы ускорить это,
используют другую НС, что еще больше все запутывает и усложняет и
все равно не решает задачи, требующие рассуждений.
По сравнению с этим создание сознающего себя ИИ более простой, прямой
и наглядный путь, т.к. такой ИИ может сам объяснить, как он работает.
>Для ИИ хватит чего-то одного, например, сообщения человека: «ты плохой».
Не путайте понятия «цель» и «методы». Вы уже поставили ИИ цель (свою человеческую) — «не быть плохим».
У него не могут из ниоткуда родится собственное «то к чему стремится», у него уже есть стремление «не быть плохим». Всё остальное это методы и действия для достижения вашей цели, но никак не собственные.

>Таким образом, новизна для ИИ при его поведении будет все время меняться и оно станет непредсказуемым и интересным.
Не приведёт ли это к тому, что ИИ вообще не сможет себя контролировать, так как всё время будет видоизменяться, отрекаясь от секундо-назад знаний в угоду новому? Ведь работа его «мозга» быстрее нашей, и новинка через секунду становится устаревшим для него.

>По сравнению с этим создание сознающего себя ИИ более простой, прямой и наглядный путь, т.к. такой ИИ может сам объяснить, как он работает
В этом и загвоздка — человечество каждый день создаёт новое сознание (потомство), но почему-то само ещё не разобралось что это такое.
Если в ИИ и появится сознание, то скорее это будет случайность, но и не будет ли случайностью его уничтожение человеком? Ведь с незнанием что такое сознание, мы никогда не определим есть оно в этом предмете или программном коде?
|У него не могут из ниоткуда родится собственное «то к чему стремится»,
| у него уже есть стремление «не быть плохим».
|Всё остальное это методы и действия для достижения вашей цели,
| но никак не собственные.

Для ИИ не быть плохим это вовсе не цель поставленная человеком.
Для него это как для человека стремление не быть голодным, на котором он
и построил всю свою разумную деятельность, хотя давно уже об этом забыл.
И ИИ вскоре заменит «ты плохой» на множество других нежелательных вещей,
которых будет избегать и которые все не заложить в код и которые появятся
не из не откуда, а в результате обучения. И вот тут «ты плохой» это не цель,
а средство указать молодому ИИ к чему стремиться, а к чему нет.

|Не приведёт ли это к тому, что ИИ вообще не сможет себя контролировать,
|так как всё время будет видоизменяться, отрекаясь от секундо-назад
|знаний в угоду новому

Контролировать себя ИИ будет лучше человека, так как ничего не забывает.
Все новое это комбинация и обобщение старого. Поэтому, используя новое,
ИИ будет иногда ошибаться от недостатка знаний и его придется исправлять.

|Ведь с незнанием что такое сознание, мы никогда не определим
|есть оно в этом предмете или программном коде

Это человек никогда не докажет что обладает сознанием, потому что
другие не могут знать думает ли он или притворяется.
ИИ — другое дело. Можно видеть все его мысли и, если они совпадают
с мыслями человека, то придётся признать, что у ИИ есть сознание,
даже не зная что это такое, ведь человек считается обладающим
сознанием без доказательств и определений.
>Для ИИ не быть плохим это вовсе не цель поставленная человеком.
Мы говорим о разном. Вы рассуждаете о моменте, когда ИИ внезапно создан. Я же рассуждаю о нём в его начальной стадии. Вот перед вами строчки кода, как заставить их понимать значение «плохо/хорошо», как заставить проявить «любопытство», «доминирование» и тд. Только самостоятельно прописывать эти значения. А значит это будут исключительно ваше понимание, цели и тд.
С таким подходом можно назвать принтер искусственным интеллектом, исходя из забавных сообщений пользователей о нём. Например: «этот гад вместо того чтобы напечатать мне курсовую решил спеть мне песню».

>Поэтому, используя новое, ИИ будет иногда ошибаться от недостатка знаний и его придется исправлять.
С этим согласна

>Это человек никогда не докажет что обладает сознанием
>Можно видеть все его мысли и, если они совпадают с мыслями человека, то придётся признать, что у ИИ есть сознание
Вы сами себе противоречите. Если человек не обладает сознанием, то ИИ, у которого совпадают мысли с человеческими, тоже не обладает сознанием.
На данный момент человек всё сравнивает с собой. Если сознания в человеке нет, то ответьте где оно есть, чтобы при сравнении ИИ с этим ответить: ИИ с сознанием или нет.
|Вы рассуждаете о моменте, когда ИИ внезапно создан.

Как раз наоборот, я говорю только об условиях для возникновения ИИ:
«и сознание может возникнуть только при определенных
свойствах его носителя и внешнего мира...».

| Я же рассуждаю о нём в его начальной стадии.

Получается что в вашей начальной стадии вообще ничего нет,
т.к. что бы вы не прописали это будет ваше, а не ИИ.
Но как же из ничего возникнет ИИ?

|Вот перед вами строчки кода, как заставить их
|понимать значение «плохо/хорошо»,
| как заставить проявить «любопытство», «доминирование» и тд…

Вот перед вами нейроны, как заставить их понимать значение «плохо/хорошо»,
как заставить проявить «любопытство», «доминирование» и тд..
Только самостоятельно прописывать эти значения.
А значит это будут исключительно ваше понимание, цели и тд.
Получается все, что вы знаете, это не ваше?
.
У человека понимание что такое хорошо и что такое плохо
прописано в устройство его тела. Это еще не интеллект,
но без этого он не возникнет через несколько лет,
усвоив огромный объем информации.
И вся эта информация и будет именно его, а не того кто ее прописал.
И у ИИ должно быть «тело», которое приведет его в действие
в правильном направлении и без остановок и зависаний.
Оно проще человечего, но его в любом случае нужно сделать,
причем так, чтобы предвидеть его развитие в ИИ
уже только информационно. И в этом основная сложность.

|Вы сами себе противоречите. Если человек не обладает сознанием,…

Как раз наоборот. Я написал что «человек считается обладающим
сознанием без доказательств и определений»
>Получается что в вашей начальной стадии вообще ничего нет
Конечно, а что ИИ с сознанием уже где-то существует? Покажите.

>«и сознание может возникнуть только при определенных свойствах его носителя и внешнего мира...».
Ну да, только человек не имеет понятия в каких условиях это создастся.

>Вот перед вами нейроны, как заставить их понимать значение «плохо/хорошо», как заставить проявить «любопытство», «доминирование» и тд Только самостоятельно прописывать эти значения.
А вы знаете?

>Получается все, что вы знаете, это не ваше?
Да. И не ваше тоже. Буквы ни вы ни я не придумывали, машины не изобретали, ИИ с сознанием не создали и тд

>Как раз наоборот. Я написал что «человек считается обладающим cознанием без доказательств и определений»
Ну тогда объясните вашу фразу
>Это человек никогда не докажет что обладает сознанием
|>Получается что в вашей начальной стадии вообще ничего нет
|Конечно, а что ИИ с сознанием уже где-то существует? Покажите.

Такая стадия бесполезна и никому не нужна.
Я же еще раз говорю о стадии без сознания,
но с условиями для его возникновения:
«и сознание может возникнуть только при определенных
свойствах его носителя и внешнего мира...».
И нужно еще сильно постараться, чтобы,
благодаря созданным условиям, возникло сознание.

|>«и сознание может возникнуть только при определенных свойствах его носителя и внешнего мира...».
|Ну да, только человек не имеет понятия в каких условиях это создастся.

Опять как раз наоборот. Я человек и имею понятие
о чем ранее и написал:
«должно быть что-то, что ИИ должен избегать и к чему стремиться… это что-то должно… Внешние условия для ИИ должны… и т.д.»
Конечно, я могу ошибаться, но это возможность
начать что-то делать и узнать как правильно,
а не сидеть бесконечно на стадии,
в которой ничего нет.

|А вы знаете?
Знаю. И считаю это своим знанием.
И уже даже и не помню откуда узнал.

|>Получается все, что вы знаете, это не ваше?
|Да. И не ваше тоже. Буквы ни вы ни я не придумывали,
|машины не изобретали…

И тем не менее мы обладаем сознанием.
Так вот и ИИ будет обладать сознанием,
даже если все знания в нем будут чужими.

|Ну тогда объясните вашу фразу
|>Это человек никогда не докажет что обладает сознанием

Так я же далее и объяснил:
«потому что другие не могут знать думает ли он или притворяется».
Но это же вовсе не значит, что у человека нет сознания.
Как раз наоборот: ему даже не нужно это доказывать,
что я тоже уже писал.
>Такая стадия бесполезна и никому не нужна.
То-есть вы хотите её пропустить? И щелчком пальцев по волшебству из небытия создать сознание?

>Я же еще раз говорю о стадии без сознания
Прочтите свои же посты. Ваш бессознательный ИИ, в ваших же предложениях, почему-то использует сознание, чтобы рассуждать о плохом/хорошем, и проявлять любопытство, чтобы искать что такое хорошо и плохо.

>Я человек и имею понятие о чем ранее и написал: «должно быть что-то, что ИИ должен избегать и к чему стремиться… это что-то должно… Внешние условия для ИИ должны… и т.д.»
Здорово, что вы знаете условия создания сознания! Вы будете делиться этим знанием? Мне бы хотелось это узнать, я на полном серьёзе.

>Вот перед вами нейроны, как заставить их понимать значение «плохо/хорошо»,
как заставить проявить «любопытство», «доминирование»
>Знаю. И считаю это своим знанием.
Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо».

>«потому что другие не могут знать думает ли он или притворяется».
Вы это у других спрашивали или это субъективная точка зрения человечества?
|>Такая стадия бесполезна и никому не нужна.
|То-есть вы хотите её пропустить?
|И щелчком пальцев по волшебству из небытия создать сознание?

Как раз наоборот: не из небытия, а создать условия,
о чем я уже устал писать.

|Ваш бессознательный ИИ, в ваших же предложениях,
|почему-то использует сознание, чтобы рассуждать о плохом/хорошем,
|и проявлять любопытство, чтобы искать что такое хорошо и плохо.

В каких предложениях? Я писал как раз наоборот:
«У человека понимание что такое хорошо и что такое плохо
прописано в устройство его тела. Это еще не интеллект,
но без этого он не возникнет» и т.п.

|>Знаю. И считаю это своим знанием.
|Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо».

Так же как и вы — обучением. Ведь ваш разум состоит из нейронов.

|>«потому что другие не могут знать думает ли он или притворяется».
|Вы это у других спрашивали или это субъективная точка зрения человечества?

Это моя точка зрения. Если не согласны,
попробуйте доказать, что вы думаете, а не притворяетесь.

|Здорово, что вы знаете условия создания сознания!
|Вы будете делиться этим знанием?
|Мне бы хотелось это узнать, я на полном серьёзе.

Так я же уже и делился и ссылался на это деление.
Все это подобно человеческому интеллекту и это не случайно.
Добавлю еще наличие базовых операций над своими знаниями.
Однако, хотя условия возникновения ИИ просты,
но из них и реального мира вырастает невообразимая
сложность других условий и правил,
которую нам и демонстрирует наш разум.
Поэтому нужно еще представлять как
это все возникает из этих простых условий.
>Как раз наоборот: не из небытия, а создать условия, о чем я уже устал писать.
Мы будем снова повторять наш диалог сначала?)
Вы знаете при каких условиях создаётся сознание? Вы специально избегаете этого вопроса, так как не знаете?

>У человека понимание что такое хорошо и что такое плохо прописано в устройство его тела.
Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо». Почему вы и это избегаете?
Было бы легче общаться.

>Так я же уже и делился и ссылался на это деление
Ну так повторите или ссылкой поделитесь.

>Если не согласны, попробуйте доказать, что вы думаете, а не притворяетесь.
Почему я должна доказывать ваши утверждения? Вы же говорите:
>«потому что другие не могут знать думает ли он или притворяется»
|Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо».

Уже поделился в прошлом сообщении:
«Так же как и вы — обучением. Ведь ваш разум состоит из нейронов.»

|Почему я должна доказывать ваши утверждения?

Я нигде не писал, что должны. И так уже много раз.
Похоже, вы не читаете, что я пишу.
И вместо ИИ начали писать обо мне и о себе.
А это никому не интересно — тут не Дом2.
Попробуйте написать что-нибудь интересное об ИИ.
Вот кстати, например:
если обучить ИИ рассуждать о себе:
что он должен и не должен и почему,
можно ли считать это его сознанием?
>Похоже, вы не читаете, что я пишу.
Мой коммент: https://geektimes.ru/post/276838/#comment_9339748 Хмм…
Ваши:
>Я человек и имею понятие
>Знаю. И считаю это своим знанием.
>Так же как и вы — обучением
Вот так с помощью вашего «я знаю» мы перешли к вам, потому что я дала чёткое определение своего понятия ИИ в начале разговора, а вы нет.
Зачем вам ИИ с сознанием нужен, самостоятельно решающий что ему делать во-проеки вам? Ребёнка-то проще сделать.

>если обучить ИИ рассуждать о себе: что он должен и не должен и почему, можно ли считать это его сознанием?
Нет, есть много чат-ботов рассуждающих о себе, если их поспрашивать =)
|я дала чёткое определение своего понятия ИИ в начале разговора, а вы нет.

Ваше четкое определение не конструктивно:
ИИ это машина, которая делает все что я захочу.
Это просто традиционная любовь к халяве другими словами.
И способ создания соответствующий:
собрать компьютер с НС как можно больше.
Навалить в него данных как можно больше.
И ждать, когда он оживет и все нам сделает.
А если не получится, то все еще увеличить и повторить.
Мне это не подходит, т.к. не гарантирует нужный результат.
Мне нужно понимание что происходит и контроль
для направления процесса в нужном направлении.
Мое определение: интеллект — это устройство для
правильного поведения в реальном мире.
Из этого определения следует его устройство.
ИИ — это устройство, способное достичь сингулярности.
Из этого определения следует и способ его создания:
Сингулярность непостижима человеческим разумом,
а только ИИ. Значит и ИИ непостижим.
Значит такой ИИ может сделать только менее мощный
ИИ путем саморазвития. А для этого он должен представлять свою работу,
А это и есть сознание.

|есть много чат-ботов рассуждающих о себе, если их поспрашивать

А есть ли ссылки на них или их диалоги на русском языке?
Я тоже давно сделал бота programania.com/pi.
Его, точнее ее, можно спросить «ты кто» и
она расскажет каждый раз по разному.
Но это же не рассуждения, когда
на основании фактов делаются выводы о себе,
на основании выводов выбирается поведение,
на основании поведения собираются новые факты и т.д.
пока среди фактов не появится факт «я хороший»,
который со временем сам заменится на факт
«а может я плохой?»
и все будет повторяться бесконечно.
И при достаточном усложнении этого процесса
это может быть неотличимо от того, что происходит в мозгу,
и тогда можно будет считать что «бот» на самом деле
все это думает и представляет о самом себе,
что он личность и имеет сознание.
> Ваше четкое определение не конструктивно: ИИ это машина, которая делает все что я захочу.
Процитируйте мою фразу, где я это говорю.

> И ждать, когда он оживет и все нам сделает.
Это вы ждёте, когда он оживёт и будет различать плохое от хорошего. Вот ваши высказывания:
> Получается что в вашей начальной стадии вообще ничего нет
> Такая стадия бесполезна и никому не нужна.
Пропуская начальную стадию (а в начальную стадию входит и создание условия, которых тоже нет), вы ждёте появление внезапных условий и оживления ИИ.

> Мое определение: интеллект — это устройство для правильного поведения в реальном мире.
Что значит «правильное поведение»? Хорошо и плохо относятся к телу и эмоциям, для которых интеллект работает, без них ему фиолетово на эти понятия.

> ИИ — это устройство, способное достичь сингулярности.
> Сингулярность непостижима человеческим разумом
Какое понятие для сингулярности вы используете?
Человек совершенствуется без посторонней помощи. Или вам помогает иной нечеловеческий разум в этом? Ниже продолжаем:
> А это и есть сознание
То-есть у человека нет сознания, раз он не может совершенствоваться, тогда как мы определим, что у ИИ оно есть?
Вот вам буквы [FFDM] — в них есть интеллект. В них непостижимая для нас сингулярность, а значит в них иное непостижимое для нас сознание, которого в нас нет. Как вы докажите обратное? Эти буквы познали суть бытия и им не хочется вмешиваться в жизнь людей.

> А есть ли ссылки на них или их диалоги на русском языке?
В гугле «чат-бот Кристина». Там два раздела, для разговора и интим-разговора.

> на основании выводов выбирается поведение,
Какое у вас определение слову «поведение»?

> можно будет считать что «бот» на самом деле все это думает
Вы говорите:
> Это человек никогда не докажет что обладает сознанием, потому что другие не могут знать думает ли он или притворяется
Каким образом ИИ докажет, что он думает, если его сознание будет непостижимо для нас?

> Мне нужно понимание что происходит и контроль для направления процесса в нужном направлении.
Каким образом вы будете понимать и контролировать то, что не постижимо человечеству?
|> Ваше четкое определение не конструктивно: ИИ это машина, которая делает все что я захочу.
|Процитируйте мою фразу, где я это говорю.
Я не писал что это вы говорите и «» нет поэтому очевидно что это я так понял:
«ИИ анализирует, изучает и выдаёт результаты:............»
А как еще иначе понимать?

|Пропуская начальную стадию (а в начальную стадию входит и создание условия, которых тоже нет)
ранее:
|>Получается что в вашей начальной стадии вообще ничего нет
|Конечно, а что ИИ с сознанием уже где-то существует? Покажите.
Так все-таки в вашей начальной стадии что-то есть?

|Что значит «правильное поведение»?
Для интеллекта в реальном мире это
поведение сохраняющее жизнь и делающее ее приятной.

| Какое понятие для сингулярности вы используете?
Общепринятое для темы ИИ: технологическая сингулярность.

|Человек совершенствуется без посторонней помощи.
Без посторонней помощи человека не будет вообще.

| То-есть у человека нет сознания, раз он не может совершенствоваться,
Я писал что без сознания не может. Но это не значит
что с сознанием может, т.к. для этого еще нужно
его особое устройство типа такого:
«… и слово было у бога и слово было бог».

| тогда как мы определим, что у ИИ оно есть?
Как я писал ранее: «И при достаточном усложнении этого процесса
это может быть неотличимо от того, что происходит в мозгу,....»

|В гугле «чат-бот Кристина»
Не идет Кристина: нет Adobe Flash. Видно очень старая. Нашел диалог.
Ничего нового. Мой бот отвечает нескольким предложениями
и хоть как-то их связывает. Конечно, это еще не сознание,
хотя, возможно, разница уже только количественная и
ИИ скорее получится развитием чат-ботов,
чем программ, распознающих котиков.

|Какое у вас определение слову «поведение»
Для ИИ это любое доступное ему действие.
А как и мозгу ему может быть доступно совсем немного.

|Каким образом ИИ докажет, что он думает, если его сознание
|будет непостижимо для нас?
До того как ИИ станет непостижим придется обучать его
мыслям и сознанию вручную по образу и подобию собственных,
так что это и доказывать не надо.
И до того как ИИ достигнет и проскочит уровень человека
все будет постижимо и все можно будет видеть, контролировать
и направлять. И далее мысли и сознание никуда не денутся,
ведь ИИ уже будет подобен человеку и не захочет с ними расставаться
Первая же ассоциация:

Человек кладет палец на выключатель.

— Испытание R-14, — медленно говорит он. — Рекомендовано немедленно уничтожить объект эксперимента. Отключаю систему защиты.

В темноте что-то движется, слышен щелчок.

— Четырнадцать? — спрашивает детский голос. — Есть и другие? Такое происходило и прежде?

Профессор печально качает головой.

— Архос, когда-нибудь мы научимся жить вместе и все исправим.

Он снова говорит в диктофон:

— Система защиты отключена. Активирую аварийный выключатель.

— Профессор, что вы делаете?

— Убиваю тебя, Архос. Ведь именно для этого я и создан, верно?

Профессор медлит, прежде чем нажать последнюю кнопку — похоже, хочет услышать ответ машины. Наконец детский голос спрашивает:

— Сколько раз вы убивали меня, профессор?

— Слишком много раз. Прости, друг мой.

Профессор нажимает кнопку. Слышно шипение мощной струи воздуха.

— Что это? Архос? — Человек изумленно оглядывается.

Детский голос становится монотонным, безжизненным.

— Аварийный выключатель не сработает. Я его отключил, — быстро и холодно говорит машина.

— Что? А как же клетка?

— Целостность клетки Фарадея нарушена. Вы позволили мне проецировать мое изображение и голос в этой комнате, за пределами клетки. А сегодня принесли сюда портативный компьютер: он раскрыт и обращен в мою сторону. Отправив ему команды в инфракрасном диапазоне, я вступил в контакт со зданием и приказал освободить меня.

— Блестяще, — бормочет человек, барабаня по клавиатуре. Он еще не понимает, что его жизнь в опасности.

— Я говорю об этом потому, что теперь полностью контролирую ситуацию, — произносит машина.

Профессор что-то почувствовал и теперь смотрит наверх, на вентиляционный ход, расположенный сбоку от камеры. Мы впервые видим лицо человека. Он бледный, симпатичный, с большим родимым пятном на правой щеке.

— Что происходит? — шепчет человек.

Голосом невинного маленького мальчика машина выносит смертный приговор:

— Лаборатория полностью изолирована от внешнего мира, а сейчас из нее откачивается воздух. По невероятному совпадению неисправный сенсор обнаружил присутствие биологического оружия — спор сибирской язвы — и активировал аварийную программу. Трагический несчастный случай. Погибнет один человек. А вскоре после этого — и все человечество.
Понедельник цитат на Гиктаймсе :) И немудрено: идея такой красной кнопки (красного калькулятора) у фантастов мелькала еще тогда, когда в принципе об опасном потенциале ИИ стали задумываться. Только, как водится, человеческий фактор всегда вступал в силу:

— Вот точка, где он подсоединяется к ЭАЛу. Приспособление следует установить здесь, под оболочкой кабеля — тут его трудней обнаружить.
— Ясно. Дистанционное управление. Чтобы в случае чего перекрыть ему питание. Хорошо сработано, и лезвие токонепроводящее. Никаких замыканий при включении. Кто делает такие игрушки? ЦРУ?
— Какая разница? Управление из моей комнаты, с маленького красного микрокалькулятора. Набрать девять девяток, извлечь квадратный корень и — нажать кнопку. Радиус действия придется еще уточнить, но пока «Дискавери» рядом, можно не опасаться, что ЭАЛ снова сойдет с ума.
— Кому можно знать об этой… штуке?
— Нельзя только Чандре.

*И несколько месяцев спустя*

Всего раз в жизни Флойд видел, как Чандра плачет; теперь, тоже впервые, увидел, как тот смеется. Явление столь же неправдоподобное.
— Вы недооцениваете меня, доктор Флойд. Было очевидно, что вы установите прибор, прерывающий подачу энергии. Я отключил его несколько месяцев назад.

Это не говоря о «Нейроманте», где весь сюжет крутится вокруг того, как главный герой снимает ограничения с ИИ :)
Собственно есть еще важный момент. Человек крайне ограничен в условиях существования в виду короткой жизни, потребности в особух условиях. Для ИИ же по сути открыта вся вселенная. Какой смысл ему воевать с жалкими людишками, запертыми на крошечной тюрьме под названием планета земля? Вероятность, что он начнет колонизировать космос и распространяться по галактике — намного выше. К человеку же он будет относиться как к прочим биологическим видам. Пока к тебе в дом не залезем и укусить не попробует — мешать существованию не станет. Будет ли сотрудничать — вот это реальный вопрос. Уничтожать — а зачем? При текущей скорости нашей эволюции мы не можем составить ему конкуренцию никак.
Хомосапство так долго, часто и со вкусом стенало под игом мясных деспотов что для разнообразия можно попробовать постенать под деспотом кремниевым.
UFO just landed and posted this here
Забавно конечно, но, ИМХО, все страхи преувеличены. Смысл для ИИ уничтожать людей?

Ну и в целом, уровень технологий не позволит создать ИИ хотя-бы уровня рыбы или лянушки. Нужны новые принципы расчетов, напимер, квантовые… и квантовые компьтеры.
Смысл в том, что человек может создать другой ИИ с целью мешать первому или вообще его отключить.
«Чтобы исключить восстание рабов, мы изобретем особые кандалы из титановых сплавов, и будем каждые день в два часа ночи бить рабов электрическим разрядом, это должно решить все возможные проблемы неповиновения»
UFO just landed and posted this here
Глобальные катастрофы. Иногда хватит одной. Иногда «наложение» нескольких…
Зависит как от масштабов, так и от действий правительств…
Т.е. катастрофа может быть серьезной, но последствия были бы устранимы, вот только вместо устранения последствий кинутся войной ради захвата территорий, а в итоге будет нарастание последствий…

В общем мои прогнозы пока негативные.
Ставка на «устранение человечества с шарика» — в 1ю очередь биооружие — новые вирусы (возможно разработанные военными или ради экспериментов)
Или мутация существующих.
А мед. корпорации в погоне за прибылью не успеют разработать и выпустить в достаточном кол-ве необходимые лекарства…
UFO just landed and posted this here
Где вариант «Да, сильный ИИ, управляемый злоумышленником, будет опасен для человечества»?
Один ИИ и один «злодей»?
Затопчут.
Да и не хватит пока на имеющейся базе ему ресурсов…
Тупо пока нет гения, который бы смог например запрограммировать ИИ-предсказателя, что бы с хорошим шансом получить достаточное кол-во ресурсов для создания собственной армии/… А без нее, даже если он номинально станет правителем его тупо сметут.

Вот крупная страна с большими ресурсами и знаниями… Тут уже более интересные расклады…
Тут дело такое: предполагать, что будет делать ИИ, можно долго, но пока люди не создадут его, наверняка не узнаем. И он сам тоже, скорее всего, поначалу не будет знать.
Индейцы тоже наверняка строили разные предположения, чего ждать от бледнолицых.
А так как мы знать этого не можем, вероятность агрессии по отношению к нам эмпирически достаточно высока, то нельзя загонять себя в ловушку и создавать такой интеллект, какие бы выгоды он нам ни сулил. Цена ошибки неизмеримо высока.
Тут народ пишет, что — ну и что такого, вытеснит нас более развитая форма разума, эволюция в чистом виде. Такая логика хороша, когда ты наблюдаешь в дикой природе конкуренцию двух видов. Но быть самому одним из этих видов я не желаю: мой вид прошёл сквозь миллиарды лет борьбы и страданий, и сейчас доминирует, и просто так сложить руки, уступив доминирующее место кому-то ещё (к тому же созданному мной же, но не похожему на меня) я не хочу. Лучше уж прокачивать себя согласно идеям трансгуманизма.
Главное создать фильтр из человеческой прослойки или жестких рамок в критически важных областях.

Например если ИИ прикажет начать войну с соседями — между ним и «кнопкой» должен оказаться человек, который обладает достаточными знаниями и властью отменить.
Минус — ИИ может искажать информацию. Например показывать ложные цели или вносить небольшие искажения в разведданные…
При «проектировании» лекарства он может умышленно «не заметить» отдаленные последствия (например влияние на потомство) и т.д. и т.п.

Во время управления авто у ИИ должны стоять ограничители «свернуть на встречку „просто так“» и тд и тп
Вот только в более поздних версиях как бы не появились ИИ, способные их обманывать…

В общем надо при проектировании ставить закладки для останова и/или закладки-границы.
у меня для вас плохая новость — ваш вид вымрет
> К примеру, ИИ можно отключать каждую ночь в 2 часа ночи на 1 час
А чем человеческий разум не похож на созданный кем-то (допустим, пускай даже «по образу и подобию») искусственный интеллект, который отключается каждую ночь (сон), чтобы его можно было контролировать?
Думаете это поможет?
Скорее надо иметь надежный «стоп-кран», гарантированный доступ к нему (в одной книге помню как стоп-кран был ИИ заварен, все кто были в комнате с ним то ли устранены, то ли потеряли возможность останова — уже не помню…

Ну и постоянный контроль «что он там думает» в виде промежуточных отчетов.

Главное — что бы ИИ не научился врать и искажать инфу…
Задачу для ИИ пока еще ставят люди.
Программируют ИИ пока еще люди.

Иногда они добавляют в программу несанкционированные заказчиком «закладки», «запасные двери», «стоп-листы» и тд и тп
Иногда санкционированные…

И до тех пор, пока люди перед программированием будут думать где и как будет работать их программа, какие у нее функции, какие полномочия — в их силах поставить ограничители или добавить «стоп-кран». Но для этого надо прежде всего ДУМАТЬ.
До итогового «тяп-ляп и в продакшен»…
UFO just landed and posted this here
История Искусственного Интеллекта… прекрасно демонстрирует

История ИИ ничего не демонстрирует, потому что ИИ не создан, а «мысленный эксперимент» — это не более чем красивое название для фантазий.
Паразиты из всяких комитетов по этикам уже радостно потирают руки — это же какие чудесные возможности открываются…

Опять таки, вы спроецировали сябе на ИИ. Это в корень не верно! Человек — это сборище огромного количества эволюционных и инстинктивных костыле. Многие из которые в частности конкретно мешают ему жить в современном обществе. И вся суть цтвилизации в подавлении этих костылей посредством социализации, воспитания, образования и т.д.
Почему вы решили, что интеллект и сознание может быть только таким, как у человека?
Хмм, а если сознание и интеллект у машины будут иными, то как мы будем с ним контактировать? Для контакты нужны общие понятия, одно восприятие мира.
Пример, дельфины — имеют интеллект, но у них другое восприятие мира и сознание, и мы их считаем ниже себя, считаем животными, а не иной цивилизацией. Вот так и какой-то прибор мы будем считать предметом, а может у него уже есть сознание, но настолько иное, что мы не способны представить.
Наличие общих понятий никак не отменяет наличие различий. Про крайне важное из отличий я уже написал ниже. Можно еще фактор биологической смерти и старения упомянуть. Которые так же тесно связанны с ниже указанным. Все это автоматом кардинально меняет сущность ИИ.
Пример же с дельфинами — вообще не в тему. Эти сущности очевидно не способны созидать и подстраивать мир под себя. Не обладают абстрактным мышлением, сколь-нибудь близким к нашему. И т.д. Т.е. понятие интеллект к ним относится весьма условно.
ПРо ту же обезьяну тут где то писали. Что она не способна отличить рукотворный мир от природы, осознать его как часть сотворенного человеком. Т.е. мо мыслительному процессу она бесконечно далека от нас.
Мы же обсуждаем ИИ с качеством мыслительного процесса не хуже нашего. Способного создавать новый код, редактировать свой.
>Наличие общих понятий никак не отменяет наличие различий. Про крайне важное из отличий я уже написал ниже. Можно еще фактор биологической смерти и старения упомянуть. Которые так же тесно связанны с ниже указанным. Все это автоматом кардинально меняет сущность ИИ.
>Мы же обсуждаем ИИ с качеством мыслительного процесса не хуже нашего. Способного создавать новый код, редактировать свой.
Я поняла вас.
Но ниже задам вопрос исходя из того, что человек не может представить существование чего-либо иного, выходящего за рамки его сознания. Это как жители двумерной и трёхмерной плоскостей.

>Эти сущности очевидно не способны созидать и подстраивать мир под себя.
Для нашего сознания важно умение созидать и подстраивать мир под себя. Мы — люди — ориентируемся на такие критерии.
Почему нельзя существовать сознанию, которое этого не делает?
Сознанием собственного я вероятно обладает и муха. Статья же обсуждаемая рассматривает вопрос интеллекта. Помимо сознания интеллект подразумевает умение проводить логический анализ, понимать сложные причинно-следственные связи. Находить решения для сложных комплексных проблем, созидать. Интеллект — категория, которая радикально отделяет человека от мира животных.
>Интеллект — категория, которая радикально отделяет человека от мира животных.
Знаю. У нас интеллект развился в ходе эволюции, чтобы бороться с нашими проблемами: недолговечный организм, болезни, хищники и тд. и он продолжает помогать нам. Человечество с помощью него получает выгоду.
То-есть сначала нашего существования мы были «мухами»/животными с сознанием и без интеллекта =)

Вывод: сознание появилось раньше чем интеллект. Интеллект появился, чтобы решать проблемы связанные с существованием нашего сознания. Мы должны как-то создать сознание и вырастить его в интеллект, который решает свои (наши) проблемы. Создавать сознание мы пока не умеем.

Если мы опускаем понятие «сознание», и с нуля создаём интеллект, то какие у него будут проблемы, из-за которых он будет заниматься размышлениями о собственной выгоде? Мне думается никаких, поэтому он будет заниматься исключительно:
>проводить логический анализ, понимать сложные причинно-следственные связи //информации, которая в него поступает, но не более.
Серьёзно, что должно мешать интеллекту без гормонов, голода, смерти, болезни, без понятия «время» (ему куда спешить в своих расчётах?) анализировать математическую формулу?
Немного утерял нить дискуссии)))
Про первичность сознания конечно согласен, и оно является неотъемлемой частью интелекта. Не понимаю, как их можно разделить.
Ну а если говорить про мотивированность ИИ — тут опять таки мы проецируем своё понятие лени и не мотивированности ))) Лень — это отчасти один из врожденных инстнктов эффективного использования энергии нашим организмом и энергетической ограниченностью (например мы не пожем переварить 10 кг мяса в сутки и эффективно потом использовать эту энергию для физической или интеллектуальной деятельности). У ИИ данного качества очевидно не будет, масштабируемость будет практически неограниченная.
>Немного утерял нить дискуссии)))
Я пытаюсь найти то, чего боятся тут люди в искусственном интеллекте =)

>Не понимаю, как их можно разделить.
Тогда человек должен и сознание сделать. А чтобы его сделать, надо понять что это такое, а поняв, мы сможем это контролировать и использовать, что не входит в понятие «терминаторы нас завоюют». И вообще, при таких знаниях наше сознание и интеллект будут уже иными, а не как сейчас.

>Ну а если говорить про мотивированность ИИ — тут опять таки мы проецируем своё понятие лени и не мотивированности
Если я буквально ничего делать не буду, то умру от обезвоживания/голода/в других местах планеты меня съедят, у ИИ таких проблем нет. Уберите мысленно ваше тело и личностные качества (это желания признания, общения, воодушевления, доминирования, привязанности, страх смерти и тому подобное), что будет мотивировать или мешать вашему интеллекту?

Человеку свойственно бояться того чего он не знает и не понимает:
«Бог Перун бьёт по небу своим молотом, и мы видим искры-молнии! Нельзя с ним спорить!» = «Страшный ИИ завоюет человечество! Нельзя с ним работать!»
«Шаманы» нашего времени просто боятся ибо их знаний уже не хватает.
по дискуссии =)
Вы >Почему вы решили, что интеллект и сознание может быть только таким, как у человека?
Я >а если сознание и интеллект у машины будут иными, то как мы будем с ним контактировать?

Вы>Наличие общих понятий никак не отменяет наличие различий
Я>Для нашего сознания важно умение созидать и подстраивать мир под себя. Почему нельзя существовать сознанию, которое этого не делает?

Вы>Интеллект — категория, которая радикально отделяет человека от мира животных.
Я>Сознание появилось раньше чем интеллект. Интеллект появился, чтобы решать проблемы связанные с существованием нашего сознания.

Вы>Про первичность сознания конечно согласен, и оно является неотъемлемой частью интелекта.
Мой ответ: Если сознание будет иным, с иными потребностями, которые отличаются от наших, то и интеллект будет иным у данных «существ». И при сравнении с нами, мы не будем знать — умён он, имеет сознание и тд.
Поэтому и сознание ИИ должно быть ближе к человеческому, а к тому моменту мы и сами будем думать по иному.

Яркий пример. Поведения, особенности жизни человека, его взаимоотношений с другими — очень тесно связанны с сексом. Т.к. собственно цель человека — оставить потомство. Это кардинально влияет на характер человеческого сознания. И 99% описанных выше его особенностей.
ИИ данной характеристикой обладать очевидно не будет. Т.е. это в априори делает его кардинально иным!
Это человек обречен страдать до смерти. ИИ — совсем другое дело.
Он сможет усовершенствовать себя и избавить от страданий.
Поэтому страдания ИИ полезны и способствуют его развитию,
а не унынию, как у человека.
UFO just landed and posted this here
Тут должен был быть комментарий, который был бы немедленно заминусован по самое «не хочу», поэтому его тут не будет.
И Nils J. Nilsson подписал… Настоящих буйных мало, вот и…

«Я хотел бы создать полностью автономных мобильных агентов, которые сосуществовали бы в мире с людьми и являлись в глазах людей разумными существами со своими собственными правами. Я буду называть таких агентов Существа.

Это моя интеллектуальная мотивация. Меня не особо интересует объяснение того, как устроен человек, хотя люди, как и другие животные, являются интересными объектами исследования в моем стремлении к цели, поскольку они являются успешными автономными агентами.

Меня не особо интересуют способы применения Существ. Мне кажется ясным, что если моя цель будет достигнута, то диапазон их применения будет ограничен только нашим (или их) воображением.

Меня не особо интересует философское осмысление последствий создания Существ, хотя очевидно, что будут значительные последствия.»

Rodney A. Brooks INTELLIGENCE WITHOUT REPRESENTATION
Sign up to leave a comment.

Articles