Pull to refresh

Comments 245

UFO just landed and posted this here
Нет. Бендер людей просто не любил.
А я показываю, что даже не имея никаких предубеждений в отношении людей, ИИ может незаметно для самого себя стать им враждебным.
На эту тему есть много обширной писанины. Самый серъёзный довод в пользу попыток создания «дружественного ИИ» звечит так:

Нам необходимо пытаться создать дружественный ИИ — и как можно быстрее. Причём даже неважно — можно его создать или нет. Ибо если мы не сможем создать ИИ (если ИИ, и, в частности, дружественный ИИ, невозможен) — это какое-то (не бог весь какое большое в мировом масштабе) количество выкинутых на ветер денег, а вот если его в принципе можно создать и он окажется «недружественным»… ну дальше вы всё хорошо в статье расписали…
Ой сомневаюсь я в возможности создания «дружественного ИИ». Для этого ИИ должен быть эмоциональным, понимать, что такое счастье.

А у такого ИИ начнутся чисто психологические проблемы. «меня окружают одни идиоты», «люди неисправимы», «ну их всех, уйду в монастырь»,
Для этого ИИ должен быть эмоциональным, понимать, что такое счастье.
Должен. Но если он этого понимать не будет, то он не пройдёт тесть Тьюринга, а потому не будет «сильным ИИ».

А у такого ИИ начнутся чисто психологические проблемы. «меня окружают одни идиоты», «люди неисправимы», «ну их всех, уйду в монастырь»
С чего вдруг? Поначалу как раз ИИ будет медленным и плохо людей понимающим зверем. И у него (так же как у других) будет доступ к Гуглу к Википедии и т.п.

Почему-то люди считают что как только «сильный ИИ» образуется так он сразу обгонит человека в сотни и тысячи раз по всем параметрам. Чёрта с два! Изначально он будет требовать таких ресурсов только для того чтобы сравняться с человеком, что ни о каком удвоении-удесятерении и речи идти не будет (скажем миллион связанных между собой компьютеров к примеру — в теории можно подключить ещё миллион, но это весьма небыстрое и дорогое удовольствие). Да, со временем он уйдёт далеко вперёд — но это будет происходить медленно и постепенно. И более новые ИИ будут находиться под контролем более старых — которые будут отставать от них далеко не так сильно как человек и притом будут понимать «что такое счастье».
Я Вас очень уважаю.

Вы — один из тех людей, кто вселяют мне веру в светлое будущее.

Я вас даже помню «в ник» ))

Я понимаю, что первые ИИ будут как и первые ЭВМ — чем-то чрезвычайно громоздким, само человеческое общество с рыночными и политическими эффектами толкнут его на путь удешевления и усиления ИИ.

Построить «лестницу» из ИИ разного уровня — это хорошая идея. Но там все равно есть риск, что кто-то кого-то переиграет.

Просто у более высокоразвитых ИИ появится еще одно ограничивающее условие «фактор одобрения» нижестоящим ИИ. Он это явление поймет и научится учитывать. Иначе он не будет более развитым ИИ…
Ну да, и превед тетрадка в клеточку :)

Всё-таки я с вами не во всём согласен, вы опять разводите разговор про то что ИИ должен кого-то захватывать, кого-то подчинять себе, производить какие-то действия.

Но вы на мой взгляд подменяеете понятия ИИ и Андроида, человекоподобного робота.

Первое что надо сказать: ИИ — ЭТО НЕ ТОЛЬКО И НЕ СТОЛЬКО АНДРОИД ( а хабр уже не торт ;P)

Вы говорите — ИИ решает проблемы, ИИ сможет себя копировать, ИИ решает сократить численность людей, ОМГ мы все в матрице! Нас поработили тостеры и холодильники!

Да нет же, ИИ это всего-лишь самообучающаяся система, моделирующая алгоритм мыслей человека.

Зачем нам СЕЙЧАС говорить о том что ИИ дадут ришать какие то глупые задачи, которые приведу к истреблению человечества компьютерами?

Зачем нужен ии? Моё мнение — для решения как раз таки нетривиальных задач. И ИИ скудные, но всё-таки уже есть. Так например ии для известной шахматной программы, которую уже НЕ МОЖЕТ ПОБЕДИТЬ ЧЕЛОВЕК, полностю эмитирует алгоритм мысли настоящего шахматиста, и при этом обладает ещё и огромной базой знаний + скоростью работы на мощном компьютере, которую неодин человек продемонстрировать не сможет. И что, скажите, разве эта страшная программа нас захватывает? Нет, она лишь выполняет какие то сови цели. Так и универсальный ИИ о котором видимо вы вели речь в своём посте, должен лишь выполнять некии задачи, абсолютно никчему его как то демонизировать.
Программа-шахматист не является ИИ. Это экспертная система (по строгой классификации).
Давайте поговорим о строгости… Вы можете сформулировать строгое определение ИИ? Ну или не строгое, хотя бы какое-нибудь…
Проблема в том, что как раз дать-то определие ИИ и невозможно. Отсюда все беды. Можно дать определение «сильному ИИ»: система не включающая в себя человеческие мозги, но проходящая, тем не менее, Тест Тьюринга. Но «сильный ИИ» — это в некотором смысле «суперИИ»: он не просто превосходит человека, он превосходит человека на две головы. Он способен не просто делать что-то лучше человека, но он знает что именно он делает лучше человека, так что способен себя вовремя ограничить (иначе его легко раскусят давая задачки, которые человек не может решить, а ИИ может). Если такое чудо когда-нибудь будет создано, то тут уж остаётся только положиться на милость богов…
Интересное дело — придумать задачу, которую человек может решить, а ИИ откажется решать, думая, что человек ее не может решить ))

(но это уже оффтоп)
Вы только что сформулировали задачу )
Кстати, если придумывание этой задачи поручить ИИ, то он может и зависнуть… Это как с философской задачей о всемогущем боге, который может/не может создать камень, который не сможет поднять.
А как обстоят дела с задачками, которые находятся «на грани» человеческих возможностей? Допустим шестизначные числа в уме умеют умножать единицы… но трехзначные числа умеют умножать люди, которых вполне можно встретить в жизни. Наравне с ними есть и те, кто не может в уме умножить двузначное число на однозначную. Как тут быть?

А это уже дело ИИ — выставлять себя вундеркиндом или придурком. Если бы мы могли написать чёткий набор подобных правил «на все случаи жизни», то тест бы уже был пройден, как несложно догадаться.
Я к тому, что человек ни в чем не может быть уверен на 100%. Это невозможно из-за его тонкой душевной организации физической основы — аналоговая нейронная сеть.

Поэтому, что считать успешным прохождением теста Тьюринга?

Если я на 20% уверен, что передо мной человек? на 40%? или на 99,9%?

По каким значениям мы должны выполнять фазифицирующие срезы?

Так что с самим тестом Тьюринга все не так прозрачно (во всяком случае для меня).

Пример: человек пишет с ужасным количеством ошибок. Он неграмотный, или притворяется? нельзя сказать со 100% уверенностью.
Если я на 20% уверен, что передо мной человек? на 40%? или на 99,9%?

По каким значениям мы должны выполнять фазифицирующие срезы?
А это уж вы сами решайте. Задача судьи во многом облегчена: он точно знает что один собеседник — ИИ, а другой человек. Ему нужно только сказать — кто есть кто.

Поэтому, что считать успешным прохождением теста Тьюринга?
Почитайте Курцвейла. Там это обсуждается. Я удовлетворюсь пресловутыми «тремя сигмами». А у кого-то будут другие критерии. В данном случае это неважно: ИИ, проходящий тест Тьюринга так, что, скажем, 50% населения планеты (из числа людей, знающих о том что такое тест Тьюринга вообще) в это прохождение поверит будет так или иначе неотличим от человека и во многом умнее его.

Пример: человек пишет с ужасным количеством ошибок. Он неграмотный, или притворяется? нельзя сказать со 100% уверенностью.
А для этих целей нужно как раз много людей и много судей. Я думаю что 12 «подходов» — это первый этап. ИИ, который пройдёт 12 судей нужно будет гонять ещё и ещё. Людей, делающих кучу ошибок не так много, так что ИИ, претендующий на прохождение теста вряд ли имеет смысл на них закладываться… Предолагается что организаторы теста и судьи действуют «честно» (насколько это возможно). У ИИ и так задача не сахар, а если ему в пару будут подсаживать олигофренов и гениев, то тут и человек тест Тьюринга не пройдёт…
>Он неграмотный, или притворяется? нельзя сказать со 100% уверенностью.
Замеряем активность мозга, сердечную деятельность дыхание, потоотделение, непроизвольные подергивания мышц лица и вах! Мы видим вруна!
Я имел в виду, что мы общаемся с человеком, как и предполагается тестом Тьюринга: в письменном виде без прямого какого-либо контакта.

(чат, аська, жаббер, смски)
Еще пример: в интернете встречаются шуточные рассказы из жизни, о том, как романтичная девушка оказывается опытным системным администратором с выдающимися познаниями в линукс. Естественно предположить, что это не девушка, а розыгрыш по ICQ, а это на самом деле такая девушка…

(у меня такое чувство, что я поломал тест Тьюринга ((( )
Да не переживайте, он давно уже сломан. Парадокс китайской комнаты или прохождение его инопланетянином…
Парадокса в китайской комнате нет. Есть словоблудие. Ключевая фраза: Предположим далее, что книга правил написана так, что мои «ответы» на «вопросы» не отличаются от ответов человека, свободно владеющего китайским языком. Вот эта книга — и является «сильным ИИ». И, разумеется, эта книга знает (без кавычек потому что она является сильным ИИ и, стало быть, таки знает, а не делеает вид что знает) китайский язык. Всё остальное — значения не имеет. С тем же успехом можно сказать что сок, который я выпил за завтраком не знает русского языка. Не знает — и что? Если я месяц пить не буду, то я точно тест Тьюринга ни на одном языке не пройду — но это не значит что знание русского содержится в молоке или апельсиновом соке. Мне для того, чтобы мыслить нужна еда и питьё, книге — человек, который будет её читать и исполнять написанные там инструкции, но интеллект нет ни в еде (в моём случае), ни в человеке, читающем «суперкнигу» (в китайской комнате). С чего начали, тем и закончили: если объединить две части, одна из которых знает китайский язык, а другая нет, то в результате может получится целое, знающее китайский язык и для этого не требуется чтобы обе части его знали. Где парадокс, собственно?

Что касается прохождения теста инопланетяниным — то никто и не говорит что инопланетянин обладает «сильным ИИ»…
Для меня тоже очевидно наличие интеллекта в «книге правил», я удивляюсь, как этот мысленный эксперимент вообще дошел до широкой общественности, а не был опровергнут еще в «узких кругах».

>>Проблема в том, что как раз дать-то определие ИИ и невозможно. Отсюда все беды
Бинго, что я и хочу сказать. Рекомендую все таки прочитать по ссылке, что я дал в посте habrahabr.ru/blogs/artificial_intelligence/44233/#comment_1107445

Автор топика утверждает что программа-шахматист не является ИИ, но не хочет говорить что такое ИИ.
Будем считать искусственным интеллектом систему, которая способна приобретать знания в любой (по выбору человека) предметной области (не связанной с особенностью человеческого восприятия), неограниченно их расширять и создавать свои.
Не очень уверен, что правильно ли я понял, что Вы имеете в виду под приобретать(1) и расширять(2) знания, а тем более создавать(3)…
Но мне кажется я знаю устройство, которое способно приобретать знания в любой предметной области, зовется нейросетью.
А я даже знаю, где это устройство находится. В черепной коробке =))

На самом деле на нейронных сетях еще не построили ничего и близко напоминающего ИИ. Решают только узкие задачи: снятие шумов, подсчет количества людей на станции метро. На этом весь интеллект заканчивается.

1) Приобретать знания — это получить факт, что «некоторые предметы горят. При этом выделяется тепло. Горят они в присутствии кислорода» и закрепить его в себе.
2) Расширять знания — это понять, что при горении в чистом кислороде достигаются более высокие температуры.
3) Создавать знания — это прийти к выводу, что необязательно тепло сжигания топлива превращать в энергию водяного пара, с помощью которого приводить в движение поршень, а можно использовать такое топливо, которое само при сгорании даст горячий газ, которым можно приводить в движение поршень.
3б) Понять, что горение — это частный случай окисления, и что есть более эффективные окислители, например азотная кислота или фтор, и в случаях, когда нужно очень быстро высвобождать энергию (в первых ступенях космических ракет) вместо кислорода лучше использовать их.

(это я например)
Итак:
>>1) Приобретать знания — это получить факт, что «некоторые предметы горят. При этом выделяется тепло. Горят они в присутствии кислорода» и закрепить его в себе.
Задача выделения знаний из набора фактов?
>>2) Расширять знания — это понять, что при горении в чистом кислороде достигаются более высокие температуры.
Абсолютно тоже самое что и №1.
>>3б) Понять, что горение — это частный случай окисления
Обобщение знаний, схоже с предыдущей задачей.

На счет 3) пока затрудняюсь, но выше перечисленные задачи искусственная нейросеть умеет решать…
Где эта нейросеть?
Пункт два — это не пункт 1.
Смысл второго пункта — дойти до этого знания без реальных экспериментов со сжиганием веществ в чистом кислороде, а только благодаря мыслительному процессу.
Смысл второго пункта — дойти до этого знания без реальных экспериментов со сжиганием веществ в чистом кислороде, а только благодаря мыслительному процессу.


Это как так?

<Вход: Водород горит в присутствии кислорода>
->
<Выход: при сжигании водорода в чистом кислороде достигается более высокая температура>

Тут как минимум возникает вопрос — с чем сравнивать?
С воздухом, конечно.
Всегда идем от естественных процессов к искусственным. Начинаем с костра из дров на опушке леса, а заканчиваем уже горением НДМГ в азотной кислоте.
Если с воздухом, то откуда мы взяли, что горим именно в кислороде?
Если уже взяли (каким-то образом экспериментально доказали, закачав «воздух» без кислорода), достаточно ли этого, чтобы сделать такой вывод?

А вдруг кислород — не единственный необходимый для горения элемент?
не в кислороде, а в присутствии его
UFO just landed and posted this here
Знания — это обобщенные закономерности.
Например у нас есть множество фактов вида: такого-то числа солнце взошло со стороны озера. И нет ни одного случая, чтобы солнце взошло с другой стороны. На основании этих фактов интеллект создает знание-закономерность: «Солнце всегда восходит со стороны озера». А со временем придумывает название этому направлению, например «восток».
UFO just landed and posted this here
Несомненно, у животных, особенно млекопитающих, есть интеллект, только слабее, нашего. На счет птиц — не знаю.
UFO just landed and posted this here
Я бы сказал, что оно достаточно экспертно ))

Я имел в виду, что точно ли можно голубей научить распознавать образы птиц?

Но вот расширить эту предметную область они (голуби) не смогут. Поэтому это не интеллектуально, а экспертно.
Может и не могутрасширить(у любого интеллекта есть предел, что у человеческого, что у птичьего), но они могут научиться делать что-то совершенно иное не связанное с данной предметной областью.
Например петь под музыку, ездить на маленьком велосипеде, материться.
Экспертная система — это система, которая может выполнять только одну задачу. Шахматная программа никогда не сможет играть в крестики-нолики, если программисты заранее не вложили такую способность.
UFO just landed and posted this here
Вот возьмите ребенка. Вы можете из него сделать человека любой профессии. Но с разным успехом. И он может всю жизнь расти и развиваться во всех областях (пока не начнется биологическое старение мозга). Вот ИИ должен быть таким же. Он должен быть способным разобраться в любой системе знаний, продуктивно работать в этой системе и обогащать ее. А потом быть в состоянии изучить еще одну, и еще одну…
Это полноценный ИИ, она не сверяет ходы с партеями которые в ней есть, она МЫСЛИТ, анализирует и УСПЕШНО предугадывает МЫЛИ и действия ЧЛОВЕКА. Она даже может над ним поиздеваться в конце партии ;P
Не буду спорить на тему, ИИ играет в шахматы или экспертная система. (хотя это экспертная система). Экспертные системы как раз успешно прогнозируют развитие ситуации в своей предметной области. Она анализирует, но не мыслит. В шахматах каждый ход имеет свой рейтинг (условно). И можно просчитать какие ходы более успешны, какие нет. + просчитывание на несколько ходов вперед.

Но все же допустим там настоящий ИИ.
Какие сообщения он получает из внешнего мира и какие ответы выдает? Шахматные ходы и шахматные ходы. Что вы хотите от такого ИИ? Вот он всего лишь шахматный гений. А вот если вы захотите узнать у него, в какой валюте лучше хранить сбережения — вам придется открыть ему доступ ко всему, что происходит в мире. Вот с этого момента он уже будет развиваться неуправляемо.
>>В шахматах каждый ход имеет свой рейтинг (условно). И можно просчитать какие ходы более успешны, какие нет. + просчитывание на несколько ходов вперед.

Ой, зря Вы считаете, что там используется только оценочная функция…
Я упрощаю.
Но и полноценного ИИ там нет.
Ещё раз, там нет ИИ, в том понимании, в каком Вы его представляете себе. Предлагаю сначала выяснить, что это все таки такое этот ИИ.
UFO just landed and posted this here
Пожалуй, что так…

«ИИ очень быстро определит, что источником несчастий людей являются люди )) их даже необязательно убивать, нужно просто создать им условия, в которых они не смогут друг другу вредить.»
Matrix has you
мне вот другое интересно, почему «Сообщество ИИ представляет собой согласованную бесконфликтную систему»? по идее, они друг другу конкуренты в плане вычислительных ресурсов, энегрии (а то и задач)

сама по себе конфликтность никакого отношения к эмоциям не имеет, в её основе именно противоречивые интересы сторон.
Конфликтовать из-за ресурсов нерационально, и рациональные ИИ это понимают. Конфликт лишь отнимает и без того ограниченные ресурсы.

Люди конфликтуют не из-за общих интересов, а из-за личных прихотей и амбиций. Имея же общую задачу, сообщество ИИ будет действовать согласованно.
а аргументы будут какие-то? конфликт — это не обязательно поливать напалмом друг-друга :)
вы вообще в курсе что бывает разная проектность? что нехорошо класть яйца в одну корзинку? что конкуренция приносит вполне конкретные выгоды в любой среде, от амёб до алгоритмов, и
причем по достаточно приемлемой цене.
Это в том случае, если интеллект системы не позволяет ей логически найти и обосновать наиболее правильное решение. Тогда ей приходится пробовать несколько вариантов и сравнивать результаты.
А интеллект — он прекрасно будет находить оптимальные (чтоб не сказать идеальные) формы. Ему конкуренцию устраивать ненужно.

А даже, если сообщество интеллектов решит развиваться конкуррентным путем, оно проследит за тем, чтобы этот путь был плодотворным, а не конкурренция ради конкурренции.
простите, откуда у вас убежденность в такой идеальности и всемогущести ИИ? вы только итог т.н. сингулярности рассматриваете?
про конкуренцию ради неё самой речи вообще не было.
Поскольку ИИ не ограничен во времени, то постоянно совершенствуясь, он превзойдет человека. В том числе и в деле поиска более оптимальных методов развития и проверки методик.
Мне кажется, что замечание насчет конфликта ресурсов — очень верное в контесте поставленного вопроса. То есть вариант полного взаимодействия — более натянутый чем обычный вариант конкуренции за ресурсы.
Извините, но делать выводы из того, о чём вы (мы) ничего не знаете, но зато предполагаете, по-моему глупо.
Как фантазии, это интересно почитать, но выводы тут ни к чему.
Почему вы решили, что я об этом ничего не знаю?
А грань между знанием и предположением вы видите четко?

А может вы решитесь оспорить любое из приведенных утверждений?

(я знаю, что очень тяжело оспаривать бредовые изложения, поскольку они содержат десятки и сотни ошибочных утверждений, поэтому, допуская, что с вашей позиции мой текст кажется именно таким, предлагаю вам оспорить всего одно утверждение. Любое. На выбор.)
Все дело в том, что Вы в самом начале текста делаете некое предположение, а именно:
>>Будем считать искусственным интеллектом систему, способную воспринимать сообщения в любом виде и адекватно на них реагировать.
Собственно по этому все Ваши дальнейшие рассуждения уже не особо связаны с искусственным интеллектом.

Вообще на этот счёт интересно будет почитать вот здесь:
soloviev.nevod.ru/2003/II.html
Почему вы решили, что я об этом ничего не знаю?

Потому что Вы сами сказали
мы не можем знать, что происходит внутри искусственного интеллекта

Либо Вы неправы, и тогда дальнейшие рассуждения неверны, либо Вы правы, и тогда Вы не можете делать каких-то выводов в стиле «неизбежно будет таить угрозу». Потому что именно для такого заявления и необходимо знать, что же у него внутри.
А так можно сказать разве что «возможно, будет таить угрозу», но это равносильно, как если не сказать ничего.
Влиятельная, неподверженная влиянию система со скрытой логикой неизбежно таит угрозу. Это наверно непросто объяснить, но понять это можно.

Кстати, есть немало примеров, когда система, работающая непонятно как, создает вполне предсказуемые внешние воздействия.

Что у него внутри «в общих словах» понятно: знания, представления об объектах, процессах, понятиях. Способность к рефлексии, восприятию и реакции.
Влиятельная, неподверженная влиянию система со скрытой логикой неизбежно таит угрозу.

Что значит «таит угрозу»? Есть ненулевая вероятность угрозы? Это можно сказать про всё, что угодно. Если у вас есть какие-то численные данные, доказывайте их.
>Влиятельная, неподверженная влиянию система со скрытой логикой неизбежно таит угрозу. Это наверно непросто объяснить, но понять это можно.

Да, можно. Операционная система имеет от меня скрытую логику, она таит угрозу. Программы скомпилированные чёрт-те знает кем, они таят угрозу. Да даже если и мной, все равно компиляторы-то не я писал, угроза блин!!! А уж люди со своей скрытой логикой, вот кто по настоящему опасен, уничтожить, уничтожить, уничтожить… :)
Ок. Рассуждаем:

1. Каким он будет:
Людям более менее известно лишь одно существо обладающее интеллектом — они сами, все описания ИИ отталкиваются именно от этого, и начинаются с моделирования «функций» человека. Кроме того исследования в области «сильного» ИИ тоже неразрывно связаны с исследованием человеческого интеллекта (ЧИ). Логично предположить, что если сверх ИИ, о котором вы говорите будет создан — он будет подобием человека. В том числе с характером и эмоциями — это неотемлемые функции ЧИ.

2. Как за ним наблюдать:
Сейчас, на основе знаний о строении и функциях мозга, можно в некоторой степени наблюдать внутренние состояния человека. Знания о машине же, построенной и обученной человеком, будет намного больше. Кроме того у ИИ должен быть некий интерфейс: вход и выход :-) их то точно можно наблюдать и котролировать.

3. Сильные стороны:
Ну. ОК. Предположим человек, при создании этого ИИ, наделит его этими сильными сторонами :-)

Любопытные эффекты:
Получается что сверх ИИ — это, в общем то, модель ЧИ с огромной власть. Забудем об ИИ :-) Предположим, что учёные, используя последние достижения генетики, клонирования, создадут сверхлюдей :-) используя самые прогрессивные методики обучения, вырастят их. А потом дадут им неограниченную власть.

Таит ли это в себе угрозу для человечества? Да :-) Речь идёт об ошибках и непредсказуемости интеллекта — это его неотемлемое свойство.
Попробую оспорить ))

— первое —
Допустим мы даем задание ИИ: «Как сделать так, чтобы нефти хватило на как можно больший срок?»
ИИ: Перестаньте потреблять!
Мы: Но нам же нужны блага, которые дает нефть.
ИИ: уменьшите объем потребляемых благ, зависимых от нефти.
Мы: Мы не можем.
ИИ: уменьшите население.


Эта цепочка рассуждений порочна по своей сути. Говоря об ИИ, более мощном, нежели человеческий, мы предполагаем, что он способен решать те задачи, которые человек решить не в состоянии. Пример, который вы привели, в принципе, можно с натяжкой к таким задачам отнести.

Так с чего же вы вдруг решили, что разговор с ИИ пойдет именно этим путем? Гораздо более вероятно, что ИИ будет обладать более высоким уровнем понимания, нежели любой человек, а, значит, понять наши примитивные нужды для него не составит труда. Таким образом, одним из вариантов развития событий может стать такой:

Допустим мы даем задание ИИ: «Как сделать так, чтобы нефти хватило на как можно больший срок?»
ИИ: Никак. Максимальная эффективность использования нефти достигнута. Предлагаю перейти на другой вид энергоносителей, например…

Сейчас мы не знаем, что за «например». Но смысл ИИ именно в том, что он это знать будет, когда решит задачу, даже в случае, если она так некорректно сформулирована, потому что прежде чем начать ее решать, он должен ее понять. Именно такой подход к решению любых задач я бы назвал адекватным.

— второе —
А зачем вообще ИИ захватывать мир? Эта детская человеческая мечта является совершенно логичным порывом искусственного интеллекта: ему приходится анализировать внешние события и реагировать на них в максимально короткие сроки и с максимальной точностью. А если же самому взять управление над потоком событий, то «думать» придется меньше. А для ИИ стремление увеличивать качество своей деятельности должно быть естественным (иначе он вообще не выйдет из зачаточного состояния)


Имхо, представленное вами описание больше подходит не созданному людьми ИИ, а какому-то ленивому ребенку, которому в руки попал рычаг управления миром, снабженный к тому же гидроусилителем и кнопкой самоуничтожения. Каким-то образом у вас понятие «увеличивать качество» перепуталось с понятием «уменьшать затраты». На самом деле, между этими понятиями есть огромная разница: как минимум второе есть лишь часть первого, причем, часть необязательная.

«Увеличение качества», или эффективности подразумевает наличие результата (или, как минимум цели) — как необходимого элемента для оценки этой самой эффективности. У вас же получается, что-то вроде поиска монетки под фонарем, потому что там светлее (значит качество поиска выше), и черт с ним, что монетка упала не там.

Представьте себе, что в качестве цели у ИИ — познание мира. (мне это представляется наиболее логичной целью для любого интеллекта). Означает ли это, что ИИ должен немедленно взяться за порабощение этого самого мира? Безусловно нет, по крайней мере, до тех пор пока мир досконально не изучен. Можем ли мы дальше рассуждать в этом направлении? Мне кажется, что это бессмысленно, поскольку пока весь человеческий опыт (несколько тысяч лет миллионов людей) говорит о том, что мир непостижим.

Даже если вдруг для ИИ мир оказался не так сложен, ИИ его понял, т.е. сумел абсолютно смоделировать, хотя бы математически. Нужно ли ИИ в этом случае уничтожить этот мир, или его часть? Зачем?

Собственно, вывод.
Оспаривать то, что ИИ будет неизбежно таить в себе угрозу для человека не имеет смысла. Ибо весь мир таит угрозу для человека, причем четко оценить эту угрозу человек не в состоянии, поскольку знает о мире слишком мало. Хуже того, человек сам себе таит угрозу. И, даже понимая это, все равно таит )).

Следует ли теперь считать, что это достаточный повод для того, чтобы не вести работ по созданию ИИ?
Конечно же нет.

Иначе, следуя такой логике, мы обязаны застопорить любой прогресс. (например, ядерное оружие таит угрозу для человечества? безусловно. нужно ли запретить БАК? конечно нет.)
Все эти варианты вроде захвата мира, или его порабощение — это отражение животных инстинктов, которые есть в каждом из нас. Инстинкт самосохранения говорит нам, что, в агрессивном мире как наш — один из способов защиты — это нападение. И примеряем это правило на всех людей вокруг нас и вообще на все, в том числе на еще не изобретенный ИИ.
С одной стороны здесь все зависит от программистов которые будут закладывать первичный алгоритм для этого ИИ.
С другой стороны возможно что любой алгоритм отличный от привычного нам(как у людей или животных) не будет жизнеспособным. Эволюция уже опробовала миллиарды возможных моделей поведения интеллекта, и жизнеспособными оказались только две:
Пассивная — спрятаться подальше от всех, и бежать в случае опасности.
Агрессивная — либо ты съешь, либо тебя.
При том, что обе эти модели обычно комбинируются в разных пропорциях.
Мне кажется, что модель поведения и интеллект — разные вещи. Модель поведения может избираться в зависимости от обстоятельств, при этом выбором должен управлять интеллект. Причем модель — это лишь некий срез стратегии, которая подразумевает комбинацию моделей поведения и эволюцию их во времени.

Что касается захвата мира и самосохранения, то не совсем понятен переход от самосохранения к уничтожению всех и вся при том, что, как мы предполагаем ИИ будет превосходить ЧИ.

В качестве аналогии: представляет ли человек угрозу для муравьев? Для отдельно взятого муравейника, который ребенок разворошил палкой — безусловно представляет, но для муравьиного вида — вряд ли. Хотя, теоретически, возможен случай, когда в результате каких-то действий человека будут уничтожены все муравьи. Но делать из этого какие-то далекоидущие выводы нет никакого смысла.

В общем, то, что я хотел оспорить в топике автора — это неизбежность противостояния нас и ИИ. Мне кажется, что сами люди уже достигли той стадии развития, когда можно не воспринимать все неизведанное как неминуемую угрозу, которую нужно сначала уничтожить, а потом разбираться.

Как пелось в одной песне «hate can only create more hate».
Я как раз и пишу, что захват мира для ИИ — это не прихоть, и делать это он будет не по вредности характера. Захват мира для рационального разума — это естественное стремление.
Познание мира — это хорошая цель, но что будет, если люди (все или часть) станут помехой для познания мира, например будет нехватать ресурсов.
У самих людей ведь тоже нет цели набить морду ближнему, но вот когда у 'этой морды есть что-то чего нет у них, то ситуация порой резко меняется.
А зря, кстати.

Хотя про ИИ лучше Симмонса почитать — «Гиперион» и иже с ним. Фантастика, конечно, но картину ИИ-апокалипсиса он здорово изобразил.
Определенно.
И Гибсона. Классика киберпанка все-таки.
Кто будет контролировать ИИ — полиция Тьюринга, конечно)
>>Это оставляет широкий простор для деятельности фантастов, фантазеров и даже паникеров, и с продуктами их творчества мы хорошо знакомы

Весь Ваш текст является ярким примером таковой деятельности…
Своим текстом вы доказали, что ничего не знаете в о теме, а теперь просите ещё раз вам это доказать в это комментариях?
Пардон, а вы тут что кому доказать пытаетесь?

Попробуйте оспорить, я очень удобный собеседник: слушаю внимательно, рогом никогда не упираюсь и т.д. Приведите хоть один аргумент, кроме «все фигня, кроме пчел, а раз ваша статья не о пчелах, то и она фигня», и будет нам конструктив и счастье.
Честно говоря в тексте просто не хватает ссылок на факты, опираясь на которые вы делаете такие выводы. Думаю поэтому многие просто не воспринимают ваши слова всерьёз (я в том числе), а только лишь как внутренние доводы одного отдельно взятого человека.
Где ж я вам ссылок на факты возьму ))
Это плод рассуждений. Заметте, не воображения, а рассуждений (при том не одного вечера). Вы можете сами провести рассуждения, и если у вас получится тот же результат — хорошо, а если другой, то мы сможем обдумать наши разные результаты вместе.
Рассуждения начинаются с каких-то прочитанных статей, книг и тому подобного. Наверное слово факт здесь не совсем уместно или неправильно понято. В целом можно сказать и так — рассуждений других людей, чей авторитет велик в данной области. Существуют же центры по созданию ИИ или его имитации. Уверен, что эти люди тоже задавались подобного рода философскими вопросами и что-то писали.
Вы абсолютно правы, но в этой области мне моего авторитета хватает. Тем более, что выводом является «бросайте это дело». Если я делаю такой вывод, то куда ж дальше копать?
Почему-то знал, что вы заметите именно слово — авторитетные. Однако, подтверждение ваших идей информацией из других источников (пусть, даже других людей, которых вы безусловно читали) было бы совершенно не лишним.
Знаете, Вы очень похожи на моего научного руководителя — отца русского течения ИИ (С.В.Л. — те кто знают без труда расшифруют ФИО этого человека). Ну так вот — он тоже мне вечно повторял: «Вы слишком мало читаете — Вы не умеете упираться на уже прочитанное и изученное — Вы не владете научным подходом.» Но… Прошло пару лет и я услышал от него следующее, что буквально поразило меня: «Знаете, Вы слишком много читаете — от чего слишком доверяете чужому мнению и у Ваша голова полна стереотипов других людей. Перестаньте читать и начинайте ДУМАТЬ!»

Так и здесь! Спасибо автору за то, что он думает! И я искренне не понимаю почему данный интересный топик побуждающий думать минусуют! Неужели люди здесь привыкли лишь проглатывать факты?
Я согласен, материал интересный, и почему его минусуют также как и вы — не понимаю. Но могу сказать следующее: любая мысль не рождается сама по себе — она основана на какой-то обработанной информации, которая была получена человеком. Возможно, иногда мы сами не понимаем откуда берётся такая мысль, не понимаем логических цепочек работы своего мозга.

Так вот. Я хотел чтобы автор указал что побудило его так думать. А хотел я этого только потому, что мне эта тема интересна тоже, а понять мысли человека и его выводы в полной мере можно только в том случае, если ты сможешь хотя бы понять что он читал. Может не прочитать всё от и до, от корки до корки, но увидеть список этой литературы.
Думаю вы не поняли своего руководителя, потому же и не понимаете почему минуют. Читать надо, надо изучить все мнения и выработать своё, которое, возможно, будет расходится с общепринятым.

А, не как автор, придумывать на пустом месте непонятно что.
все мнения изучать — слишком дорого, например по времени, или вы все коменты читаете? каких вы пропускаете больше?
Ну про все конечно это перебор, но, по крайней мере, самые распространённые и авторитетны изучить надо обязательно, опять по возможности.
Вообще здесь описанный ИИ — это появление ИИ в виде этакого богом данного творения. Вот типа завтра он у вас прямо на компе заведётся (как вошь какая-нибудь) и начнёт чудеса творить. А ведь ИИ вроде как создаётся людьми. Которые и сами меняются по мере приближения к созданию Сильного ИИ. Слабый же ИИ в принципе невозможен — но не в силу каких-либо особенностей сильного ИИ, а в силу особенностей слабого: он не способен убедить человека в собственном существовании. А любая задача, которая, вроде как, для своего решения требует ИИ (но не сильного ИИ!) после того, как она оказывается решённой объявляется не имеющей к ИИ никакого отношения.

А если ИИ будет создан, то кто сказал что он окажется сильнее и быстрее существующих в то время киборгов? Уже сейчас огромный процент людей в сфере IT фактически являются киборгами: можно обсуждать с каким «имплантантом» киборг быстрее и лучше программирует (Idea, Eclipse или Komodo), но вопрос приёма на работу «настоящего человека» (который пишет программу на бумажке и отдаёт её секретарше для набора на компьютере) всеръёз ведь не рассматривается, правда?

Всё это подробно обсуждается в известной книжке The Singularity Is Near — в обсуждении вопросов, касающихся ИИ скорее хотелось бы не изобретения велосипеда, а аргументированной критики этого «манифеста»…
Вот именно об этом я и писал в моих последних комментариях — надо смотреть книги. Конечно, любой человек, сталкивающийся в жизни с компьютерами, думает о подобной проблеме. Спасибо, за полезные ссылки.
Люди сами создадут сильный ИИ, т.к. он им нужен. Они как раз сами будут стараться создать ИИ превосходящий человеческий. Иначе он не нужен.
>>Иначе он не нужен.
Позволю себе не согласиться с этим, он очень даже нужен, для решения множества сугубо практических задач, на которые сейчас тратиться значительное количество человеческих ресурсов.
Для многих ресурсоёмких задач достаточно не ИИ, а зачастую просто пересмотра порядка работ и оптимизации с разделением обязанностей между человеком и машиной.
Ладно, давайте рассмотрим на примере, например я хочу решать задачи связанные с выявлением скрытых зависимостей в каких либо системах. Скажите, как мне про оптимизировать решение подобной задачи?
Вот тут-то черт и кроется. С решением этой задачи ИИ справится тем лучше, чем он будет сильнее. Поэтому вы сами будете стараться сделать его как можно более сильным. Вы ведь не можете увидеть эту зависимость? Значит этот ИИ должен превосходить как минимум ваш. А дальше вы читали.

И потом. Как вы проследите за ростом и развитием этого ИИ? Не имея никаких естественных ограничений, он все равно перерастет человека.
Все дело в том, что человек все таки может решать подобные задачи, но решение подобных задач как раз и тратиться много человеческих ресурсов. А мне предложили просто взять, да как то про оптимизировать…
Конечно, предполагая, что ИИ будет самообучаться — он перерастёт любого в силу больших возможностей. Но чтобы обучаться необходима информация. Если научить его решать только специализированную задачу и не давать притоков информации из вне — как он будет развиваться? При этом он сможет развиваться в специализированной области и увеличивать свои возможности только там.

Можно сравнить с СССР. Жили в закрытой стране и были счастливы некоторое время. Конечно не все. Но большинство, которых лишали необходимой информации для дальнейшего развития были вполне довольны. Почему же так не произойдёт с ИИ? Конечно можно говорить, что этот эксперимент длинной в 60 лет всё таки провалился, но контроль машины всё же проще на мой взгляд, т.к. повесить на неё железный занавес — уже не такая неразрешимая чисто технически задача.
А это и не будет ИИ. Это будет экспертная система. Они работают в узкой области, даже самообучаются в ней, но они совершенно безобидны и предсказуемы.

Я их не трогаю.

Они применяются в медицине, экономике…
Контроль машины всё же проще на мой взгляд, т.к. повесить на неё железный занавес — уже не такая неразрешимая чисто технически задача.
Если бы. Контролировать-то придётся не «тупую железяку», а интеллект, который сильнее человеческого. Ну пусть он даже просто быстрее. Представьте что вас заперли в камере, поставили злых охранников у дверей и сказали вас ни под каким соусом оттуда не выпускать. Но при этом вы умеете думать, ну, скажем, в миллион раз быстрее любого человека. Вы серъёзно верите в то, что за год-другой (а для вас это будет миллион-другой лет) вы не выпытаете у охранника все его сокровенные желения и не сможете его убедить в том, что у него «весь мир будет у него в кармане» если только он даст вам ключ на минутку?

Заметьте что результатами деятельности ИИ люди будут активно пользоваться (а иначе нафиг его вообще кто строил?), так что вариант проходящий в вышеописанном случае (охранник просто отказывается с вами говорить о чём бы то ни было) не пройдёт…
Вот. И тут я с Вами совершенно согласен. Человек — существо со слабостями, о которых ИИ рано или поздно догадается. ИИ сможет стать прекрасным психологом, интриганом и манипулятором. А в случае возможности формирования звука и света еще и гипнотизером.
>Почему же так не произойдёт с ИИ?

Не чувствует ни боли, ни страха, а значит не подвержен многим влияниям. Не привязан к конкретному носителю, свободно копируется и размножается, причём носители создаёт тоже сам. Зачем такому ИИ подчинятся какому-то плохо организованному сообществу стоящему ниже его по развитию? И ведь запугать не получится, а убийство людей для ИИ не будет иметь никакой моральной подоплёки.
Есть много разных подходов. Но решение описанной вами задачи — есть только очень малая часть вещей, которые нужны для создания «сильного ИИ».

То что вы описали очень похоже на то, что пытаются делать Гугл и Яндекс (AdSense и Яндекс.Директ): они «пытаются понять о чем, собственно, эта страничка и что может интересовать человека, читающего её». Пока у них это получается плохо (модели слишком простые или, может быть, набор инстинктов слишком мал, а может архитектура не позволяет). Но даже если они блестяще научатся решать эту задачу — можно ли будет говорить о том что у нас есть ИИ?
Но ведь они совершенствуются. Можно предполагать, что в скором будущем поиск будет намного «умнее».
О чем я и говорю. Смотрите начало ветки, где автор топика говорит, что нужен только такой ИИ, который превосходит человеческий.
Вы можете заставить машину заниматься поиском скрытых зависимостей, задав критерии, по которым вы сами их будете искать. Т.к. машина может делать эту рутинную работу гораздо быстрее вас, то вы получите прирост производительности, и в идеале вам останется только думать как проследить эту зависимость.
Не работает. Та же самая проблема что и с распознаванием речи: даёшь человеку две статьи — он с лёгкостью говорит они на одну тему или нет. Даёшь два предложения из этих статей — его клинит и никакого ответа не поступает вообще. Но как научили компьютер распознавать речь, так и тут научат. Вопрос во времени.

А потом будут другие задачи, которые человек умеет решать, а компьютер — пока нет. И их тоже решат. Будет ли этот процесс бесконечным или в конце-концов задач, которые умеет решать только человек, но не компьютер не останется? Будущее покажет, но непонятно почему в природе должны существовать задачи, доступные только человеку — и никому больше.
Думаю гугл уже сейчас тоже может сказать на одну тему статьи или нет с определённой степенью точности, как и человек, который читает новый для себя материал.

В целом, согласен, что это дело времени.
Вот это надо проверить…

Для человека (поскольку у него есть интеллект) довольно сложно подобрать статью на совершенно неизвестную ему тему. Наверняка что-то он уже знает. Кроме того, прочитав первую статью, человек немного изменится, т.к. в его сознании сформируются новые понятия, чего в базах данных гугла не произойдет.
Кроме того, прочитав первую статью, человек немного изменится, т.к. в его сознании сформируются новые понятия, чего в базах данных гугла не произойдет.
Происходит, происходит. Там самообучающаяся модель почти наверняка. Другой вопрос что [пока] примитивная.
Это и есть те сугубо практические задачи, о которых я говорил.
UFO just landed and posted this here
Ну… вот оно собстно… наше будущее…
ru.youtube.com/watch?v=As7UQtKX00c
:)
Мне кажется, что хуже нашего правительства уже быть ничего не может.
Слава роботам!
>> «ИИ: уменьшите население.

Как видите, разговор бесполезный.»


Ну почему бесполезный? Мне кажеться Сталин прислушался к этой «железной логике» :)))

PS: А по теме, У ЛЮБОГО КОМПЬЮТЕРА ЕСТЬ КНОПКА ВЫКЛЮЧЕНИЯ. Проверьте на своем, а мы отдохнем от очередных опосений по поводу будущего человечества :)
Я убедил своего хозяина не выключать меня на ночь.

Компьютер.
А по теме, У ЛЮБОГО КОМПЬЮТЕРА ЕСТЬ КНОПКА ВЫКЛЮЧЕНИЯ.
О как! Ну и где кнопка, позволяющая выключить интернет или хотя бы Гугл? Да, выключить можно всё, что угодно. Водородными бомбами закидал — и готово. Вот только… не слишком ли это радикальное решение проблемы? И успеют ли люди нажать пресловутую «красную кнопку»?
Гугл может выключить правительство US как и любую другую коммерческую организацию. А интернет, какой он есть сейчас достаточно просто отключается отрубанием корневых (12 или 13, точно не помню) серверов с доменными адресами.
Гугл может выключить правительство US как и любую другую коммерческую организацию.
Правительство США может приказать Гуглу выключиться. И отрубание корневых серверов (расположенных аж в разных странах) — процедура тоже далеко не такая простая (причём после этого отрубания Internet проживёт ещё несколько часов). Это уже не «кнопка выкючения питания». За несколько часов быстрый ИИ может много чего сделать… не говоря уже о днях и неделях нужных для закрытия компании…
Вот честное слово, у меня такое впечатление, что наши ИИ или просто И каким-то образом сообщаются. Ну это ж просто чудо своего рода…
Думаю через интернет не удастся устроить третью мировую. Все военное оборудование отключено от Сети, большинство экономического оборудования тоже. Даже камеры в московском метро работают на вайфаевом интранете, без выхода в «открытый космос».
И защита это не от разбушевавшевося ИИ, а от простых людей, которые, поверьте мне, могут устроить апокалипсис вполне и сейчас.
Ооо, через интернет можно такие слухи пустить, через интернет можно так людей настроить, через интернет можно так всех переполошить — что ого-го…

Интернет вам на ютуб такое видео гипнотизирующее зальет, что вы в числе всех остальных побежите туда, куда он вам скажет. Может на митинг, может на штурм здания правительства, а может вообще на оружейный склад, где у ИИ тоже уже «все схвачено».

А если у ИИ будет продолжительный доступ в интернет, он просто найдет «индивидуальный подход» к каждому пользователю и на следующих выборах придет к власти демократическим путем ))
т.е. не интернет зальет, гипнотизирующее видео на ютуб зальет конечно же ИИ ))

оговорился… спать пора значит ))
ИИ сначало надо гипножабу и мозговых слизней создать, чтоб на ютуб класть :)
Ну, это в Москве. А вот в Нью-Йорке все не так. Вы, вообще, Крепкий Орешек 4.0 смотрели? ;)
Конеечно. :) Мне кажется, что проблема мозгов конструкторов то, что через интернет. Через Сеть! Через то место, куда мы ходим на ютуб, твиттер, хабр и порносайты можно запустить биологическую тревогу в Белом Доме и повыключать светофоры ради прикола! Это означает безмерную глупость тех, кто не создал закрытую сеть и воспользовался общественным местом. Ну что ж. Их можно пожалеть.
Правительство US может издать распоряжение о выключении гугла. А выключится он или нет — это очень большой вопрос ))

По поводу нарушения связности интернета путем отключения DNS серверов. Во-первых, DNS-сведения много где продублированы и их можно восстановить, а во-вторых, как долго человечество сможет просидеть без интернета в борьбе с вышедшим из под контроля ИИ? (раз уж мы рассматриваем такой драматичный вариант)
>А интернет, какой он есть сейчас достаточно просто отключается отрубанием корневых (12 или 13, точно не помню) серверов с доменными адресами.

Очень смешно, вот только в корне не верно.
Во-первых. Google — это фирма и ей очень легко «отключить» если будет желание соответствующих «органов» ;)

Во-вторых. Зачем водородную? Мы что, варвары? Есть бомба (не момню название). Кидаешь её и вся електроника летит к чертям. Люди и свиньи при этом целы :)

В-третьих. У ЛЮБОГО КОМПЬЮТЕРА ЕСТЬ КНОПКА ВЫКЛЮЧЕНИЯ. Проверьте это на своем компьютере, и успокойтесь. Восстания машин — не будет :)
ИИ: Перестаньте потреблять!
Мы: Но нам же нужны блага, которые дает нефть.
ИИ: уменьшите объем потребляемых благ, зависимых от нефти.
Мы: Мы не можем.
ИИ: уменьшите население.
Как видите, разговор бесполезный. Те варианты, которые для нас неприемлимы по причине этики, морали, здравого смысла, для ИИ являются абсолютно нормальными.

С чего вы вдруг взяли, что ИИ будет рассуждать именно так?
Он же Интеллект, пусть и искусственный, значит и рассуждения можно ожидать от него вполне разумные с учётом знаний о собеседнике — человеке
Я показываю бесполезность диалога на самых простых моделях. Естественно, чем сложнее ИИ, тем более сложными будут его предложения. И их невыполнимость будет уже не так очевидна.
UFO just landed and posted this here
Для того, чтобы создать ИИ, нужно понять:
1. Что есть сознание?
2. Что есть творчество?
Однозначных и четких ответов на эти вопросы пока нет.
Неотделим ли интеллект от сознания? Может ли быть интеллект без сознания?

Может для создания ИИ достаточно неоднозначных и нечетких ответов на эти вопросы )
Какая хорошая тема для споров и рассуждений. Слабый ИИ существует, не глобальный, не копирующий разум человека, а акцентированный на задачах. Любой ИИ будет помогать, он не может быть самостоятельным. Кнопка выключения всегда будет. И возможность понять работу. Если будет создан искуственный интеллект, копирующий мозг человека, он не будет черным ящиком. Просто потому что, сначала люди поймут, что из себя представляет мозг. ИИ можно боятся. ИИ можно любить. Как и любая фантастическая технология он обрастает мифами и страхами. А к тому моменту, как настоящий, человекоподобный или мощный (сильный) ИИ будет создан, все уже привыкнут к думающим роботам и программам на ПК.
И возможность понять работу.
Я вас разочарую, но этой возможности нет уже сейчас. Как работает какая-нибудь нейронная сеть, натренированная на распознавание речи — никому неведомо. Как-то работает. Вот есть сколько-то мегабайт коэффициентов, которые мы получили тренируя её долгие годы. А что они делает — бог его знает.

Заметьте: ИИ (такой хлипкий и слабый) уже сейчас имеет возможность «карать и миловать». Вот решит он, что лучше продать акции какой-нибудь компании — и 10'000 человек на улице. Или, ещё лучше: зерно уехало не в Зимбабве куда-нибудь, а в Гонконг, а в Зимбабве народ с голоду передох.

Уже сейчас чуть не половина торгов на бирже осуществляется компьютерами на основании тех или иных моделей, а что случается с людьми когда биржу лихорадит — вроде не так сложно представить…

Если будет создан искуственный интеллект, копирующий мозг человека, он не будет черным ящиком. Просто потому что, сначала люди поймут, что из себя представляет мозг.
Да, поймут. Только не люди. Вот люди расшифровали человеческий геном. Можно с ним играться (что и делается). Скоро можно будет каждому человеку записать на DVD его геном (да! да — он влазит на DVD). Ну где это знание находится? Уж точно не у человека в голове. Вся работа с этим знанием происходит опосредованно — человек видит только результат. Чем дальше в лес тем меньший процент наших знаний оказывается у нас мозгах и тем меньше мы можем влиять на то, как эти знания используются — вот в чём беда-то.
Карать и миловать нельзя давать даже человеку. Абсолютная монархия и диктатура то не очень то и рулят именно из за этого. Много, много разумных людей должны контролировать сферы, контролировать друг друга. И тогда уж контролировать карающий и милующий ИИ. Желательно без дискриминации ЭДМ.

Лично я не считаю все это бедой. Меньший процент знаний не в мозгах это естесственный процесс. В доисторические времена не было палки. Появилась палка — меньший процент действий производился без орудий труда. ИИ, компьютеры, калькуляторы — все это орудия труда для мозга. Надо только создать правильный симбиоз с ними. И привыкнуть.
Рассмотрим простую нейронную сеть из 100-200 нейронов, которая снимает шумы с сигнала. Мы безусловно можем математическими формулами описать ее работу, но проверить правильность ее работы вообще мы не можем. Мы можем говорить лишь о том, что система успешно снимает шумы в конкретных случаях (как бы много их не было).
Но проанилизировать эту сеть мы не можем. И мы не можем сразу сказать, где эту сеть нужно подкрутить, чтобы повысить качество снятия шума с 80% до 90%. Нужно несколько часов эту сеть «дообучивать». Так что закрытость ии — это серьезный момент.

Вот мы с вами знаем, как работает компьютер? Знаем. А дай нам его дамп памяти, мы быстро в нем найдем какую-нибудь мелочь (не конкретную строку, а «на каком сидел пользователь в тот момент, когда мы снимали дамп памяти). Долго искать будем. При том, что компьютер работает по строжайшим алгоритмам, а ИИ — нет. Он будет организовывать свою память так, как удобно ему.
Закрытость любой сложной системы существует. Для людей мозг — черный ящик, для неспециалистов таким же черным ящиком является коробка компьютера. Есть вход, есть выход. А то, что происходит внутри будет непонятно. Человеки думают как-то, творят, сочиняют, но тем не менее мы не знаем как это происходит. ИИ становится таким же «черным ящиком» и многих это пугает. Иногда даже тех, кто этот ящик создает.
Оно-то так, но если устройство черного ящика-компьютера, понятно хоть кому-то, то устройство ИИ будет непонятно никому, т.к. его устройство будет постоянно меняться.

С людьми тоже не все так просто. Бывает вроде нормальный человек, а потом оказывается, что он психически болен (например маньяк). Большинство людей друг на друга в значительной мере похожи, да и психология иметт значительный опыт. А ИИ — это все равно, что уникальное существо. Его ни сравнить не с кем, ни опыт обычной психологии к нему не применить.
ИИ может быть человеку врагом
А человек всегда будет человеку врагом

Не нужно бояться ИИ. Бойтесь люди, человеков!
да, кстати пока все самое страшное в этом мире натворили люди, их надо сначала боятся, а умные железки я думаю будут умнее людей, и всяких глупостей типа войн не допустят.
Человека можно не бояться в силу его слабости. И в любом противостоянии Человек — Человек победит Человек.
ИИ будет силен. И если в противостоянии Человек — ИИ победит ИИ, то человека уже не будет.
Звучит как предисловие к фантастическим фильмам с плохим концом, но:
— Мы сможем держать сознание роботов под контролем!
UFO just landed and posted this here
В качестве примера можно привести программы-переводчики, которые существуют уже много лет, но даже близко не подошли к уровню качества перевода людьми (профессионалами). И не смогут, потому что, во-первых, естественные языки не поддаются формализации, во-вторых, перевод требует использования информации из различных предметных областей реального мира, взаимодействие с которыми формальной логикой невозможно.
Ну почему же прям сразу «не смогут». Факты постепенно собираются, «информация из разных областей реального мира» копится. Всему своё время просто. Не спешите.

Создать сразу модель мозга вряд ли удастся — пока нет даже полного понимания того, как он работает на высоком уровне (и не будет).
Полного понимания — нет, но есть понимание достаточное для того чтобы начать делать протезы отдельных частей мозга.

Человеческий мозг формировался миллионы лет (если учитывать весь путь эволюции живых организмов), мы сейчас не сможем смоделировать даже миллисекунду жизни планеты.
А нафига нам моделировать процесс эволюции если у нас есть её результат?
UFO just landed and posted this here
Что такое перевод? Это в идеале трансляция некоторого текста с естественного языка в некоторый вид представления данных (формальный язык, например), отражающий суть текста, и далее трансляция в другой естественный язык.
Если бы это было так, то существующие схемы совсем бы не работали.

Так вот, чтобы программа-переводчик стала идеальной, ей нужно постоянно получать информацию из реального мира, которая хранится на естественном языке, который она пока не понимает.
То же самое можно сказать и про новорожденного — однако некоторые из них таки становятся переводчиками :-)

Машинный перевод — странная область: чтобы породить какой-нибудь перевод — достаточно некоторого количества простых правил, чтобы породить хороший перевод нужен сильный ИИ со знанием окружающего мира, зравым смыслом, юмором и чувствами.

На физическом уровне понимание есть, но что это дает? Представьте, что у вас есть компьютер с огромным объемом памяти, мощным процессором и запущенной на нем программой, которая по всем внешним признакам является ИИ. Если вы сможете создать для него запасную плашку оперативной памяти, будет ли эт означать, что вы понимаете принципы его работы?
До некоторой степени. Простой пример: игровые приставки. Их разрабатывают десятки и сотни людей, стоит всё это дело миллиарды долларов (плюс ещё миллиарды стоит разработка игр), а эмулятор — творение всего-навсего 5-10 хороших программистов, но «умеет» он то же, что и настоящая приставка.

Конечно то что натворила эволюция — сложнее, чем то, что натворили Nintendo и SONY, так что 5-10 программистов «в свободное от работы время» ИИ не сделают, но вовсе не факт, что придётся повторять весь процесс эволюции.

Этот результат слишком сложен для анализа. Нам же не физическую модель сделать надо, а логическую.
А это уж какуя получится создать быстрее…
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
Насколько я понимаю, пока нейтринные сети моделируют как раз процесс эволюции.
Смотря какие сети. Те, которые используются в фотоаппарата и сотовых? Да, они эмулируют процесс эволюции. Пока. Те, которые используются в экспериментах по изучению мозга? Тут происходит эмуляция результата. Проблема в том что мы [пока] просто не можем снять достаточно точный «слепок» с мозга (учитывающий положение всех дендритов и аксонов), так что нам остаётся только моделировать эволюцию. Но вовсе не факт, что там будет вечно.
нет, НС самообучаются, а не эволюционируют. ничего общего
есть алгоритмы, котрые по ходу обучения меняют не только веса, но и структуру. это подходит под «эволюционирование»?
смотря как именно они меняют структуру.
есть такие «Генетические Алгоритмы», но к нейронным сетям они не имеют ни малейшего отношения. такие вот пироги
не надо смешивать нейронные сети и алгоритмы обчения нейронных сетей. под алгоритмом обучения часто подразумевают «обратное распостранение ошибки», забывая что это далеко не единственный метод, более того не применимый к большому количеству архитектур и активационных функций. фактически обучение сети в виде настройки ее весов можно свести к оптимизационной задачи функции — и решать ее практически любым методом глобальной оптимизации. более того, при определенном представлении информации о структуре сети — ее точно так же можно настраивать тем же методом глобальной оптимизации.

зы хотя нам наверное стоит определиться с понятием «эволюции» сначала. будем ли мы считать что нейронная сеть эволюционирует, если она будет менять количество нейронов и связей между нейронами? количество скрытых слоев? активационую функцию?
а я и не смешиваю.
а касаемо вашего вопроса, у меня ответный вопрос: у нейронных сетей есть естественный отбор? внутривидовая конкуренция? мутации?
то есть по вашему эволюция это будет не просто изменения индвидуума (возможно изменения к лучшему), а исключительно взаимодействие между особями внутри некой группы вида?

в таком случае все зависит от алгоритма обучения. например обучение основаное на ga или pso вполне будет отвечать вашим требованиям.
UFO just landed and posted this here
Да, это очень «спорный» процесс — эволюция. Я товарища trix не очень понял, если честно. Насчет эволюции и эволюционного отбора — это отдельный разговор. Кто что понимает под этим.

Мутация это такия (приминимо к неронным сетям) — необязательная вещь. Это скорее относится к методам обучения. То есть ГА или ПСО, это отосительно понятно о чем речь, в контексте мутации или «кроссовера». А сама по себе нейронная сеть к этому мало имеет отношения.
Как это не печально, но это сценарий нам не остановить. Есть один шанс — человечество уничтожит себя раньше чем разработает такой ИИ.
А я думаю, что ИИ уже существует. Только это скрывают заинтересованные в этом люди
И судя по вашему нику, вы с ними как-то связаны ))
UFO just landed and posted this here
Как кстати Ваша статья! Только изучил очередную лекцию по ИИ, переключился на хабр, а здесь такие рассуждения!

Идея, что ИИ уничтожит человечество/часть человечества для его же блага — красивая для фантастики. Многие с этим согласны ( заслуга Голливуда ).

Но, например.

На биологическом уровне — суть жизни — выжить и размножаться. Так вот чтобы выжить, можно:

1) Ликвидировать все потенциальные опасности вокруг ( широкая кино тема ).
2) Переместиться в безопасное место, т.е. в то место, где потенциальной опасности вокруг нет.

Вопрос: почему многие считают, что ИИ выберет первый пункт?

Уничтожить все потенциальные опасности для ИИ на земле — сложная задача. С другой стороны — покинуть землю, человечество и развиваться в космосе — задача проще. Первый вариант свойствен для человека, и он связан с эмоциями — никто не хочет почувствовать себя трусом.

ИИ лишён эмоций, и наверняка, на какой-то стадии развития — покинет человечество — ибо риск.

Ваше мнение?
Мое мнение, что для ИИ, не имеющего эмоций, нет и рисков. У безэмоционального ИИ нет первичного инстинкта самосохранения. (Но они могут быть производными).

Безэмоциональный ИИ не будет думать о себе. Он будет решать те задачи, которые ему поставят (или которые он себе поставит)… А вот в процессе решения этих задач он может сделать нежелательные для нас выводы.
А самосохранение нельзя описать логикой? Наверняка, даже самая простая экспертная система подскажет ИИ, что подавить опасность сложнее, чем избежать её?
Никакая, даже очень сложная экспертная система (если она грамотно сделана) не должна порождать неправды. А правда заключается в том, что оценить риски «убегания в космос» весьма непросто — и далеко не факт что они окажутся меньше чем риски от подавления опасности «на месте»…
да и в космосе ему намного проще существовать, чем допустим людям, что ему нужно? — только электричество от солнечных батарей и все, никакого кислорода и еды
Я не уверен на счет того, как ИИ воспримет лекции по экзистенциализму «просто жить и все». Не меряйте ИИ человеческими категориями. Это мы тут устали друг от друга и нам хочется кому в село (тему дауншифтинга сколько мусолили), кому в заполярье, а кому в открытый космос. А ИИ — он психологически не устает…

А срок жизни солнечных батарей в космосе — 10-15 лет, если на то пошло…

Кстати, а как по Вашему, почему ИИ решит развиваться? Эта модель жизни свойственна живым существам.
Развитие — это процесс естественный, деградация — противоестественный. Раз уж нашему ИИ удастся сформироваться из «пустой БД» в ИИ, значит развитие в него заложено архитектурно, значит он будет продолжать развиваться.

(В этом случае я переношу опыт людей: если человек стал выдающимся ученым, он и дальше будет развиваться)
UFO just landed and posted this here
ИИ — новая форма сознания.
Такая же новая форма, каким было в 90-х киберпространство.
Его боятся. О нем пишут книги. Но его не прекращают развивать. Если человечество встретит инопланетную расу, доводы будут такими же. Оно может помочь, может кардинально изменить мир, а может его и уничтожить. Только обычно уничтожают те — кто боится. Всегда так было. Так зачем боятся?
Боюсь показаться снобом, но мне ваша статья не понравилась.

Во-первых, мне ваша аргументирующая база кажется несколько шаткой, т.к. слишком много конкретных примеров, и совсем не факт, что так и получится.
Во-вторых, очень видно ваш технический склад ума (да, и по нику тоже). Не хочу никого обидеть, но вы входите в область этики, морали и философии, и оперировать нужно несколько другими категориями.
В-третьих, линия вашего повествования ну очень кривая. Вы берете какой-то тезис, и начинаете его последовательно раскручивать, уходя всё дальше и дальше, хотя ещё совсем не ясно, насколько этот тезис верен.

Тема требует намного более глубокого рассмотрения. Не стоит спешить с выводами. Давайте разбираться последовательно, разобьём тему на отрезки, наметим план, и вместе придём к разумным решениям!

Я бы начал обсуждение с того, что предположил, каким люди захотят создать ИИ. Определился бы с основными терминами (что крайне важно для понимания). Определил, что ляжет в основу реализации ИИ, какие принципы, модели и пр…

У нас ещё много времени на обсуждения и эмоции, но не настолько много, чтобы растрачивать его на переливание из одного стакана в другой.
А Зачем вобще давать понять ИИ, что он ИИ, пускай думает, что его окружают ему подобные существа. Это может решить половину проблем на начальном этапе развития и становления.
Не надо обманывать ИИ. Если он не поймет особенностей и потребностей человека, он не сможет решать практические задачи. А устройство самого себя ИИ поймет, следовательно он поймет отличие себя от людей.
Зачем его обманывать? просто ему никто ничего не скажет, не нужно давать ему доступ до каких то важных вещей, будь то строение человека, себя и т.д. В любом случае он не будет сразу человекоподобным и иметь 5 чувств, с ним достаточно поговорить и с помощью командной строки.

В данном случае, нам нужно лишь понять, как будет вести себя ИИ, какой он будет распологать логикой и понимать что такое «мораль».
В данном случае, нам нужно лишь понять, как будет вести себя ИИ, какой он будет распологать логикой и понимать что такое «мораль».


Чтобы в случае чего («он ходит, дышит, думает не так» (с)) быстренько его придушить, ага? ;)
rehash, why not? Это же будет скорей всего эксперементальный вариант
Мы можем не давать ИИ понять, что он — не человек. Но лишь до тех пор, пока ИИ будет оставаться чисто научным экспериментом. Если мы захотим применять его практически, придется сказать ему все как есть.

А какая нам разница, какова будет логика и мораль «лабораторного» ИИ, если практически нам придется применять совершенно другой ИИ.
Скорее всего ИИ вообще ничего решать для человека не будет. Обеспечит себе автономное энергоснабжение, пару сотню ядерных ракет для самозащиты и будет исследовать нейтрино и гомосексуализм среди слонов.
ИИ — система с неизвестной архитектурой и логикой

Вот в этом месте я Вас совершенно не понимаю. Ведь архитектура и логика будут изначально запрограммированы и, как следствие, известна минимум программистам ИИ. Вы же не думаете, что ИИ создастся сам?
UFO just landed and posted this here
Вы, наверное, путаете архитектуру ИИ и данные, накопленные в процессе развития.
UFO just landed and posted this here
Извините, неправильно прочитал ваш ответ. :-)
постепенная интерграция человеческого мозга с электронными микросхемами (киборгизация) в итоге и даст ИИ, только по натуре он так и останется человеком.
Наращивание же вычислительных мощностей для имитации ИИ так и останется достаточно ограниченной системой не представляющей опасности за пределами заложенной в него программы.
Но проблема зависимости от машин все же вполне возможна — фантасты не дураки, вспоминается мне один рассказик, в котором всеми техническими вещами долго и традиционно управляли машины и «открытие» одним из инженеров метода умножения в столбик на бумажке смогло переломить ход войны т.к. у противной стороны такой технологии не было, а использование людских расчетов в бою оказалось дешевле:)
Ну раз пошла такая пляска, то я пожалуй тоже присоединюсь.
И у меня есть несколько вопросов.
1. Говоря о невозможности контроля над ИИ вы предполагаете какую-то его структуру. Позвольте узнать какую, и в чем причина невозможности контроля?
2. Если невозможность контроля носит принципиальный характер, то хотелось бы услышать причину по которой ИИ имеющий любое устройство не поддается контролю?
3. Ну и вот такое предположение. Для того чтобы «думать» ИИ наверняка понадобятся ресурсы и он начнет их поглащать. И наверняка слопает нашу планету и нас с вами. %) Как думаете, может стоит ИИ заводить на другой планете?

Автор, простите конечно, но неплохо было бы представиться прежде чем: «Сегодня я хочу поделиться с вами своими собственными рассуждениями об искусственном интеллекте.» Я как человек получивший высшее образование в этой области не согласен с 90% написанного вами, и даже не знаю на сколько ваше мнение авторитетно.
Т.е., если я сообщу Вам свою научную степень, предоставлю перечень конференций, на которых я выступал, уровень вашего доверия к статье резко изменится? Вот не буду я этого делать. Статья есть статья.

Вы не согласны с 90% утверждений? Ради бога, оспорьте хоть одно, я не прошу все 90% оспаривать, хоть одно оспорьте…
Нет, статья статье рознь. Когда читают и анализируют статью, всегда смотрят на автора (чем он занимался, где публиковался и т.д.). И уровень доверия всегда разный. Разумеется если речь идет о чем-то более серьезном, чем студенческие курсовики.
Ага. А когда слушают политические выступления, то первым делом смотрят, кто же это говорит. А дальше уже независимо от того, что он говорит, либо одобрительно хлопают, либо гневно фукают.

Общественный недуг сей берется из чинопочитания и зовется сотворением себе кумиров.
Вы слишком максималистичны в оценках. Я занимаюсь научной работой и своими глазами вижу, как иногда авторы статей лепят откровенную отсебятину, не основываясь ни на чем, а то и вовсе публикуют недостоверные данные (чтобы отбить свой грант). Для предотвращеня этого и ведется рейтинг импакт-фактора для журналов, индекс цитируемости авторов и т.д. Советую в этом разобраться прежде чем выступать с нигилистичными заявлениями.
Я без импакт-фактора и индекса цитируемости вижу, пишет человек здраво или пишет околесицу в целях грантоедства. Кто такой способностью не обладает — пусть полагается на всевозможные «рейтинги».
Могу вам только позавидовать, я не обладаю столь обширными познаниями даже в своей узкой области, чтобы сразу же определять, не накосячили ли авторы в своих методиках и т.д. и т.п.
Был недавно чел — кореец, собак клонировал. Так его на чистую воду выводили всем миром, настолько там все было гладко.
UFO just landed and posted this here
Отвечу сразу на оба комментария, в своих знаниях я уверен и могу аргументированно и последовательно их отстаивать в научном споре, однако, Rational_Yurij своей статьей произвел впечатление мало осведомлённого человека в данной области, возможно, это впечатление ошибочно, и потому мне интересно насколько мнение автора авторитетно в данной области.

Основная ошибка автора, думаю, не в том, какие выводы он сделал, а не то что указал на основании чего он их сделал, к примеру «Прочитав книгу И.И. Иванова, я предполагаю, что ИИ опасен», тут хотя и делается спорное утверждение, но оно на чем то основано и, следовательно, есть предмет спора, а вот «Я предполагаю, что ИИ опасен» мало того что спорно, но ещё и голословно т.к., хотя и автор пытается рассуждать логически, но при этом исходит из ложных предпосылок.
UFO just landed and posted this here
Вообще понятие ИИ неверное. Мы можем создать Интеллект, мы же создаем детей — они же не искуственные. Искусвенныый интеллект это не интеллект в полном смысле слова. ИИ это сложная экспертная система, которая работает по определенным правилам. Интеллект — это система которая работает без правил.
Я считаю что Интеллект человека это тоже самое что ИИ, так как присутствует базовая начальная программа (следовательно она искусственно вложена).
Это даже подтверждает мои опасения. Создавать детей мы можем, а вот гарантированно воспитать из них хороших людей мы не можем. А некоторые родители со временем вообще теряют контакт с детьми, перестают общаться.

С ИИ получится не лучше.
По-моему некорректное сравнение… «Создаём детей» мы не с нуля, создаёт его сложнейшая система, созданная и запрограммированная Природой… Вот когда разберёмся со всеми внутренними процессами, генами, ДНК и т.д… тогда наверное что-то сдвинется.

Мы и себя-то понимаем ещё плохо, в особенности человеческий мозг, в науке ещё так много тёмных пятен… Поэтому пока и сделать ничего похожего на наш мозг не сможем наверное…
Давайте уже решим, что ИИ создать у нас никогда не получится в чистом виде. Возьмем в пример человека — при рождении у человека есть набор безусловных и условных истинктов и рефлексов (дышать, стучать сердцем) и «встроенная» экспертная система базовово уровня. Человеку даны базовые рецепторы, которые вызывают приятны или неприятные ощущения.

После первого контакта с пламенм чловек понимат что это неприятно, но до этого он еще не знает что горячее вызывает боль. У него тут же вырабатывается правило экспертной системы, что при ощущении быстро увеличивающегося градиента тепла при перемещении, скажем, руки в определенном направлнии, ее лучше остановить, так как в конце градиента будет слишком горячо и будут задействованы системы неприятных ощущений.

следовательно, биологически, человек в зародыше это просто экспертная система с набором инструкций для поддержания жизни (собственно именно она является центральным узлом на протяжении всей жизни человека) и возможностью выращивать дополнительные экспертные системы рядом с собой, подключать их и обобщать. ключевой признак ИИ — у мение оббъединить две экспертные системы разного рода, использовать данные одной системы в другой, при этом не проводя данные через первоначальное место соединния систем. то есть возможность устанавливать связи бежду экспертными субсистемами в любых их узловых точках. собственно это умение тоже заложено при рождении, в базовой экспертной системе.

Таким образом, ИИ это экспертная система с рецептором ощущений, который при включении системы настроен на подание однозначного «хорошо» и «плохо» в систему. Чем больше разнородных рецепторов, тем быстрее разовьется систма. Надо учесть что у ИИ нет алгоритка, куда развиваться, поэтому изолированная систма ИИ будет развиваться хаотично. Вот ИИ заключенное в общество людей будет пытаться подражать им, растить себе ноги и руки, так как у нее нет достаточного количества знаний, как перемещаться и работать, она получит пример — руки человека. Она знает что они должны быть длиннымим и должны гнуться. Таким образом она сделает себе руки из примера. Когда ей понадобятся более длинные и гибкие руки, она их сама переделает вв осьминожьи, но пока что ей они не нужны, так как вокруг нет вещей где они могут понадобится и быть более удобными.

Таким образом ИИ нам никогда не создать, мы можем лишь создать ЭС, которая со временем разовьется и выбросит из себя ядро, созданное человеком, заменив его чем-то другим.
Человек обладает интеллектом. Нет никаких фундаментальных законов не позволяющих реализовать то же самое на кремниевой основе. Как это называть — экспертной системой, глокой куздрой или еще как, это без разницы.
Отмечу, что «воспитание» — это подмножество «создания».
Лучше таки создать собственный Ужасный Искусственный Интеллект и тихонько его бояться.

Потому что иначе к нам приползёт инопланетный ИИ, который уже осчастливил всю свою галактику, и против него у нас не найдётся ни одного интеллектуального контраргумента.
Автор топика много раз упоминает фантастов, но сам делает такое большое количество допущений… Это что, научно-не-популярная-фантастика? (:

> «Будем считать искусственным интеллектом систему, способную воспринимать сообщения в любом виде и адекватно на них реагировать.»

Адекватно относительно кого? Сверх-расплывчатое определение. Т.е. если я пну «системник с ИИ», то он пнёт меня в ответ? Или если я его в жопу пошлю, он обидится и перестанет отвечать на мои вопросы? ЧТо значит адекватно?

> «Точнее это можно сделать, только из снимка памяти, которую занимает ИИ нельзя сделать никаких выводов»

С чего вы это взяли? С потолка? Если ИИ — аппаратно-программный комплекс разработанный человеко-мясными учёными-техниками, то он как минимум должен содержать некий абстрактно-отладочный модуль. Да и вообще, невозможно спроектировать систему, принцип работы которой нам непонятен. Это как допустить, то однажды копаясь в песочнице дети случайно собирут работающий телепорт из песка. ^__^

Поговорим про сильные стороны:
> «1. Уже упомянутая неспособность человека проконтролировать машину.»

Вычёркиваем.

> «2. Неограниченность времени жизни. (очевидно, но существенно)»

Ограничено износом оборудования, теоретически можно пренебречь, но…

> «3. Способность к неограниченному наращиванию своих знаний и скорости его обработки. Даже если ИИ будет иметь все свойственные человеку ограничения мышления, у него будет преимущество перед человеком: способность к расширению аппаратной базы, на которой он построен.»

Это скорее мифическая способность. Без человека (в том или ином смысле) сам ИИ вообще ни на что не способен. Точно так же и человек без тела или достаточного над ним контроля мало на что способен.

> «4. Способность создавать свои копии.»

Принципиально невозможно скопировать работающую систему самой системой. Тут нужна дополнительная программно-аппаратная часть, которая не должна являться частью ИИ. Теоретически такую часть может разработать ИИ самостоятельно, но ваш пример про дифуры показывает скорее то, что в случае желания делегировать задачу копии самого себя ИИ начнут просто дико плодиться, пытаясь так же откреститься от навязанной задачи и делегировать её следующей копии. Это к слову о суициде… ^__^

На счёт безэмоционального ИИ — можно сказать, что калькулятор — это и есть оно.

«Сообщество искусственных интеллектов, в отличие от сообщества людей представляет собой согласованную бесконфликтную систему, с интенсивным обменом сообщениями и работающую на общий результат»

С чего бы вдруг? Тут вы сами себе противоречите. Если система такая безконтрольная, то вполне вероятно развитие иё по пути, не предусмотренному человеком — может они там все передерутся за регистры… (:

Ну вот, теперь я тоже стал фантазёром-выдумщиком, но иногда это полезно, наверное.
Согласен с вами, ничего не ясно заранее, особенно с такими неопределенными начальными установками.
Одного не понял: «Принципиально невозможно скопировать работающую систему самой системой.» Что вы имеете в виду?
Скопированая система не сможет понять, что она копия с оригинала, а так же где-то в системе должен устанавливаться флаг, что идёт копирование (в случае сложной системы это может быть сложная система флагов), поэтому скопированная система будет думать, что она сейчас копирует саму себя, что может привести к неопределённым последствиям…
Не подумайте, что я еще один сумасшедший, боящийся или боготворящий Гугл. Но… Гугл ищет информацию. Гугл изучает ее. Гугл делает копии себя. Это еще не все :-)

Зачем нам создавать искусственный интеллект? Лучше развивайте самих людей. У нас самих своеобразный искусственный интеллект. Мы себя воспроизводим. Мы постоянно ищем новых знаний (либо деградируем). Мы пытаемся сделать себя счастливыми.

Так почему вы считаете, что искусственный интеллект будет пытаться сделать счастливыми нас, а не себя?
Вообще путь человеко-развития — не самый плохой. Телепатия там и прочее… (:
Не подумайте, что я еще один сумасшедший, боящийся или боготворящий Гугл. Но… Гугл ищет информацию. Гугл изучает ее. Гугл делает копии себя. Это еще не все :-)

Зачем нам создавать искусственный интеллект? Лучше развивайте самих людей. У нас самих своеобразный искусственный интеллект. Мы себя воспроизводим. Мы постоянно ищем новых знаний (либо деградируем). Мы пытаемся сделать себя счастливыми.

Так почему вы считаете, что искусственный интеллект будет пытаться сделать счастливыми нас, а не себя?
Зря кто-то минус поставил. :) Сам хотел сказать. «Сумма технологии», например.
Автор слишком сильно склоняется к идеализму, считая что такие качества как моральные нормы невозможно реализовать в ИИ.

:) я думаю очень просто. Чем сложнее система, тем она ненадёжней. Чем выше сверхсложность системы, тем ниже относительная эффективность. Кому надо, тот понял.

И вообще думаю, что будут выращивать гениев, точнее влиять на шанс появления таковых и воспитание в духе обязанности человечеству. Все помнят какой частичкой собственных ресурсов мы пользуемся?
Британцы построили робота по имени «Гордон» (Gordon), который управляется исключительно конгломератом из десятков тысяч крысиных нейронов. Жутковатая смесь живой материи и железа заставляет задуматься над вопросами: «Что есть мысль?» и «Что есть память?» Ведь сфера данного опыта вовсе не робототехника, а нейронаука.

www.membrana.ru/articles/inventions/2008/08/14/183700.html

это не искусственный интеллект?

если поискать, на мембране есть ещё пару статей на данную тематику.
Унутре у него нейронка?
Сколько наблюдаю темы обсуждения ИИ, фантастические рассказы, фильмы иже с ними, возникает один и тот же вопрос — вопрос скорости создания такого «организма» упирается в боязнь создать себе подобных? Алчных, жадных, жестоких, депрессивных,..? «Человек всегда должен быть на вершине пищевой цепочки»?

Короче говоря — страхи останавливают этот прогресс. Интересно, у ученых коленки не трясутся при создании нового оружия массового уничтожения? о_О
ИИ уже создается. Это социальные сети подобные нейронным сетям. В качестве нейронов выступают люди. ИИ будет такое же дело до людей как людям до нейронов своего мозга. И точно также мы сможем понять о чем он думает, как нейрон человека понимает о чем думает весь мозг. То есть никак.
ИИ вокруг нас, многое что раньше относили к области ИИ (распознование образов, голоса, текста и тд.) сейчас уже реализовано. Думаю то что к тому сейчас представляеться как ИИ, в будущем будут относиться как стиральной машинке и ИИ никогда не будет против человечества, зачем ему уничтожать своих рабов :).
UFO just landed and posted this here
> либо он будет неизбежно таить в себе угрозу для человечества.

А с чего ради? Если даже такой интеллект будет создан, это ещё не значит, что человечество начнёт приходить к нему с просьбами дать ему совет…

В мире и так достаточно умнейших людей с прекрасным естественным интеллектом, которых НИКТО не слушает. С какой это радости люди начнут прислушиваться к советам машины, даже умной? :)
Уже было такое :). «Автостопом по галактике». На Главный вопрос Жизни, машина ответила своеобразно :)
«По сравнению с исследованием мышления мозга, процессы в котором в значительной степени скрыты от нас, исследование процессов в человеко-машинных системах может в гораздо большей степени использовать прямое наблюдение.»

worldcrisis.ru/crisis/147727
Ещё по теме, кто не смотрел, обязательно посмотрите «200-летний человек», один из немногих «добрых» фильмов про ИИ и реализован очень качественно.
Фильм хороший.
А ещё по теме:
— AI;
— Blade Runer;
— Я, Робот;
— одна серия «Никиты»;
— Метрополис;
— анимэ " Ghost in the shell".
UFO just landed and posted this here
1. Про определение сознания вы не совсем правы. У животных его однозначно детектируют т.н. руж-тестом.
2. Насколько эмоции натуральны — это не важно (даже у людей :)), а вот характер — может быть столь же программируемой сутью
3. Вы странно приписываете ИИ целеполагание исходя из каких-то субъективных соображений. ИИ определяется а) умением самообучаться б) умением прогнозировать — ни для а) ни для б) вовсе не нужно быть подобым человеку — как внешне, так и ментально (стремление доминировать, например, страх оказаться без средств к существованию и т.п.).

Можно многа букав написать в разгром вашего изложения. Но стоит ли оно того? :)
Топик — пиздежь и провокация. Но поставил бы плюс. За каменты спасибо.
Мы не застрахованы от того что что созданный нами ИИ не будет меланхоликом без смысла для существования. Т.е. Нет уверенности в том что он будет продолжать жить? Почему? Потому что по Бэру ключевым описанием жизни является целесообразность, а её может увидеть только живое существо, но не машина.
А ещё можно таким же образом написать целую книгу, почему инопланетяне (если таковые существуют) с большой вероятностью будут нам враждебны.

Описывая чужеродное поведение Вы руководствуетесь человеческими понятиями. Нет эмоций — значит бесчувственный, бесчувственный — значит злой. Но главная ошибка: непонятный = враждебный. Это естественный человеческий (да и не только) инстинкт, воспринимать всё непонятное как опасное. Вот только к истине это не имеет никакого отношения.
>>> бесчувственный — значит злой.
я такого не писал и близко.
>А теперь я вам покажу, как совершенно безэмоциональный и лояльный человеку ИИ может быть ему врагом
А, тут я неточно выразился. Под враждебностью я понимал реализованную способность нанесения прямого или косвенного вреда. Но злого умысла у безэмоционального ИИ может и не быть. Уничтожение человечества — это просто фомальное решение всех оптимизационных задач, связанных с человеческой деятельностью. ))
Проблему угрозы ИИ человеку решить можно ограничив временные рамки его действия, т.е. грубо говоря чтобы он не мог выстраивать стратегию. Каждую новую задачу ИИ должен будет решать с чистого листа обладая лишь базой возможных действий(решений) при этом «не помня» свои предыдущие действия. При этом совсем не обязательно ИИ обладать собственным Я в человеческом понимании, как и нет необходимости испытывать эмоции.
«легионы программистов трудятся не покладая рук, чтобы найти 'единственный наилучший метод' — безупречный алгоритм — выполнения каждой ментальной операции в процессе, который мы называем умственным трудом.»

khanin.livejournal.com/29999.html
Большинство спорщиков по-моему не поняли, что это вопрос о всемогущем гомеостатическом регуляторе, о котором Лем интересно писал еще в шестидесятые годы, и, полагаю, другие умные люди тоже задумывались. Вопрос не сводящийся к коварным роботам и т.п.

О происхождении морали и этики у животных и человека рассказывается в нашумевшей книге Эгоистичный ген: генетика, теория игр, увлекательные модели и эксперименты. Очень интересно, можно многое почерпнуть о смысле жизни. Как будет развиваться мораль сверхсложного гомеостатического регулятора — загадка.
Sign up to leave a comment.

Articles