Pull to refresh

Comments 53

«Появление вида небиологических людей даст всему человечеству огромные возможности»
Или отнимет имеющиеся. Как повезёт ))
Минусанули. Окей, поясню свою мысль. Это та же ситуация, когда вооружённые ружьями и прочими передовыми (на тот момент) технологиями испанцы, англичане, французы и другие приехали чисто основать колонии, золотишка покопать и так, по-мелочам, а в итоге (ну так вышло) выкосили почти всех индейцев, потому что те имели примитивное оружие и рожей не вышли.

Человек по стечению обстоятельств (из-за случайной мутации, по божественному вмешательству, по приколу от внеземных цивилизаций, etc.) получил доселе невиданное на Земле преимущество — слишком продвинутый мозг. И ему как бы здорово, но с тех пор из-за этого вымерло огроменное число других видов. Человек стал доминировать и угнетать всех, кто ему мешает, а иногда — и просто тех, кто мимо проходил.

А теперь прикиньте ситуацию, что появляется раса кибернетических существ, которая опережает в развитии человека не только по мозгу, а вообще во всём. Бессмертные (не считая попадания под гидравлический пресс или в атмосферу Солнца), не нуждающиеся во сне, не устающие, безгранично по нашим меркам умные и думающие в миллионы раз быстрее…

Хотя, возможно, они будут куда более гуманными, чем мы, (если они вообще будут оперировать такими категориями) и будут содержать нас, как домашних питомцев, или просто помогать, как бесконечно отсталой цивилизации. Тогда, конечно, какой-то профит есть.
В разные времена земли, «доселе невиданное» преимущество получали многоклеточные, хордовые, замноводные, теплокровные и, биологи подскажут, кто еще. Каждый такой «взрыв» приводил к вымиранию многих видов.

И немного о разумности в другом теле на других принципах. Разум может существовать в других формах, но человечеству будет трудно, почти невозможно, его признать. Исторически вот только что, человечество боле-менее (то есть с оговорками) признало разумность людей с иным цветом кожи и женщин. Разумность к примеру шимпанзе (несмотря на освоенный некоторыми экземплярами язык глухонемых, явное наличие понятия Я) до сих пор отвергается. До тех пор, пока ИИ явно и решительно не потребуют признания (будет ли это всеобщая итальянская забастовка машин или скайнет) и не поставят человечество в позу, признания не будет.

Про пищевую цепочку. Все они замыкаются на энергетике, энергетика замыкается на среде обитания. Так машинам без разницы десятки градусов глобального потепления/похолодания. В общем, есть что делить. Идея того что «они улетят в бескрайние мировые просторы» должна допускать стадию «окукливания» для земли.
Исторически вот только что, человечество боле-менее (то есть с оговорками) признало разумность людей с иным цветом кожи и женщин.

Вы здесь не путаете разумность и равные права?

Разумность к примеру шимпанзе (несмотря на освоенный некоторыми экземплярами язык глухонемых, явное наличие понятия Я) до сих пор отвергается.

Отвергается или не замечается? Чтобы отвергать нужны критерии, критерии обличия человека, скажем мягко — неубедительны, а других нет.

Все они замыкаются на энергетике, энергетика замыкается на среде обитания. Так машинам без разницы десятки градусов глобального потепления/похолодания. В общем, есть что делить.

Потепление возникает не из-за того, что датацентры выделяют тепло или люди пользуются электрическими обогревателями, а из-за сжигания углеводородов при котором возникает парниковый эффект. Эра углеводородов заканчивается и ближайшие 50-100 лет мы перейдем на альтернативные источники энергии. Поэтому делить градусы глобального потепления с небиологическими людьми не придется.
Ну не то чтобы путаю, немного утрирую. Совсем еще недавно выходец из Африки считался вещью, ну скотиной. Женщины до сих пор имеют своего чемпиона мира по шахматам, потому что соревноваться с мужчиной некорректно.

Ну иногда замечается, с большим скрипом. Недавно вроде как признали?? авторские права шимпанзе на сделанное селфи. При том, что шимпанзе куда более антропоморфны, нежели компьютер.

Грубо говоря, что нужно человечеству — зеленая планета, чистая вода, подземные заводы на которых ИИ делают безотходным образом еду и айфоны.

Что нужно ИИ — покрытая солнечными элементами планета, с атмосферой без кислорода и водяного пара, с эффективно работающими шахтами по добыче кремния и металлов.

Конфликт за среду обитания в общем есть.
Что нужно ИИ не так очевидно. Возможно ему нужны как раз герметичные шахты куда подается самотеком вода с поверхности и глубинным теплом превращается в пар крутя турбины или там движки с термоядом чтобы добывать нужные элементы (не обязательно кремний) в космосе не борясь с гравитацией. Там же можно развернуть солнечные панели и кислорода с водой в активном виде уже нет.
Цели непонятны и конфликт за среду не факт что произойдет.
Вот согласен, основной страх автор не раскрыл:
Страх того что мы станем не доминирующим видом, а «домашними питомцами». Нас не будет уничтожать, препарировать и т.д. Просто будут относится как мы к собакам, такие милые и умненькие, кормить нас будут и все блага предоставят, даже работать не надо будет. Будут нам весёлые задачки давать чтобы мы не скучали, и умилиться как мы делаем по их меркам простейшие вещи.
В лучшем случае поместят в матрицу чтобы мы даже не знали об этом и не расстраивались.

Люди привыкли бороться, и не боятся этого а скорее ждут, потому что борьба дает шанс на победу, отсюда и все фильмы про «Терминатора» и «Я Робот».

Бояться этого нет смысла, произойдет так произойдет. Может нам дадут шанс самим апгрейдится и стать лучше.
Если небиологические люди будут иметь другую пищевую цепочку и эта пищевая цепочка не будет пересекаться, то в чём будет их объективная заинтересованность в сохранении человеческой?
Я здесь хотел выразить мысль, что увеличение количества людей на планете полезно всему человечеству, например, с точки зрения интеллектуального потенциала. Но увеличение численности населения связано с проблемой производства пищи. А появления вида человека с другой цепочкой питания, позволит существенно увеличить численность населения не обостряя эту проблему.
Объективная заинтересованность одного человека в другом, на мой взгляд, не в биологической природе людей (если не брать сексуальные стимулы).
Увеличение численности населения связано не с проблемой производства пищи, а с проблемой доставки пищи.
В мире очень несложно производить пищу в объемах, достаточных чтобы прокормить и 10 и 20 и даже больше миллиардов. Вопрос как дешево это доставить по всему миру. А кучковать все население в одном месте выйдет еще дороже.
С.П. Капица в своем труде «Парадоксы роста: Законы развития человечества.» даже приводит цифры о вполне нормальной возможности существования 50 млрд. человек.
Но скорее все согласно гипотез роста население стабилизируется на 8-12 млрд, а потом и вовсе будет по чуть чуть снижаться.
По уму сейчас реально победить голод на всей планете, этом у мешает политика и борьба за власть, плюс древнейшее инстинкт людей: важно жить не хорошо, а лучше соседа.
Вот как раз я и хотел поднять вопрос стимулов. Продуктивное взаимодейсвие требует общих интересов. Если человеческая пищевая цепочка объективно не требуется для небиологических людей, то они не будут непосредственно заинтересованы в её развитии, ведь для них это лишь искусственная проблема. Гораздо интеллектуальнее заниматься объективными и естественными проблемами своего собственного существования, развивая, например, производство электричества.
«Не хлебом единым жив человек»
Ветхий Завет, Второзаконие, гл. 8, ст. 3

Если посмотреть на ту же пирамиду потребностей Маслоу, то потребности далеко не ограничиваются базовыми потребностями в пище, безопасности, продолжении вида.

Когда базовые (физилогические) потребности удовлетворены, возникают потребности иного качества. В современном цивилизованном мире базовые потребности либо удовлетворены либо удовлетворить их очень просто. И этот мир живёт сейчас как раз потребностями высокого порядка (3+). А в этих потребностях взаимозаинтересованность между биологическим и небиологическим разумными сущесвом легко достижима.
Но она на то и пирамида, что на большой крепкой основе надстраиваются новые уровни, их нельзя просто взять и искусственно убрать / игнорировать. Удовлетворение потребностей более высокого порядка не идёт в ущерб более низким, они всё равно учитываются. Если для небиологического существа этих более низких уровней нет, то они и не будут учитываться. Пока с базовыми потребностями нет проблем — эта особенность будет скрыта при решении общих потребностей высокого порядка, но в долгосрочной перспективе это может привести к серьёзным последствиям.
Вообще кроме высказываний известных личностей есть куча проработанных сценариев развития ИР. По крайней мере начала его развития. В общем и целом все они несут существенные риски для выживания человечества как вида.
И это не означает что эти риски сработают, но шанс есть.
Однако все они построены на том, что ИР будет хоть как то подобен человеку. В реальности ИР может обладать такими свойствами, которые мы на данный момент даже представить не можем.

Как один из вариантов решения парадокса Ферми — разработка ИР.
Как только появляется ИР определенного уровня он, по каким то причинам, уничтожает создателей и самоликвидируется или впадает в спячку.
Однако все они построены на том, что ИР будет хоть как то подобен человеку.

В таком случае риски развития ИР абсолютно точно такие же, как и риски воспитания очередного человека.

Гипотеза «технологической сингулярности» базируется на аксиоматичных основах, что вид Х сможет создать вид Х+1, превосходящий вид Х по скорости эволюции (информационной, но вообще в целом не важно, какой именно), и что скорость эволюции можно неограниченно наращивать. Или хотя бы не неограниченно, но настолько существенно, что люди пролетят мимо. Но пока что мы не просто не создали ничего подобного, и принципиальная возможность создания таких вещей — аксиома. Вне всяких сомнений, рано или поздно мы сможем создать «ненатуральный» аналог нас самих, вполне возможно — радикально лучший по каким-то параметрам (та же выживаемость), но вот чтоб этот аналог еще и обладал более высокой эволюционной скоростью?
Нет проблем и в более высокой эволюции, особенно если не требовать смены поколений, а производить «апгрейд» в процессе. Другое дело, что, условно говоря в 1000 раз более умный AI, создаст на 5% более эффективную ракету. В процессе познания мы упираемся в сложность и затратность экспериментов, для AI действует тот же самый барьер, ну может чуть пониже — индивид сможет проводить эксперимент длительностью в тысячи лет.
Нет проблем и в более высокой эволюции, особенно если не требовать смены поколений, а производить «апгрейд» в процессе.

Это тоже аксиоматично. Человеческий разум равен себе самому — я в том смысле, что даже в рамках мысленного эксперимента сложновато вообразить, что к человеческому разуму можно что-то такое «приставить» по горячему, чтоб получить человека+1 в смысле эволюционной скорости. А без таких апгрейдов смена поколений так или иначе нужна. Смена поколений не обязательно именно в таком виде, которую мы имеем сейчас, но таки смена.
Если обратиться к идеям Минского, то можно сказать, что «человек+1», вероятно, должен мочь в какие-то новые способы мышления, которые по тем или иным причинам не подходят человеку как он есть сейчас (но более эффективны). Но новые способы мышления, не очень подходящие текущим мозгам — это как раз именно то, что требует смены поколений.

ЗЫ: Я намеренно избегаю слова «умнее», потому что «умнее» мы и так постоянно становимся, чисто по мере накопления опыта.
пока не будет построена система понятий теории Мышления, до тех пор будут только вбросы типа «Обсудим реальность угроз, поговорим о страхах..»
Да — Мышление несет угрозы — атомное оружие произведено им… и еще всякое будет произведено. Но и большинство хорошего тоже произведено им.
вопрос открыт — нужна теория мышления.

Забегая вперёд, приведу своё определение разумности:

Мышление или разумность — это способность проявлять волю в отношении вероятного исхода (результата, следствия) того либо иного события, исходя из субъективного опыта и с целью расширения возможностей своего влияния на них в будущем.


Я спросил сегодня у менялы,
что дает за пол тумана по рублю,
как сказать мне для прекрасной Лалы
по персидски нежное Люблю?

ну явно же образец мышления и интеллекта (не искусственного в данном случае). Какую волю проявил поет в отношении вероятного исхода какого пля.. события и как расширил возможности влияния на будущее!!??
не надо в теорию мышления грубо совать знакомые слова из психологии, иначе получим опять психологию (науку о душе что это за предмет?), которая уже есть и никак не освещает свой основной предмет, и тем более такой еще не построенный предмет как Мышление…
Согласен, что определение требует пояснений. И они будут даны в следующей статье.
Здесь «воля» не термин из психологии. Если грубо, то под волей я понимаю «волевой сигнал», тот сигнал, который зарождается в глубинах мозга и, в конечном итоге, приходит мышцам.

P.S. Какие алгоритмы, какие машинные коды, какие пакеты данных и протоколы канального уровня?! Я просто кнопки в браузере нажимал.
у меня пока нет фермы ИР в подвале дома и мне пока не удалось создать систему, которая сможет пройти тест Тьюринга


А какую систему вам удалось создать на основании вашей теории?
Когда у меня появлялись идеи, с какого конца «колоть этот орех», я сразу старался реализовать что-то в коде. В процессе переноса идей из голове на программный код (Си) возникало много проблем, которые оказывались полезными, так как до этого были не видны, и заставляли «колоть орех» дальше. Обо всём, что получилось я напишу в следующих статьях, но боюсь вас разочаровать и скажу сразу: пока мы не научимся измерять разумность точнее, чем это позволяет сделать тест Тьюринга, мы не продвинемся с СИИ.
Тест Тьюринга не позволяет измерять разумность, так как его проходят некоторые боты.
Возможно, его не пройдут и некоторые люди (например, годовалые дети), но это говорит только о том, что он не совершенен и может давать ложный результат.
Большей проблемой я вижу то, что он не объективен и не дает количественную характеристику, а только качественную. Им нельзя «увидеть» слабый интеллект или отличить человеческий от сверхразума.
Набор штампов от Капитана Очевидность. Не пишите больше на эту тему.
Исследуя «железо» компьютера невозможно увидеть инструкции процессора и алгоритмы.

Можно. Начался реверс-инжиниринг процессора PlayStation 1


Понимая работу транзистора или приблизительные функции блоков «железа» компьютера (полученные эмпирически), построить компьютер не удастся.

Ну здрасьте, а как по-вашему построили первый компьютер?


Мышление или разумность — это способность проявлять волю в отношении вероятного исхода (результата, следствия) того либо иного события, исходя из субъективного опыта и с целью расширения возможностей своего влияния на них в будущем.

Как с этим определением сочетается такая разумная деятельность, как изучение вспышек сверхновых звезд, произошедших миллионы лет назад?

Можно. Начался реверс-инжиниринг процессора PlayStation 1

Это реверс-инжиниринг особенностей реализации, при условии, что мы уже знакомы с концепцией алгоритмов, знаем о существовании комманд процессора предполагаем какую-то базовую архитектуру.
Без этих знаний реверс-инжиниринг был бы невозможен.

Ну здрасьте, а как по-вашему построили первый компьютер?

Вообще первый компьютер был на реле. Транзисторов тогда еще не было.

Как с этим определением сочетается такая разумная деятельность, как изучение вспышек сверхновых звезд, произошедших миллионы лет назад?

Примерно так же, как справочник пользователя Word, сочетается с набором комманд x86.
Без этих знаний реверс-инжиниринг был бы невозможен.

Возможен. Точно так же берем специальный микроскоп и изучаем. Подаем питание на вход транзистора и изучаем поведение. Не надо путать принципиальную невозможность и ограничения технического развития.


С концепцией работы нейрона люди тоже знакомы, значит могут прийти к правильным выводам, изучая особенности реализации.


Вообще первый компьютер был на реле. Транзисторов тогда еще не было.

Вы думаете если заменить "первый компьютер" на "первый компьютер на транзисторах" или "понимая работу транзистора" на "понимая работу реле и электронных ламп" что-то изменится?


Примерно так же, как справочник пользователя Word, сочетается с набором комманд x86.

Я рассчитывал на конструктивную дискуссию. Набор команд x86 позволяет сделать справочник Word, при этом его можно сделать и на другой системе команд. Как "способность проявлять волю в отношении вероятного исхода того либо иного события" позволяет сделать "изучение вспышек сверхновых звезд"? А продолжая эту аналогию, получим что "изучение вспышек сверхновых звезд" можно сделать и не на "способности проявлять волю", то есть это никакое не определение.

Возможен. Точно так же берем специальный микроскоп и изучаем.

С мозгом человека пока не очень выходит.
С нейроном тоже не всё гладко. Видим множество химических процессов, но не понимаем важны ли они все или только часть.
Транзистор, например, это не просто ключ (как реле). Он может работать и в режиме усиления. Всё зависит от схемы включения и для чего эту схему создал инженер.
Поэтому я и говорю о том, что есть разница между концепцией и реализацией. И одно из другого однозначно вывести может быть очень сложно.

Я рассчитывал на конструктивную дискуссию. Набор команд x86 позволяет сделать справочник Word, при этом его можно сделать и на другой системе команд.


Я вполне конструктивно говорил. У нас есть пока только человеческий мозг, как эталон разумности. Есть проявления разумности (критерии): речь, планирование, самосознание и т.д. Это всё прикладные вещи такие же как Word, Starcrft или AutoCad.
И у компьютера, у которого эти прикладные вещи реализованы в виде программ, есть базовые вещи, которые позволяют этим программам работать. Это инструкции процессора. Пользователь Word не видит инструкций процессора и не знает о них. Он оперирует другими понятиями при работе с Word. Но все те понятия, которыми он оперирует, в конечно счете выражаются в инструкциях процессора.
Таким образом связь между понятиями используемыми в Word и инструкциями процессора есть, но она очень сложна, неоднозначна и не доступна для понимания пользователя.
С мозгом человека пока не очень выходит.

Ну так это из-за технических ограничений. Нет возможности отслеживать состояние всех нейронов сразу.


И одно из другого однозначно вывести может быть очень сложно.

Только если недостаточно информации о характеристиках реализации.


Но в исследованиях ИИ занимаются не только исследованием реализации, теоретических изысканий тоже хватает.


Я вполне конструктивно говорил.

Я привел пример разумной деятельности, применив к которому ваше определение получается, что это не разумная деятельность. Проявления воли нет, исход предопределен, событие произошло задолго до его изучения, повлиять на результат нельзя. Я спросил ваше понимание определения в этом случае, но ответа вы не дали, вместо этого привели какой-то другой пример.
Так все-таки, как его здесь применить?

Как с этим определением сочетается такая разумная деятельность, как изучение вспышек сверхновых звезд, произошедших миллионы лет назад? [...] Проявления воли нет, исход предопределен, событие произошло задолго до его изучения, повлиять на результат нельзя.

Изучение происходит здесь и сейчас и воля проявляется на процесс изучения, результатом которого может стать новое знание, за которое ученый получит, например, банальную премию (которая расширит его возможности в приобртении каких-то благ).
Если волю не проявить, то нового знания не будет точно и возможности не расширятся. В выборе того, проявлять или не проявлять волю и если проявлять, то на что, и есть влияние на результат в будущем.

Понятие воли требует понятия разумности, то есть определение зависит само от себя.
Первый компьютер строили на механических переключателях. Дайте человеку 18 века изучить транзистор, что получим? Вряд ли компьютер… Скорее уж эволюция развития переключателей, привела от механики (зубчатые колеса) к электромеханике (реле), потом к электронным схемам (лампы), полупроводниковым (настоящее время) и квантово-волновым переключателям (завтра). Идеологически, компьютер с тех пор не изменился. Но эволюционные его достижения в плане меньше, дешевле, быстрее — изменило мир. Не будь любого из трех пунктов, компьютер остался бы в лабораториях.
UFO just landed and posted this here
А из муравьев нельзя? Еще помню была концепция внутриклеточного компьютера…
UFO just landed and posted this here
Нет, чистое совпадение. Но вот, читаю, спасибо.
Александр Лазаревич. 1992 год: Князь тьмы (Червь-1), Червь-2
lib.ru
Ну вымрет человечество как вид и что? Если на планете сохранится разумная жизнь, способная к творчеству и саморазвитию, что в этом страшного? Мы все умрем. Это неизбежный факт. Так что, бояться за свою жизнь глупо. Эволюция простейших клеток создала геном. Геном эволюционировал в животную клетку. Животная клетка эволюционировала в животное. Животное эволюционировала в разумное существо. Разумное существо эволюционирует в не биологическое существо. Я не вижу в этом страшного. Вот сидит справа от меня человек. Код пишит. О чем-то думает. Ну будет справа сидеть андроид и будет думать. Если ИР ничем не будет уступать человеческому, то и пусть себе он заменит человеков. что важнее сохранить и приумножить разумность или самих себя? Нам мешает трезво оценить наш инстинкт самосохранения. Но ещё раз. Если ИР ни в чем не будет уступать человеческому (это важно. Это по сути единственное условие) то человек станет устаревшей моделью разумного существа. Рано или поздно человеки сами развяжут войну с ИР. Не ИР а сами человеки, в своей безумной одержимостью насилием и ксенофобией. И тогда мы проиграем в этой войне. Или нет. Или просто деградируем до животных, потеряв способность самостоятельно принимать решения, во всем полагаясь на «Deus ex machina». И тогда превратимся в домашних животных. В любом случае бояться нечего. Вот я лично завидую своему коту. Жрет от пуза, спит сутками, ещё и права качать умудряется. И если предложат отказаться от разума в пользу сытой счастливой и беспроблемной жизни, я только спрошу: «Где подписать?»
Эту истину сложно принять. Мы так привыкли носиться с идеей собственного превосходства. Но за 10к лет мы так и не придумали зачем живем. Мы просто живем, постепенно разрушая всё к чему прикасаемся. Вот висит у меня на заднем дворе молоток на веревке. Зачем висит? А просто так. Если нет цели его «висения», то что плохого, если я сниму молоток и повешу микроскоп? Процесс не изменится. Ничего не изменится. Окружающий мир не изменится. Вселенная этого даже не заметит. Это конечно грубая аналогия, но суть то в этом. Мы трясемся за своё человеческое существование, не потому что хотим лучшего для разумной мысли. А из инстинкта самосохранения. А один из критериев разумности — умение подавлять свои инстинкты. Так что давайте будем разумными и победим этот инстинкт и будем разумными, не страшась неизбежного будущего.

Хотя автор не раскрыл ещё одну потенциальную возможность будущего. Симбиоз ИР и человеческого разума. Такой себе киберпанк, но создание ИР поможет понять принципы нашего мышления и отцифровать наши мысли (привет Газонокосильщик). Если это произойдет, то людям будет открыт путь в новую кибервселенную, в которую мы итак себя пытаемся втянуть через VR и ММО. И если это произойдет то грань между ИР и человеческим разумом будет такая же как между искусственно оплодотворенной яйцеклеткой и яйцеклеткой естественно оплодотворенной. Симбиоз может и не втянуть в VR, сделав её параллельной вселенной. Будет мир матрицы и мир обычных человеков. Либо на стадии создания ИР мы будем его искусственно ограничивать его систему мотивации.

Слишком много путей развития нашего будущего. Но нет повода его бояться.
Так что, бояться за свою жизнь глупо.


1. Инстинкт самосохранения не глуп, он инстинкт.
2. Окружающий мир изменится и вселенная это заметит. Просто без наличия интеллекта не оценит.
3. Мы не разрушаем все, к чему прикасаемся. Мы наоборот переделываем его под себя, при этом да, разрушая тот порядок в котором оно существовало до нас.
4. Просто так или для чего-то — это философия и просто точка зрения, а не некая вселенская истина.
5. Критерий разумности не подавлять инстинкты или чувства, а умение их контролировать, в основном для получения «прибыли» в долгосрочной перспетиве.
6. Неизбежное будущее наступает если ничего не делать. А если что-то делать, то можно изменить гораздо больше, чем кажется на первый взгляд.
1) Инстинкт не может быть глупым? А как же инстинкт внутривидовой агрессии?
2) А где я говорил про отсутствие интеллекта? Я, вроде как, ни раз делал акцент, что смену одного мыслящего вида на другой.
3) Не буду спорить, уйдем в полемику.
4) Ок. Спорить не буду. Мы существуем по той же причине почему существует закон всемирного тяготения. Так просто есть. Искать глубокий смысл в этом нет причины. Так исторически сложилось. Это причуда бесчисленного множества случайностей.
5. Контроль — проверка, а также наблюдение с целью проверки. Мне кажется тот факт, что мы можем поступать вопреки своим инстинктам, как раз более точно называть подавлением.
6) Будущее наступает в любом случае, делаем мы что-то или нет и предсказать его невозможно. Даже приблизительно. Изобретение мобильного телефона изменило мир. 20 лет назад Вы взялись бы описать, что наша жизнь настолько изменится только благодаря тому, что люди могут общаться друг с другом вопреки расстоянию? Я не очень силен в физике, но мне почему-то кажется, что изобретение ИР вызовет настолько огромное увеличение энтропии, что все наши текущие прогнозы бессмысленны. А смысл моего комментария заключался как раз в том, что бояться того, что мы не знаем — не имеет смысла. Интересно боялись ли неандертальцы кроманьонцев?
1. Инстинкт не может быть глупым или умным, он инстинкт, который в основном работает на краткосрочных целях, и в человеческой цивилизации польза многих накопленных инстинктов весьма сомнительна, а избавиться от них эволюционно — сложно.
2. Мыслящий вид может замениться на немыслящий вид, на вообще ничего — и вселенной будет совершенно все равно во всех случаях.
5. Не все инстинкты вы можете подавить. Даже банальное чихание подавить проблематично. А если подавить инстинкт дыхания и взять его под контроль, то вряд ли это пойдет на пользу.
6. Конечно взялся бы описать. Но вообще-то 20 лет назад у меня уже был мобильный. Но не было соцсетей, мессенджеров, цифрового фотоаппарата. А вот рассуждения о возможности общаться друг с другом на расстоянии (например посредством телепатии или другой магии) существовали тысячи лет.
Вы путаете рефлексы и инстинкты.
С первыми всё просто, а вот по поводу вторых очень многое, мягко говоря, неоднозначно. Начиная со строгости определения.
У меня сложилось впечатление, что автор статьи считает, что искусственный интеллект — это человеческий интеллект, воспроизведённый с использованием других элементов. Я правильно понял?
Не совсем.
Я считаю, что разумность понятие гораздо более всеобъемлющее, чем нам кажется и существуют фундаментальные принципы возникновения этой разумности, которые будут одинаковыми, что для человека, что для машины. И как следствие машина построенная на основе этих фундаментальных принципах и воспитанная в человеческой цивилизации людьми — будет человеком (по своей сути).
Но ведь человек тоже построен на основе этих фундаментальных принципах возникновения разумности. И тоже воспитан в человеческой цивилизации людьми. Вот и получается, что разницы-то нет. То есть или человеческий интеллект на самом деле искусственный, или ожидаемый искусственный на самом деле естественный.
тест Тьюринга же неактуален ведь уже, не?
Во всяком случае, временами немного беседуя с Siri, которая вроде как не считается таки ИИ — я бы сказал, что она выступает заметно лучще многих людей....?
Тест Тьюринга актуален, так как ничего другого нет.
Вы беседуете с Siri подразумевая, что она разумна?
Я с ней на достаточно разные темы беседовал, включая подьебоны, то есть на наличие чувства юмора.
как я уже говорил — многие люди в разщговоре куда как тупее и менее интересны.

кстати, по дефиниции в статье я тоже не понял — «обший искуственный интеллект должен уметь на уровне человека» — что у вас там под человеком понимается?

де юре то и петровичь — алкаш и дворник, у которого самая яркая мысль — это «как бы сообразить на троих» — человек.
И Фейнман, и Эйнштейн — человеки, но их ментальные способности и уровень на многие порядки различаются — так которому «человеческому интеллекту» ОИР должен соотвествовать?

Пока автор рассказывал о том, что интеллект не обязательно будет похож на человеческий, всё было нормально, но потом возникли моменты, с которыми я не соглашусь.

На данный момент есть концепция AGI. Она несколько искусственная, так как отталкивается от человека. Есть более фундаментальная концепция — Reinforcement Learning, она же — «оптимизация нестационарной функции в условиях частичной наблюдаемости». AGI отличается от RL только тем, что AGI — это такой универсальный RL, который может оптимизировать любую функцию. Сейчас его нет, но многофункциональные RL вполне есть.

И они ведут себя так, будто бы многие из опасений по поводу ИИ верны. Они достигают целей, которые заложил разработчик — но так, что разработчик потом кричит «я не это имел в виду». Они находят ошибки в софте и эксплуатируют их. Они обманывают людей, когда это оказывается выгодно и возможно. Они воюют и конкурируют, если это оказывается эффективно. Они устраивают финансовые пузыри внутри экономических симуляторов. Они борются за каждую кроху ресурса, который можно забрать себе. Усилить некоторое воздействие в миллион раз ради 0.0001% прибыли? Не вопрос! А что будет с окружающим миром из-за этого? А это в метрику качества не входит, и потому неинтересно.
А ещё ИИ занимаются наукой. Они проводят огромные количества экспериментов. «А что будет, если мы запустим на вот этом компе эволюцию на 1000 поколений? Ой, всё сдохло. Ну ладно. А что, если эту циферку выставить в ноль? Ты что, на неё делил? Ну, меня это не касается.»
Всё, что я сейчас описал — это личный опыт работы с системами класса Reinforcement Learning и оптимизации перебором стратегий.

Тема Paperclip Maximizer не раскрыта, а она центральная в ИИ-безопасности. Конкретной матмодели типа QL или AIXI, или просто постановки задачи RL не наблюдаю, а они — ядро AGI.

С уважением =)
Интересная статья, спасибо.
Зачем создавать искусственный разум?… много плюсов вы описали и еще больше сулят нам фантасты в книгах и фильмах. Многие их них достаточно спорны и требуют обсуждения. Например, «Небиологический разум можно сохранять и восстанавливать при потере, клонировать» — если исходить из текущей парадигмы комп. систем, построенных как набор взаимосвязаных или не очень программ, то они так или иначе имеют свои ошибки или же они появляются и со временем накапливаются. Без своевременного рефакторинга рано или поздно количество ошибок накапливается настолько много, что система сбоит и уже может не подлежать восстановлению. Это утрированно конечно. Но это аналог ответа на одну из причин смерти любой системы. Но это я к примеру привела что каждый «плюс» еще требует осмысления стоит ли человечеству идти по этому пути?
И потому тут более интересен вопрос — а какие минусы создания ИР? что хорошего человечество потеряет от его функционирования? и проблема тут еще и в том что мы можем сколько угодно теоретезировать, многое что понять «до того как это произойдет», но вот только когда это произойдет и можно уже будет оценивать.
И тут главный мой вопрос задам (он не конкретно к вам, а в целом ко всем создателям ИИ, ИР). А стоит ли столько умов направлять на создание ИР сейчас, на текущем этапе становления человечества? Ведь видится то, что само человечество еще ведет себя как большой ребенок (огромное потакание своим слабостям, неумение принимать взрослые решения, куча нерешенных «детских» проблем типа того же голода который в текущем уровнем развития технологий уже давно можно было бы решить, тех же дорог в конце концов и т.д. и т.п.)? Может сначала человечеству надо стать разумным самому и тогда уже создавать ИР? Как считаете?
Смысл создания «ИИ общего назначения» — решение сложных задач управления. Например, создание лекарства от насморка — такого, которое вылечит за минуту, без вредных побочек. Или, если брать случаи ближе к нашей жизни — сделать бота для биржи, который делает ставки чуть эффективнее, чем соседи по рынку — и за счёт этого поднимает кучу денег. Или ИИ, которые делает холодные звонки и продаёт пылесосы — немного эффективнее, чем колцентр конкурентов, так как умеет уговаривать чуть лучше, чем люди.

На данный момент человечество как единый агент не существует. Так что вполне нормальная задача для ИИ — как сделать, чтобы у меня стало больше, а у конкурента меньше. Захват доли рынка, увеличение числа продаж — да что угодно.

Ошибки в ИИ могут накапливаться, если он будет самоулучшающимся. Если он просто будет заново обучаться каждый, скажем, час, на всех собранных данных, но не будет менять математику самотестирования — с чего бы ему накапливать ошибки? Скажем так, такая проблема возможна, но он решается довольно просто.

Минусов много.
Самое очевидное — ИИ решает проблемы очень творчески, а человеческие представления о том, что хорошо, а что плохо, у него отсутствуют. Дал своему ИИ цель повысить продачи пылесосов? Будь готов, что он станет продавать их самому себе, или станет вступать в сговор с покупателями, или станет брать в заложники семьи клиентов. Конечно, когда проблему уже увидел, её легко исправить (например, запретить ИИ торговать с самим собой). Но кто знает, где ИИ в следующий раз проявит излишнее творчество?
Потом в проблемы можно отнести безработицу — но это проблема не сильного ИИ, а вообще любой автоматизации.
Ещё проблемой может быть то, что люди утратят ощущение контроля над миром — то есть у ИИ будет власть надо всеми ресурсами, а люди будут на правах домашних животных. Хочешь сделать ракету на Луну? Спроси разрешения у ИИ. Выбираешь между Сникерсом и Пикником? ИИ уже знает, как какому выводу ты придёшь в итоге, всё уже оформил.

и проблема тут еще и в том что мы можем сколько угодно теоретезировать, многое что понять «до того как это произойдет», но вот только когда это произойдет и можно уже будет оценивать
— у нас есть, от чего отталкиваться в своих прогнозах. Системы обучения с подкреплением, работающие в ограниченных мирах, или выполняющие ограниченные задачи в нашем мире, иже существуют. Кроме того, у нас есть теории интеллекта — они не о том, как устроен интеллект человека, а о том, как принимать оптимальные решения в условиях недостатка информации. Это AIXI, Q-Learning, теория сложности Соломонова и Колмогорова, decision theory.

А стоит ли столько умов направлять на создание ИР сейчас, на текущем этапе становления человечества?
— на этот вопрос может быть много ответов =)
Первый: да, стоит, потому что ИИ можно использовать для разработки лекарств (и иного спасения жизней). Каждая секунда промедления — это сотни смертей. ИИ нужен как можно быстрее.
Второй: но есть риск угробить ещё больше народу, если ИИ будет уже достаточно изобретательным, но ещё не будет синхронизирован с человеческой этикой во всей её сложности и кривизне.
Третий: конечно, не стоит. Дальше идут умные аргументы и не идёт упоминания того, что у нас есть своя лаборатория, и мы таким образом просто притормаживаем конкурентов.

И я не убеждён, что человечество вообще способно вести себя как единый целеустремлённый агент, которому есть дело до таких вещей, как голод у 90% населения. Возможно, ИИ гораздо легче сделать таким агентом.
Sign up to leave a comment.

Articles