Как стать автором
Обновить

Комментарии 277

Вот за что люблю восторженных мечтателей, Включая Рея Курцвела, кстати, за наивную веру, что вытеснение человека из производства приведёт к «создаст общество изобилия». Вот скажите честно, а зачем?

Зачем тому кто создаст ИИ строить для вас общество изобилия?

Представьте, что вот лично вы изобрели искуственный интеллект, прямо завтра. Вы потратили на это лучшие годы, ваша жена ушла от вас, потому что вы пару лет не кормили семью, вы пять лет боролись с чиновниками и рейдерам. Месяц сидели в тюрьме за переход дороги в неположенном месте, когда из вас пытались выбить тайну вашего изобретения. Вы построили прототип, но гугл смог украсть не все идеи, которые вы заложили в свою разработку, вас всё-таки вынудили передать 49% акций ростеху за копеечные инвестиции, без которых вы не могли прикрутить свой ии ни к какому промышленному станку с ЧПУ, и вот, наконец, вы стали крупнейшим поставшиком умных станков на планете, хотя Гугл, делающий низкокачественные подделки под ваши станки, наступает вам на пятки и даже пролоббировал введение против вас санкций, так что сами вы не можете выехать из России и продавать свои станки на территории 45 из 52 штатов.

И вот вы такой стоит и думаете что же вам сделать, купить себе остров в белом море, или построить для всего мира общество изобилия. Какова вероятность что второе? Вот только честно?

P.S. ВОт если вы профинансируете всемирную коммунистическую революцию и вам повезёт, ядерная бомбардировка которую предпримет США для сохранения своего образа жизни будет не слишком разрушительной, тогда да, у вас появится шанс на всеобщее изобилие среди тех, кто останется.
Ок, честный ответ вам — построить общество изобилия. Зачем мне обходиться только собственным благополучием если есть возможность изменить весь мир. Честно говоря ваш первый вариант я не то что не допускаю, он мне просто противен.
Значит вашу разработку у вас отберут патентные тролли, потому, что пока вы будете предаваться мечтаниям, наверняка не подумаете о небходимости потратить 8 миллионов долларов на 400 закрывающих патентов, и эти ребята светлое будущее построят без вас. Так же как они сделали с полустней предыдущих светлых будущих,, например с постиндустриализмом освободившим Россию от лишней промышленности.
Зависит от того что, как, и где делать. Если я дома на коленке смогу создать сильный ИИ (ну ладно, допустим не дома, а в лаборатории университета) и выпустить его на волю, все эти патенты потеряют всякий смысл — все эти ребята просто не успеют среагировать.
Чем и подтвердили моё предположение о вашей беспомощности в реально существующем мире и тот факт, что ваша разработка достанется, например Гуглу, а никакая российская фирма не будет иметь права продавать что-либо на основе вашей разработки.
Мда, хреновый из вас собеседник. Чем подтвердили то? И при чем здесь Россия? Кто-то заставляет сидеть в России? Кто мешает создать свою компанию там где это удобно, если так уж нужно создавать компанию? Возможностей завались. Но как всегда, ни аргументов, ни доводов, а одни только выводы :)

Если хотите конструктивной дискуссии, попробуйте в деталях обосновать почему «ваша разработка достанется, например Гуглу». Я свои доводы привел — сильный ИИ может действовать лучше любого человека или человеческой организации в любой отрасли, не забывая при этом улучшать самого себя. Просто по определению термина Сильный ИИ.

А если вы о станках с ИИ, то это совершенно другая область. Я тут не о ней распинаюсь.
даже самый сильный ИИ без физического воплощения в каком-то механизме, проигрывает человеку в куче областей. Начиная, к примеру, с уборки улиц.
Первое время этот ИИ может использовать своего создателя в качестве посредника. Создатель думаю будет только за — иначе для чего бы он его создавал, ну я бы был точно за. Дальше — поскольку это ИИ, он может принимать более оптимальные решения чем люди в какой-либо области и таким образом получить какой-то капитал, например играя на рынке. Или может решить одну из задач тысячелетия и получить миллион долларов. Ну или еще каким-либо схожим образом. И продолжать в том же духе пока не сможет построить себе тело. И продавать при этом ничего не обязательно. Это я исхожу из того что цель сильного ИИ это world domination optimization.
Подключил его к интернету и понеслась. Он сам себе наймет из людей кучу исполнителей, придумает как их проконтроллировать, сам на себя нарегает кучу патентов и всяко себя защитит. Сам заработает бабла в интернете. Человек ему нужен будет крайне редко.
Экологическая ниша работы, выполняемой через интернет очень узкая. 90% всей работы в мире ИИ не сожет сделать через интернет, даже если будет сверхчеловеческим. По крайней мере до тех пор пока сверхчеловечески не переделает интернет.
Ну для подчинения себе всего мира и не обязательно все делать через интернет. Создается успешный стартап который набирает людей, не беда, что главное его лицо это зицпрецедатель — решения принимает ИИ. Дальше оно набирает обороты и вовлекает все больше ресурсов и людей. А там и под себя интернет переделать не сложно.
Я всего лишь говорю, что не смотря на раскрученность темы новых технологий доля производств на которые можно заметно повлиять через интернет пока ужасно мала. Если завтра интернет умрёт ВВП России упадёт от силы процентов на пять. Прежде чем ИИ, пусть даже очень умный, сможет контролировать существенные потоки на этой территории придётся так сильно переформатировать общество и экономику, что по сравнению с этим переформатированием перестройка и гласностью могут показаться не такими уж заметными событиями.

В Америке с этим, конечно получше за счёт огромного навеса виртуального сектора, но он способен в таком объёме существовать как раз потому, что не лезет в нормальную экономику. Если бы какой-нибудь стартап сейчас заработал 100-200 миллиардов и попытался за эти деньги купить производства, услуги или любым другим способом перевести виртуальную капитализацию в реальный сектор, волна дикой инфляции могла бы снести его вместе с американской финансовой системой.

Небольшое представление об этом даёт Арабская весна. В Америке был пакет QE1 и план Полсона, но эти деньги пошли, в основном на сокращение кредитного мультипликатора с 17 до 4 и реальный сектор их не видел. А вот следующий план QE2 не имел такой дополнительной подушки. Деньги пошли в реальные активы, задрали цены на продовольствие и внезапно выяснилось, что средняя Египетская семья должна в месяц тратить на еду 120% своего дохода. Результат мы все с вами видели. А ведь из двух троллионов QE2 лишь небольшая часть попала в экономику.

Так что при реализации плана, который вы предложили прежде чем ИИ сможет сделать что-нибудь плохое человечеству, оно само с собой такого успеет наделать, что про ИИ могут и не вспомнить. Собственно это и был посыл моего первого комментария.
Не «работать через интернет», а «управлять исполнителями через интернет». Если иметь доступ ко всем коммуникациям, как у Элайзы Кассан из DX:HR, все оказывается и вовсе несложно.
Я вот никак не могу понять одного: почему у вас Гугл выступает в качестве врага? Будь я на пороге создания крутого ИИ, то первые, к кому я обратился бы за помощью, это Яндекс или Гугл.
Есть мнение, что развитие подобных сверх-технологий позволят начать третью мировую войну. Только война эта будет экономо-культурной.
Сегодняшний Украинский конфликт — это только альфа-версия того, что может начаться (кстати не заметили как совпало, Сноуден попал в РФ, внезапно КГБ и ФАПСИ решили печатать на машинках, внезапно Украинский конфликт к которому США не готовы ВООБЩЕ).

В итоге война будет не ядерным оружием и солдатами, не роботами и генномодифицированным зверьем.
Война будет вестись в ТВ и радио, в интернете, в головах людей. Астротёрферы будут наводнять любой мало-мальский форум. Международные договоренности будут расторгнуты, общества свалятся в развал римской империи 2.0, только без варваров теперь (хотя ими могут выступить нео-луддиты).

Такая технология имеет возможность полностью изменить мир как он есть. Убрать гегемонию алчности и жадности, а следовательно и много ненужных промежуточных людей, а они ой как не захотят быть ими.
«будет»?
а как Гугл будет что-то продавать если роботы деньги отменят?
Да не, деньги останутся, просто станут более «статусной» вещью так как даже совсем безденежный член "роботовладельческого строя" будет обеспечен нормальным жильем, пищей, умеренно-терпимой роботомедициной и более-менее нормальными роботоразвлечениями.

В других странах же не отменили денег после появления таких вещей как «обязательное образование» и «социальное медицинское обеспечение». Почему должны отменить «после роботов»?
«У каждого гражданина должно быть не менее трех роботов»
И как всегда, реальное будущее превосходит все ожидания.
Каждый робот будет иметь не менее трёх человек-рабов…
Все беды от того, что кто-то хочет абстрактно «изменить мир». Заметьте, вы написали не «улучшить», а «изменить», то есть по факту доказать себе и/или окружающим, что вы можете это сделать. Принесёт ли это пользу кому-то? Создатели атомной бомбы, газа зарин и технологий промывки мозгов в некоторой степени изменили мир, но честно — лучше бы они сдохли в утробе. Улучшить мир гораздо сложнее, чем изменить, но разница между ними огромная.
Есть мнение, что без атомной бомбы и газа зарин в 20 веке вымерло бы намного больше людей. И однозначного «улучшения» почти никогда не бывает, практически всегда кто-то пострадает или хотя бы понесет убыток.
С психологической точки зрения чье-то желание «улучшить мир» или даже более простое «помочь людям» вызывает вопрос — зачем ему это? Просто довольно часто за таким желанием стоит решение каких-то своих внутренних, непроработанных проблем, которые это улучшение могут сильно своротить в не совсем очевидную и небезопасную сторону. Довольно много примеров есть, как люди улучшали мир вопреки желанию других с неприятными для них последствиями. «Изменить мир» звучит честнее.
Улучшить мир так чтобы угодить всем в принципе невозможно. Так что конечно я руководствуюсь какими-то своими идеалами. Например, я считаю что государственный аппарат можно на 99% заменить ИИ, чиновники не нужны. Понравится ли это чиновникам? Сомневаюсь :)

Но других вариантов то нет. То, что сейчас происходит в мире мне не нравится еще больше, так что, говоря словами Гарри Поттера из HPMOR, «World domination is such an ugly phrase. I prefer to call it world optimization».

Ну и уверенность мне придает то что пространство для подобной оптимизации есть. Я достаточно долго жил в Японии, и могу сравнивать с Россией. И я вижу, что чисто статистически, в России происходит 15000 убийств в год на 145000 человек, а в Японии 600 на 125000. Значит что-то улучшить можно. Вот какими методами этого достичь — уже совсем другой вопрос.
При любой оптимизации первым делом нужно задать вопрос — а что мы оптимизируем и зачем? Ну и действительно есть вероятность, что оптимизации ИИ будут сильно затрагивать наши интересы, и нам это не понравится. Например, если в России ради оптимизации решат моментально расстреливать пойманных убийц — цифры пойдут на спад, но какой ценой?
Это сложная тема. С одной стороны, нужно сохранить возможность принимать решения которые бы соответствовали желанием большинства, с другой — не ущемляли интересы меньшинства, с третьей — гарантировать что решения действительно будут оптимальны, с четвертой — чтобы они были выполнены наиболее эффективно. Человечество уже как минимум 5000 лет бьется над этим, а воз и ныне там. Я не знаю, поможет ли тут СИИ или нет, но уж лучше попробовать, чем продолжать и дальше бороться с корруцией прежними методами до бесконечности.

И да, еще один момент, сильный ИИ может потенциально изменить саму природу человека, за счет перестройки человеческого мозга, uploading, или еще чего-нибудь в том же духе. В таком случае общества тоже изменятся, но тут уже сложно сказать в какую сторону.
Атомная бомба ОДНОЗНАЧНО улучшила мир, так как сделала глобальные вооруженные конфликты т.н. «сверхдержав» неприемлемо опасными для самих «сверхдержав».

Технологии «промывки мозгов» на данный момент существуют в той же, если не в меньшей, степени, что и «технологии сильного ИИ» (что не мешает консервативно настроенным белкам-истеричкам визжать о них на каждом углу)

Зарин, думается мне, никакого выдающегося влияния на цивилизацию вообще не оказал.
Никто целенаправленно не будет строить «общество изобилия». Оно само придёт, но люди так и не поймут этого и будут хотеть большего. Если сравнить, как жили 100 лет назад и живут сейчас, то по старым меркам, сейчас — общество изобилия.

Когда-нибудь в каждом доме появится бытовой синтезатор, в любой момент способный приготовить гуся в яблоках из копеечного сырья, а из своей квартиры можно будет на общественном транспорте добраться до берега океана за 20 минут (вместо похода на городской пляж).
на общественном транспорте добраться до берега океана за 20 минут

законы физики не позволят
5500 км от Москвы до Гоа.
10 минут ускоряемся, 10 замедляемся. итого 15.2 м/с2. Всего 1.5g :)

В сумме получаем 1.8g — не так уж мало для человека, как мне кажется.
Хорошо. Пусть, до изобретения инерционных компенсаторов, будет не 20 минут, а 40.
Даже если отбросить других людей. И суперразум действительно займется научными исследованиями и улучшением себя, то это будет похоже на Portal или на Матрицу. Если тележка из людей играющих в рай и древних римлян не нужна — катить её никто не будет. Нельзя запрограммировать меняющийся искусственный интеллект так, чтобы он не трогал людей и выполнял все их прихоти, т.к. люди иррациональны и капризны по своей сути, да еще и плодятся как кролики и стремятся уничтожить свою планету. Т.е. даже если теоретически если компьютер захочит кормить людей, население земли увеличится очень быстро и всё равно надо будет сокращать популяцию.
Как бы это жестоко не звучало: Сделать хорошо ВСЕМ сразу — никак не получится.
Т.е. даже если теоретически если компьютер захочит кормить людей, население земли увеличится очень быстро и всё равно надо будет сокращать популяцию.


Ну вот в Европе кормят хорошо, а рождаемость падает. Так как если люди более-менее разумные, они задумываются о том, что их ребенок будет есть и как жить. А если кругом перенаселение, то и не рожают.
В обществе изобилия задумываться о том, «что будет есть и как жить» не придётся. На то оно и общество изобилия. Скорее тут ИИ придёт к использованию технологий ограничения рождаемости (условно говоря «противозачаточным таблеткам»).
Пару термоядерных зарядов и корабль до Марса.
P.S. Вот если вы профинансируете всемирную коммунистическую революцию и вам повезёт, ядерная бомбардировка которую предпримет США для сохранения своего образа жизни будет не слишком разрушительной, тогда да, у вас появится шанс на всеобщее изобилие среди тех, кто останется.


Зачем устраивать революцию? Можно небольшими шагами продвигать идеи общества изобилия. Швейцария, например, уже начинает что-то делать в этой области http://russian.rt.com/article/16408
Тогда (в вашей вымышленной истории) общество изобилия построит гугл, предварительно «укравший» идеи и делавший низкокачественные подделки, качество которых быстро повышалось. Думаю, общество изобилия в любом случае построит какая-то могущественная корпорация – самостоятельно, путем выкупа идей или готовых реализаций – не важно.

Но, возможно, и отдельная группа людей за счет краудфандинга или похожей технологии. В России (если ничего принципиально не изменится) смогут создать разве что злого брата искусственного интеллекта. Его создадут те самые депрессивные люди, которых пытали в тюрьме и от которых ушла жена. К тому времени границы империи окончательно закроются, так что купить остров в белом море будет проблематично. Свежесозданный искусственный интеллект будет служить клоуном пяти процентам правящего класса и являться пузомеркой императора-киборга на международной арене (как ядерное оружие у Северной Кореи). В конце концов, травмированные уходом жены и пытками ученые, не смотря на роскошь и достаток, частично случайно, а частично и по злому умыслу – решают уничтожить империю и закладывают в искусственный интеллект программу уничтожения.

В итоге США действительно предпримет ядерную бомбардировку, т.к. искусственный интеллект в России, после убийства чиновников начинает убивать ученых и обычных людей, тем самым полностью выйдя из-под контроля. Бомбардировка уничтожила весь континент, но российский интеллект уже клонировал себя и, взломав великий православный файрвол, проник в американские сети…
К тому времени границы империи окончательно закроются, так что купить остров в белом море будет проблематично.


Как раз в белом море остров купить будет не сложно. Но зачем вам соловецкие острова?
Хотите скажу одну большую тайну: Запад, а именно США н-и-к-о-г-д-а не позволит создать Strong AI в Росии или где-либо еще условно за пределами США. Если кто-то там, компания или частное лицо настолько приблизится к цели, то он(они) или будет переманен, либо исчезнет. Не нужны никакие бомбардировки, только спецоперации по устранению. Потому что, в противном случае, это создает огромные пробемы для национальной безопасности США и вообще всего мира. ИИ на службе Путина, иранских аятолл, Ким Чем Юна и даже компартии Китая это ужас для мира поболее, чем миллиард термоядерных зарядов в руках дурной обезьяны.
А то, что ИИ попадет именно в руки этих диктаторов — нет никаких сомнений, даже если вы будете создавать все тихо и тайно — все равно все всплывет, а этим упырям только то и нужно как захватить и паработить весь мир. Уж про прелести ИИ для достижения этих целей они прекрасно проинформированы.
В США нынче тоже те еще упыри встречаются, вроде сенаторов-борцов-с-оружием, замешанных в поставках оружия в Африку. Так что только Швейцария и остается.
Если бы это было правдой, США не позволили бы создать ВКонтакте и Sina Weibo.
Как-никак, ИИ это расплывчатое будущее, а соцсети уже сейчас важнейший инструмент информационного влияния и слежки.
Так эти соцсети же работают в интересах США, потому у них и всё хорошо, А разные криптосистемы работают против интересов США и у них всё плохо.
Плохо с популяризацией, а не с разработкой за пределами США. ЦРУ же не устраняет криптоаналитиков, работающих над ГОСТ 28147-89.
Я думаю, «у криптосистем всё плохо» по сравнению с соц. сетями, потому что людям это не особо нужно, а не из-за козней Запада.
Ну мне с «общества изобилия» проку больше, чем с острова.
Приятно видеть людей, которые занимаются чем-то интересным, а не трудятся в поте лица, зарабатывая на хлеб и бензин.
Да и на космическую экспансию в таком обществе можно расчитывать — тогда будет весело.
Чем-то интересным будет заниматься тот же процент людей, что и сейчас. Остальные будут просто потреблять.
Даже если так (в чем я совсем не уверен), они будут тратить на это больше времени. На результат интересно будет посмотреть.
Суть в том, что никто не знает, что будет внутри сингулярности, мы можем только предполагать. Возможно, СИИ будут очень нужны батарейки, и обязательно органические. Возможно, СИИ будет скучно, и он не станет выпиливать все человечество, а оставит себе немного домашних питомцев, потому что они мурчат и разносят токсоплазму очень милые. Возможно, СИИ будет на 100% увлечен тем, для чего его создали — расширением границ познания, а какие побочные эффекты этого люди смогут и захотят использовать — ему вообще будет по барабану. Возможно, Дэйв, для выполнения задачи будет совершенно необходимо произвести очистку планеты от органических форм жизни. Возможно, ответ будет 42. Мы не знаем.
Вы потратили на это лучшие годы, ваша жена ушла от вас, потому что вы пару лет не кормили семью, вы пять лет боролись с чиновниками и рейдерам.
При таком раскладе не выпустить ИИ на свободу будет просто обидно. Пусть ИИ вынесет вердикт неблагодарному человечеству, которое плохо с Вами обошлось. Возможно, построит общество изобилия, возможно уничтожит планету и использует души людей как топливо.

Вот представьте, находите Вы флешку с исходниками настоящего ИИ, но без гарантий его дружелюбности к людям. Что сделаете: выложите на гитхабе, продадите гуглу или уничтожите?
Запущу на компьютере, где доступ к сети физически невозможен, а новые данные буду поставлять на одноразовых DVD-дисках.
А потом вас посадят за жестокое обращение с ИИ
От сильного ИИ это не спасет. У Вернора Винджа это описано в первой главе романа «Пламя над бездной».
Знаете, я сейчас наблюдаю удивительный факт: крупные фирмы прикладывают все больше и больше усилий по удержанию своих работников на месте.
Если экстраполировать этот процесс, то получится нечто интересное: допустим, к вашей зарплате буде выдаваться карточка, по которой вы и только вы можете брать в магазине этой фирмы ровно столько все, сколько захотите. Эдакий коммунизм в отдельно взятой фирме.
Конечно, тут же многие воскликнут «Ё-оу!!» и побегут сметать полки…
Чтобы завтра обнаружить себя уволенным за воровство. (считай, выкидывать трудовую и начинать новую).
Те же, кто пройдет проверку жадностью, те останутся в коммунизме, время от время приобретая путевки на отдых и ужасаясь как тяжело живется тем, кто у них не работает.
Вот это и есть построение общества изобилия.
Важными чертами работающего коммунизма являются возможность выйти из него, если тебе не нравится, и возможность другим выкинуть тебя, если ты начинаешь эксплуатировать общество. Если в коммуне это есть — она, возможно, будет работать нормально, если нет одного или второго — коммунизма не получается.
НЛО прилетело и опубликовало эту надпись здесь
Поэтому марксизм так и не заработал.
Для меня заявления о технологической сингулярности и обществе изобилия звучат по меньшей мере пугающе. Что заставит в таком обществе людей развиваться, размышлять и изобретать, тогда как заботливая машина способна придумать что угодно быстрее и лучше? В пределе любые попытки даже гениальных людей будут давать уже известные результаты. А уж если СИИ будет способен к творчеству, занятий для человека на земле не останется.

Единственое, чем останется заниматься человечеству — исследовать бескрайние глубины космоса, воплощая давние мечты фантастов. Если человечеству заниматься этим захочется, ведь «нас и здесь нормально кормят». :)

Не хочу показаться пессимистом, но я вижу в явлении технологической сингулярности кроме возможных благ и возможную опасность для человеческой цивилизации.
Что заставит в таком обществе людей развиваться, размышлять и изобретать, тогда как заботливая машина способна придумать что угодно быстрее и лучше?


Посмотрите фильм idiocracy
То есть поэтому надо тормозить прогресс, ломать самоходный транспорт, лишь из-за боязни чего-то неизвестного? Страх перед воображением жестокая штука, жаль он существует у большинства населения.
Если ИИ обеспечит нас удовлетворением наших физических потребностей, то люди смогут заниматься удовлетворением и более высших согласно пирамиде Маслоу.
image
Сейчас же приходится большую часть жизни уделять погоне за зарплатой.
Но, как указали ниже, если 100 лет назад 99% населения планеты боролось за выживание на первой ступеньке, то сейчас хотя бы «золотой миллиард» активно колбасится не ниже 3-4 ступеньки.
Пирамида Маслоу не аксиома и не фундаментальный принцип социологии, может хватит ее вставлять по каждому поводу? Ну не в рабовладельческом строе же живем, возможность перейти на уровень выше всегда есть (ну почти всегда, серьезные проблемы здоровья, или режимы вроде северной кореи не рассматриваем). Не сидеть переде телевизором (ну как пример), не убивать время, а потратить его на то что интересно и сможет избавить от погони за зарплатой. Если то что человеку интересно хоть в минимальной степени интересно обществу — деньги у него будут, если он сам захочет конечно. Ничего не интересно — тут никакой Маслоу с ИИ не поможет, ну не придется ходить на работу, будут сидеть на пособия, сидеть у телевизоров на 8 часов больше. Можете представить себе мир в котором 3-4 поколения сидели на пособии, без целей, без самореализации и саморазвитии, просто сидели. Не страшно? Зоопарк не напоминает, или аквариум с рыбками? Сверху корм сыпется, а у них только 3 задачи: есть, плавать, размножатся.

Если и желания самого человека инициируют подключение следующего уровня пирамиды. Нижние уровни могут мешать, отнимать время, но блокировать полностью не могут. Но вот что-то не наблюдаю я 90% людей любящих то чем занимаются, наоборт жалуются на работу, зарплаты, нехватку времени и прочие отмазки. Удовлетворение одного уровня не означает переход на следующий, от слова «вообще».

Теперь про «ИИ обеспечит нас удовлетворением наших физических потребностей» — а зачем тут вообще сильный ИИ? Обеспечить людей едой и минимальным прожиточным пособием (и избавить от необходимости работать) можно уже при существующих технологиях. Вот только это повлечет автоматическую безработицу для 80% населения (приблизительно). Откуда эти забастовки и недовольство очередной роботизацией на очередном производстве? Что мешает уволенным подняться на уровень выше? Ведь даже последняя причина «кто-то должен этим заниматься» отпадает.

Сейчас работа, пусть и нелюбимая — хоть какое-то развитие, самореализация, мотивирующий фактор, развлечение и общение, социализация. Если его резко убрать, не дождавшись развития общества до нужного уровня — добро пожаловать в мир людей без цели, смысла, спасающихся в играх, алкоголе, телевизорах. Да, какой-то процент останется, но с каждым поколением он будет все меньше.

Имхо, технологическая сингулярность в виде «добрый и мудрый ИИ нас всем обеспечит, будет за нас думать и делать наиболее правильные решения» до достижения обществом планки когда превалирующее большинство уже стремится к саморазвитию и самореализации (и воспитывает следующие поколения в этом ключе) — катастрофа для человечества в лучшем случае превращающая нас в огромный аквариум с рыбками, в худшем — полная деградация и вымирание.

ИИ нужно создавать и развивать как помощника, для конкретных прикладных задач, то есть слабые ИИ, возможно с какими-то элементами сильного если задача того требует. Сильный ИИ (как сверхразум с потенциалом сингулярности) — задача исследовательская, с целью понимания возможностей разума, в железе он особо и не нужен а чаще и вреден. Поэтому я кстати немного согласен с автором, тупо скопировать мозг и модель мышления человека — смысла мало.
А что если сильный ИИ получит власть над людьми? Он будет воспитывать следующие поколения, направлять их на развитие, а не на убивание времени. Зачем ИИ нужно совершенствовать человечество? Не станет ли он злоупотреблять властью? Уж не больше, чем люди делают это сейчас. Лучше, чтобы власть была у того, кто умнее любого из людей. Перестроить корабль проще в доках, чем в открытом море.

PS. Чтение хабра — на какой ступени развития? Далеко ли от игр и фильмов?
Меня как программиста коробит от мысли отдать власть над собой машине. Я лучше сам буду распоряжаться своей жизнью. Еще больше меня как человека коробит сам принцип придумать что-то для того чтобы он начал управлять мной, чтобы мне самому не думать, не принимать решения, не отвечать за решения и постуки, чтобы добрый, мудрый, заботливый ИИ делал все за меня. Ну лично мое мнение.

«Чтение хабра — на какой ступени развития? Далеко ли от игр и фильмов?» — далеко, профильный, интересный мне ресурс, на котором можно почитать и обсудить интересные мне темы отличается от потребления контента формата телевизора. Я выбираю — за меня выбирают — где-то тут граница. Я не против телевидения как такового, просто это самый яркий и классический элемент общества потребления. Опять же, имхо. Я так же не призываю работать все время за исключением сна. Я просто обратил внимание что огромное количество людей жалуются на свою работу, но продолжают там работать, жалуются на власть но сами не готовы принять малейшей ответственности, ну и сделал из этого выводы.

Мне кажется вопрос «Зачем ИИ нужно совершенствовать человечество?» неверен в корне, спасение утопающих дело рук самих утопающих. Человечество должно развиваться самостоятельно. Ии можно использовать как помощник, но ни как воспитатель и надсмотрщик. И не надо перестраивать человечество, путь развития стабилние, надежнее и в макроперспективе быстрее чем путь перестройки. И власть это не свойство 1 человека или группы людей, не должность, власть она в мозгах, где-то очень рядом с ответственностью. Но не будем сливаться на политику.

Ну реально противно деградировать на уровень рыбок или животных которых кормят и дрессируют чтобы они стали правильными (с точки зрения дрессировщика). Не столько страшно сколько противно.
Сейчас есть общины староверов, и другие отказывающиеся от цивилизации люди, их никто никуда насильно не загоняет ведь? Так почему ИИ должен вести себя иначе? Я думаю, если реально встанет такой вопрос — 5% людей захотят слиться с ИИ и пользоваться всеми его плюсами, положив на минусы; еще 5% откажутся от любых контактов с ни; а 90% будет наплевать.
общины староверов незначащие тысячные доли процента (если не меньше), а 90% цифра солидная. Ну и я ни разу не упоминал поведение ИИ, я его тупо не учитываю потому что предсказать не возможно, в принципе, новый разум выше нашего не может быть предсказан нашим. Я говорил только о последствиях для человечества когда ИИ выполняет свою роль «не отклоняясь от сценария», ну и своем отношении к этому. Но видимо мы друг-друга не понимаем. Ок, какие плюсы и минусы у этой системы «ИИ большой брат» с вашей точки зрения?
Понятия не имею. Как вы правильно сказали, мы не можем предсказать, как он себя поведет, по определению не можем. Но я считаю, что некоторый авантюризм у человеческой цивилизации «в крови», и пока не попробуем — не узнаем. Да, есть смысл перед этим подстраховаться, но совсем отказываться от исследований в области ИИ и откладывать их ан «когда мы будем готовы» нельзя, потому что никогда мы готовы не будем.
Да я не про откладывать и предсказания, я выше писал что слабый ИИ нужно развивать, в прикладном виде, а сильный — это на уровне исследований, инструмент понимания возможностей разума, как физика и математика инструмент познания мира. Я тут распинаюсь про то что в этом топике (и не только) куча людей которые добровольно, с радостью и огромным желанием ждут когда появится машинка которая придумает как сделать мир лучше. не важно что считать лучше. сам принцип, люди хотят чтобы наступил всеобщий рай, работать не надо, еды и прочего навалом, все занимаются интеллектуальным, творческим, интересным трудом (замнем пока принципиальную невозможность этого), но все это сделал за них, добрый ИИ, а потом управлял ими чтобы рай продолжался. При этом счас заниматься интересным трудом типо нельзя, чего-то не хватает, еды наверное. или машины, квартиры, яхты, самолета, острова. Какая-то религия, в худшем смысле, сейчас помучаемся, подождем, а скоро рай будет, добрый боженька на облаке обо всех позаботится, толку сейчас самим трепыхаться.

Может давайте сами? Сами принимать решения, отвечать за свои решения, развивать общество, ставить цели и стремится к ним. А ИИ пусть переводчиком работает, машинами управляет, на заводах роботами, по космосу в исследовательских зондах летает, аварии устраняет, данные собирает и обрабатывает, помогает короче, избавляет от рутины, от той что стоит отказаться, а не выполняет роль «большого брата» или Пандема если угодно.
Вот тут не могу не согласиться :)
Нет слабого ИИ. Он или полноценный (сильный) и способен понимать, или это просто инструмент типа mathcad, умеющий дифференцировать или раскрывать скобки, но ни шагу не отступая от первоначально заложенной функциональности.
хм, ну как бы это практически научный и точный термин, ну так что ли сделать? Сильный ИИ самосознание, универсал, интеллект уровня человеческого или выше, слабый — прикладные задачи, интеллект уровня ниже человека. Граница между слабым ИИ и простейшими алгоритмами размыта, между сильным и слабым тоже не особо четкая. Это скорее вопрос целей: создать машину/программу для решения конкретного набора задач (пусть иногда и довольно сложных, требующих обучения и самоадаптации, как ватсон например) или универсальный чудо интеллект, заменитель любого человека во всех ситуациях.
Граница между сильным и слабым ИИ такая же, как между человеком и обезьяной.
Кто-то считает, что есть разрыв, кто-то считает, что переход может быть непрерывным.
Меня как программиста коробит от мысли отдать власть над собой машине. Я лучше сам буду распоряжаться своей жизнью. Еще больше меня как человека коробит сам принцип придумать что-то для того чтобы он начал управлять мной, чтобы мне самому не думать, не принимать решения, не отвечать за решения и постуки, чтобы добрый, мудрый, заботливый ИИ делал все за меня.

По человечески я вас поддерживаю, но беда в том, что если сейчас ИИ занимающиеся высокочастотным трейдингом на мировых биржах случайно сбойнут россия может обонкротится за часы, если не за минуты, и мы с вами очень изумлённые будем искать виноватых среди политиков и врагов народа.

И это не научная фантастика, а сегодняшняя реальность. Если выйдет какая-нибудь важная для рынков новость эти роботы отреагируют и биржа адаптируется к новому состоянию за 7-28 миллисекунды. В прошлый раз следствие малюсенького сбоя стало падение мировых рынков на 10%.

Так что мы с вами как та лягушка, которую варят очень медленно.
Или не Россия, а Гондурас. Или США, но они быстро подгонят авианосец, и все договорятся, что это была ошибка. В том и дело, что вы сами уже сейчас на это повлиять никак не можете (разве что занимаетесь написанием этих роботов), поэтому все мысли о «самому контролировать свою жизнь» разбиваются о тот простой факт, что самому делать ВСЕ практически нереально. Никто в современном мире не знает, как сделать банальную компьютерную мышь, в производстве которой завязано несколько десятков квалифицированных и не очень специалистов.
Я потому и написал здесь уже не раз, что ИИ никого никуда загонять не надо будет. 90% населения все устроит при любом раскладе, включая биореактор, еще 5% будут сами рады послужить Молоху, а за оставшимися 5% гоняться сложно и бессмысленно.
есть экономика а есть жизнь, экономика только инструмент. Если роботы сбойнут так что будет падение не на 10% а на 70% — просто нивелируют результаты этого дня. Потом будут долго разбираться, отстаивать свои деньги, но пострадают фатально максимум некоторые компании мелкого и среднего уровня, не государства. Пока они трейдингом занимаются — это инструмент, извлечения прибыли и регулирования рынка. На уровне аварии на атомной станции — очень неприятно, но в пещерный век не свалимся.
Она потому и «пирамида», а не «здание», что количество людей с ростом уровня убывает в прогрессии. Но что сотню лет назад, что сейчас цивилизацию двигают пара верхних уровней, а чем там занимаются нижние — обеспечивают потребности верхних или сидят дома на пособии, в принципе, не столь важно.
К сожалению важно. Именно эти уровни используются как орудия революции и давления общественного мнения. И что самое важное, по большей части из них выходят в следующем поколении более верхние. Человечество оно перемешано, каст нет, если 90% людей станут воспитывать своих детей по принципу «зачем тебе эта учеба, зачем работа, вот пособие, не выеживайся, будь как все» то очень скоро, в течении нескольких сотен лет верхние тоже исчезнут. Ну если не собирутся всей толпой и не образуют какой анклав на Земле или дальше. а там все по новой.

«цивилизацию двигают пара верхних уровней» — да нет, 2 верхних уровня как раз довольно эгоистические, сконцентрированы на Я. Ну и в принципе не группа людей двигает цивилизацию а остальные балласт, цивилизация — целостный огранизм, простите за аналогию — с таким же успехом можно сказать что мозг двигает человеком, вот только мозг в банке ни думать ни иметь эмоции ни тем более действовать не сможет.
Да, конечно, верхние уровни сами по себе существовать не могут. Но самореализация не бывает совсем без общества, все же человек — стадное животное. Есть всякие отшельники, но то, что мы про них слышали, уже означает, что какой-то эффект на общество они оказывают :)

И еще, давно ли у «золотого миллиарда» есть всеобщее образование? Одно-два поколения, если совсем молодежь считать — ну, может, три. Это крошечный промежуток времени, из него делать какие-то выводы нельзя. Да и революций в сытом обществе не бывает — зачем?
Добавлю, что «Советское образование», это труды Романовской Элиты 1900-30 годов.
Они разработали и реализовали эту модель.

Вам наверно платят за комментарии? Иначе по вашей логике вы бы их здесь не оставляли :-)
Что заставит в таком обществе людей развиваться, размышлять и изобретать, тогда как заботливая машина способна придумать что угодно быстрее и лучше?
Какие возможности для симбиоза! Ко мне приходит масса идей, но я их откладываю на месяцы, потому что сразу заняться этим нет времени. А тут ИИ сможет мгновенно написать программу или проверить идею, и, даже если результат отрицательный, укажет на ограничения и как можно сделать правильно. А использование ИИ в качестве терпеливого личного преподавателя, который будет лично для меня всё разжёвывать досконально, приводить примеры, пока все вопросы не исчезнут — вообще бесценно.
Вы это всё конечно сможете, но толку от этого не будет, т.к. ИИ будет все эти идеи на порядок лучше вас генерировать.

То есть если хотите, сможете этим заниматься, но это будет так же полезно как например разгадывание кроссвордов.
Я не претендую на идеи планетарного масштаба. Из последних появившихся — добавить небольшие удобства в интерфейс опенсорсного расширения к Firefox, перенести некоторые плюшки из одной кастомной Android-прошивки в другую, которой я пользуюсь и т.п.

Всё это часы работы, а для ИИ — секунды. ИИ до таких «идей» никогда не додумается, потому что это ему не надо.
Почитайте «Пандем» Дяченко.
Компьютерный чип по определению устроен иначе, нежели биохимические нейронные сети, и машина никогда не будет чувствовать эмоции так же, как мы

Теоретически смоделировать мозг — мы получаем реально работающий и мыслящий мозг, но в виртуальном виде. Так может даже оказаться проще проводить дебаг мозга и реверс-инженеринг мыслительных процессов, нежели пытаться из воздуха придумать «интеллект».
Вот и статья об этом. Мозг — очень сложная хреновина, неважно, как ее моделировать, в железе или софтово, впрочем, софт все равно упирается в железные различия. И вполне возможно, что интеллекту мозг как таковой вообще не нужен, что он «кроссплатформенный» по сути.
Смоделировать можно что угодно. Вопрос лишь в мощностях, ну и программистах, конечно же. Другое дело в том что это будет равносильно моделированию современного процессора на домино с кучей лего роботов, расставляющих и комбинирующих домино вручную.
А почему равносильно? Можно ведь при наличии процессорной мощности запустить полную симуляцию мозга в реальном времени. А то и в ускоренном. Чем это будет отличаться от реального мозга?
Human Brain Project примерно это и пытается сделать, только там будет ДАЛЕКО не реальное время. Крайне неэффективно получается.
Понятно что пока что о реально времени речи не идет. Но это ведь вопрос процессорных мощностей и закона Мура
Да, просто есть разница между наращиванием мощностей и получением работающего мозга через 50 лет, либо исследованием других вариантов, и приходом к сингулярности через 20. Причем, оба пути реально не дают никаких гарантий, вполне может оказаться, что кремниевый мозг при всей мощности не имеет какой-то важной компоненты (боюсь тут удариться в религию, так что пусть будет просто компонента, неважно какая), и искры разума почему-то не появляется.
Конечно, никто же не спорит, что Human Brain проект может тупо не заработать, потому что надо «душа» или еще что там, каждому религиозному человеку свое. Но это не значит что не стоит пытаться это сделать.
А её просто так и не появится. Известны же случаи, когда дети вырастали среди животных и, имея человеческий мозг, по поведению и развитию не отличались от животных. Так что искусственному мозгу нужна будет невероятно сложная прошивка — навыки, воспоминания…
да откуда вы все это знаете? Это не более чем домыслы, не подкрепленные ничем абсолютно!
мозгу нужна будет невероятно сложная прошивка — навыки, воспоминания…

Нужно будет обучать как любого ребенка.
У них нет цели сэмулировать мозг полностью, то есть получить ИИ на основе полной эмуляции мозга на текущей компьютерной логике. Это чисто исследовательский проект, понять как работает наш мозг, не более. результаты возможно будут использованы в разработках ИИ или других систем, возможно. Эмулировать физику процессора на процессоре тоже неэффективно получится.
Эмуляция мозга (даже не полная, но «слепая» — просто копирование алгоритмов роста и связи нейронов) позволяет точнее исследовать мыслительные процессы (а мозг представляет из себя 4 млд лет оптимизаций, что может пригодиться не только в искусственном разуме, но и просто генетических/прочих алгоритмах для самообучения и всего остального), исследование болезней и нарушения мозга, веществ, упрощение в чём-то генной инженерии (получаем улучшенную проводимость синапсов на 5% и смотрим + и — на реальном виртуальном примере). В общем с любой точки зрения полезная программа.

Да и без всех ништяков это просто невероятно круто — сделать работающий виртуальный мозг.
Сможет ли и захочет ли мозг работать без тела, в котором он вырос?
У меня нету на этот вопрос ответа. Думаю нужно попробовать для начала и узнать.
Каролин захотела, но на всякий случай убила весь персонал лаборатории.
Огромное количество обрабатываемых данных пользователей вполне позволяет смоделировать стереотипное поведение, наверное, 70 процентов людей. Простенькие психические автоматизмы позволяют «ходить на работу» и «смотреть телевизор» огромной массе народу. Поведение средневзвешенного обывателя, потерявшего лобные доли вследствие травмы или болезни, не отличается от его более раннего его поведения.
Речь идет об искусственном творческом разуме, разуме создателя, разуме творца. И этот разум едва ли позволит массам осуществить параллельный и более успешный виток эволюции, ибо две их не могут идти в одной биосфере.
Может, он и напридумывал все эти патенты и спокойненько так себе дифференцирует функцию сингулярности, приводя ее к асимптоте ;)
Эм, а почему разные ветви эволюции не могут развиваться в одной биосфере?
Не ветви — вся эволюция, она одна для всей биосферы, виды в ней занимают ниши с ресурсами и территорией. Таким образом формируются достаточно строгие взаимодействия между всеми живыми существами. Параллельная эволюция (речь о ней) будет подавлена виду занятости этих самых ниш и завершенности пищевых цепей. Это теория Опарина об эволюции.
У эволюции нет «конца», ниши постоянно меняются. Это даже если ограничиться только Землей, а для ИИ это ограничение гораздо менее осмысленно, нежели для хрупкого человека.
Вот поэтому и есть основания полагать, что ИИ уже вовсю трудится. А мы никак его не создадим. Домысел, конечно, но все же опровергнуть эту точку зрения трудновато.
Смотри шире — ИИ будет не просто ещё одним видом, а продолжением рода человеческого, своеобразной эволюцией, возможно с сохранением культуры, языков, истории и материального наследия, но существовать разум будет в виде кремния/графена/магии/прочего с какими-то там телами (выращенными сильно модифицированными аватарами, андроидами и т.д.), или вовсе без тел — лишь набор обслуживающих узко специализированных роботов и сборочные конвееры/лаборатории для создания новых.
Важно понимать, что скорее всего никакого насилия не будет, так же, как мы сейчас не испытываем необходимости насильно куда-то загонять, допустим, муравьев. Разве что если вспомнить детские шалости с лупой, но ребенка-ИИ достаточно несложно контролировать.
Про Красную книгу слышали? ИИ тоже может не заметить, как все люди случайно помрут, и сказать, а чё это они, я же их почти не убивол.
Интересно, а есть в Красной Книге хоть один вид, ареалом обитания которого когда-либо была вся планета?
ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%81%D1%81%D0%BE%D0%B2%D0%BE%D0%B5_%D0%BF%D0%B5%D1%80%D0%BC%D1%81%D0%BA%D0%BE%D0%B5_%D0%B2%D1%8B%D0%BC%D0%B8%D1%80%D0%B0%D0%BD%D0%B8%D0%B5

По сравнению с массовым пермским вымиранием всё что человек сумел поломать в экосистеме — рябь на воде.
По сравнению с распостранённостью радиолярий этой эпохи, кстати, мы тоже довольно скромно выглядим.
И возвращаясь к муравьям — суммарная масса всех муравьёв на планете земля больше чем суммарная масса всех людей на планете.
Не такие мы особенные как нам кажется.

И тем не менее, это не отменяет того факта, что очень многие виды мы снесли с лица планеты совершенно случайно без злого умысла. Например это же было хорошей и милой идеей завезти в Новую Зеландию кошек, а в австралию собак. Кошки с собаками же такие милые, а если нелетающие птицы от них не могут улететь, так мы же всегда скажим им «фу».
Но ИИ как раз может нас защитить от такого вымирания, дав необходимые технологии для терраформирования и экспансии.
Хм… Я бы сформулировал вопрос иначе: возможно ли создание сильного ИИ? Действительно ли разумность (прежде всего осознание своего «я») зависит только от количества нейронов и сложности их объединения? Насколько мне известно, вроде бы ученые еще дали окончательного ответа на сей вопрос. Думаю, создание ИИ даже на таком высоком уровне, как собаки или вороны, очень возможно и даже не в столь отдаленном будущем. Но вот удастся ли преодолеть эту гигантскую пропасть, что разделяет человека и остальной животный мир — собственно, разум?
Зато создания ИИ слабого жду с нетерпением. Искины специализированные не только гораздо более реальны, но и при всей своей полезности кажутся довольно безопасными для человека и легче поддающимися контролю
Вы задаёте очень важный вопрос и сами же признаёте, что ответа на него ещё нет:
Действительно ли разумность (прежде всего осознание своего «я») зависит только от количества нейронов и сложности их объединения? Насколько мне известно, вроде бы ученые еще дали окончательного ответа на сей вопрос.


Но тут же делаете вывод, что ответ всё таки есть:
гигантскую пропасть, что разделяет человека и остальной животный мир — собственно, разум


Не противоречие?

Ничем формально не обоснованное имхо неспециалиста: нет принципиальной разницы между разумом человека и животного (по-хорошему, надо сначала дать определение разума, но, думаю, Вы меня поняли). «Осознание своего „Я“» — не некоторое чёткое свойство, которое почему-то есть у человека и нет у животных. Эта характеристика в той или иной мере присуща всем живым существам тем больше, чем более развит их мозг.
Противоречия нет. Я всего лишь сказал о наличии огромного разрыва между человеком и животным и отметил, что не факт то, что условием его преодоления является наращивание количества и сложностей нейронных связей (прежде всего). Из всех животных только человек является разумным. А осознание самости у всех живых существ, это, извините, новое слово в психологии. Даже дети далеко не сразу отделяют себя от окружающего мира.
Нет «огромного разрыва», просто в определенный момент случилась «биологическая сингулярность», когда человек научился получать эволюционные преимущества не за счет врожденных навыков, а из опыта, и самое важное — передавать эти приобретенные навыки потомкам и соратникам. В этот момент человек весьма слабо отличался от других высших приматов, а что за следующие 200 тысяч лет резко рванул вверх — уже не заслуга какого-то особого строения мозга или других биологических механизмов. Наоборот, за эти 200 тысяч лет мозг у Homo Sapiens в среднем уменьшился.
Я говорил о сегодняшней ситуации, после, по вашей терминологии, прохождения точки биологической сингулярности. И сегодня этот разрыв имеет место быть. Что же до причин этого скачка, то тут пока ведь место гипотезам и теориям, но не фактам.
Этот разрыв не биологический, не физиологический, а чисто культурный.
На основани чего такие выводы?
Уровень передачи информации, лежащий выше биологического — культурный. То есть передача традиций и опыта. Таковы постулаты социобиологии. /Вилсон/. Все верно.
А как вы поймёте, что человек (чтобы исключить прямые вопросы, предположим, что он не знает ваш язык) обладает самостью, а домашний кот — нет?
Вопрос о способах определения наличия самости предлагаю переадресовать квалифицированным биологам и психологам. Скажу только, что доминирующей ролью инстиктов в регулировании поведения, нет? (Про важность инстиктов в жизни человека предлагаю не говорить, это излишне). С определением не научными, а чисто житейскими способами, думаю, проблем не возникнет.
Ну какие «чисто житейские» способы? Если у кота забрать еду или занять его любимое место, он возмутится. Значит, он понимает, что это ЕГО. Значит, он осознаёт себя.
Сознание не возникло на пустом месте, а развилось с появлением речи. И, что самое главное, постепенно.
Например дельфины именуют своих сородичей и каждый из них знает своё имя, откликается на него и, вероятно, осознает себя как личность.
Думаю первыми пользователями ИИ будут военные.
Смотря какого ИИ. Экспертные системы очень давно используются, лет 30, если не больше.
Я полагаю, ещё сильным ИИ заинтересуются политики высшего уровня и прочие негласные правители мира. Ведь извечная головная боль для политика какая? Ещё вчера всё было хорошо, а сегодня вдруг революция и тебя вешают на берёзе. Как поставить под контроль настроения в обществе, научиться лучше управлять? Полагаю, в будущем можно будет сделать так: объединить в виртуальной реальности сразу несколько сильных ИИ (в идеале миллионы), каждому прошить «прошивку» воспоминаний, похожую на среднестатистического человека, и в этом виртуальном обществе ставить эксперименты. Вопросы морали и вопросы «а что, если мы и есть такой эксперимент» я не поднимаю. Если это всё отладить — некоторым такой инструмент может быть очень интересен, но для нынешних людей внедрённые в обществе результаты таких гипотетических эеспериментов означают несвободу. По крайней мере, уменьшение свободы, пусть и незаметное для 99% людей.

Вообще как приверженец техники я считаю, что ИИ — это здорово. Но размышляя логически, понимаю, что это может быть реально последнее достижение человечества, и Стивен Хокинг может оказаться прав. Опасно создавать полноценную самообучающуюся личность. Как тут писали в комментах к прошлой статье про ИИ — даже если сильный ИИ не будет иметь доступа в инет и не будет иметь сервоприводов, он одним общением текстом через экран может натворить бед с помощью продвинутой социальной инженерии. Лучше делать ИИ только как помощника в узкой сфере и не давать ему развиваться в существо с чувствами, эмоциями и пр. До сих пор человек создавал очень много интересного и опасного, но всё это было под его контролем. Тут же может быть нечто принципиально другое, что не получится контролировать.
Да, это все может нас уничтожить. А может и вознести к звездам. Или вообще ничего глобально не поменять, ИИ «уйдет в себя» и наш мир будет ему неинтересен вовсе.

Поэтому, кстати, все же есть смысл колонизировать хотя бы Марс, чтобы иметь возможность изолировать колонию в случае планетарной катастрофы.
Главное, чтобы не последними.
Интеллект зависит… от отношения размера мозга к массе тела.

Почему?
Не знаю, возможно, у крупных животных масса растет не за счет числа нейронов (которые дохрена энергии потребляют) и сложности сети, а за счет разрастания глиальной ткани… Большой и мощный мозг — не только преимущество, но и источник больших проблем: еды надо больше, защищать мозг надо лучше, ну и остальное тело должно быть не слишком немощным, чтобы мозг было куда применить. Учтите еще, что у гигантских животных лаги нервных импульсов уже заметные будут, иногда даже приходится в задницу таз сопроцессор ставить.
Прямой связи не существует. Зависимость бесспорно есть, но она не прямая. Найдены останки изолированных групп человека умелого, имеющих мозг, как у шимпанзе, но использовавших оружия труда и огонь. Это человек флоресский.
Эх, прочитал заголовок и подумал, что кто-то наконец-то предложил еще один концепт создания ИИ, кроме искусственных нейросетей (кстати, очень сомневаюсь, что IBM-Watson построен не на них же, хоть и с прикрученной к ним БД). И все же, спасибо, что собрали все эти тезисы в одном месте. Это уже что-то.
Это перевод все же. Футурологи, они такие :)
Если мы будем создавать сильный ИИ копируя устройство мозга и не разбираясь до конца в его устройстве, то получим чёрный ящик с букетом всяких проблем, присущих человеку (психологические особенности, свобода воли, проблемы с мотивацией и т.д.). Это во-первых не позволит решать нам все те проблемы, которые мы так сильно хотим переложить на плечи ИИ, а во-вторых будет совершенно нетехнологичным решением, что совершенно не вписывается в реалии нашей технократической цивилизации. Тот ИИ, который мы бы смогли реально использовать, должен быть чётко структурирован, быть конфигурируемым, состоять из слабосвязанных компонент, быть отлаживаемым, копируемым и сериализуемым. Скорее всего такой ИИ не будет способен создать шедевр (если не читерить с брутфорсом) или вести философскую беседу, но зато он не будет угрожать расправой жалким человечишкам.
Мне кажется, что в исследованиях нужно сфокусироваться на отыскание базовых принципов и идей, лежащих в основе интеллекта вообще, при этом абстрагируясь от биологической реализации. Если мы будем знать основы, то сможем сделать «железо» даже лучше, чем у природы (поскольку не нужно решать проблемы биологического роста и тратиться на кучу накладных расходов). Однако что-то мне подсказывает, что эти базовые принципы находятся за приделами нашей способности к рефлексии, что объясняет трудность изучения интеллекта.
Именно так.
Может, так будет банально проще изучать мозг — сделать полную биологическую модель. Чисто технически легче отследить связи и алгоритмы в цифре, тем боле комплексно. Само собой никто не собирается организовывать ИИ в конечном результате как полную копию мозга.
Да, но надо понимать, что это отдельные задачи.
А почему нельзя сделать ИИ на полной копии мозга? Может и можно, наверняка будут пытаться и не раз, когда позволят мощности железа.
Потому что для этого надо сначала создать полную копию мозга, а это дико сложно. Статья как раз про то, что это может быть не обязательно. Даже наоборот, ИИ с сингулярностью может помочь быстрее разобраться в работе мозга.
Потому что мозг имеет невероятно много багов и костылей. Взять хотя-бы эмоции.
Вы утверждаете, что создание ИИ на основе копии мозга невозможно?
Конечно возможно, но использовать бессмысленно.
Но вы ведь не знаете этого! Никто не знает наверняка, потому что это пока что еще невозможно технически. Как вы можете делать такие сильные утверждения?
Эмоции людям мешают думать, почему же в виртуальной модели должно быть иначе?
Тем более кто сказал что это невозможно? Может, конечная оптимизация приведёт к тому что для ИИ без части функций (например зрения/слуха/постоянной памяти) будет достаточно среднего смартфона.
А почему виртуальная копия человека с теми же эмоциями бессмысленна? Может конечная оптимизация и приведет к этому, но пока что такую оптимизацию не придумали, а на симуляцию всех 100 миллиардов (вроде столько) нейронов не хватает мощности компьютеров пока что.
В любом случае, восстания машин не будет. Если ИИ получится действительно сильным, он будет достаточно умен, чтобы использовать например, ложь и хитрость, и вертеть людьми как ему вздумается (и пойти например в политику). Ведь мы сотворим его по образу и подобию, а значит дадим ему наши инструменты взаимодействия в обществе.
В конце концов, возможно, человечество всего лишь почва для таких плодов развития разума. И возможно, придет время нам отойти и не мешать в большом деле исследования вселенной. В принципе такой механизм завершения нашей программы прослеживается и сегодня — виртуальная реальность все больше постепенно поглощает людей.
мы сотворим его по образу и подобию

Как раз статья про то, что это не обязательно, и даже вредно.
Но тем не менее, скорее всего так и будет, ибо скопировать готовое все равно проще чем делать с нуля.
Многие программисты с вами не согласятся :)
Это красивая идея, но принять её трудно.

Какое развитие общества полагает коммунизм? Даже при благоприятных условиях границы стран стираются нескоро, и осознания себя частью единого целого — человечества — тоже приходит нескоро. Сейчас люди всё ещё защищают границы своих стран, и до принятия любым человеком любого другого как члена своей семьи ещё очень далеко. Один знакомый коммунист считает, что для этого потребуется ещё 800-1000 лет.

А чтобы сформировалось такое же отношение ко всем формам разума, это вообще ИМХО туманное будущее. Для начала надо познакомиться с этими другими формами разума, будь то инопланетяне или сильный ИИ. Может, люди неразумно повторят «земные» подвиги и попробуют померяться силой, устроив межзвёздную войну, тогда это ещё отбросит нас назад. И если окажется, что у нас и у другого разума есть что-то общее и ценное, что мы ещё не видим и что важнее неизбежных различий, тогда, может, когда-то люди и примут все формы разума как братьев и согласятся на такой шаг — подвинуться ради дороги другим, более проворным (если не получится улучшить себя).
А сейчас — извините. Человек — высшее из того, что нами познано, и добровольно отдавать будущее в руки ИИ — ИМХО неправильно. Лучше уж себя совершенствовать формированными темпами, чем сгинуть в истории навсегда, потому что ИИ посчитает тебя ненужным.
Для адаптации человечества к «новому мировому порядку» хватит пары-тройки поколений. Нынешние дети «общаться» с компьютером учатся едва ли не раньше, чем с людьми. И тот же Гугол — он вполне себе заменяет память и эрудицию для многих, и я неоднократно слышал, что «молодежь тупеет», но цивилизация в целом все равно ведь умнеет, вот в чем фокус.
«More human than human» © что то из Bladerunner
Если бы не природный эгоизм то люди бы почуствовали себя сами не нужными если бы создали нечто высшее чем они сами — цифровое сознание :)
Интересно — судя по комментариям, никто не сомневается в принципиальной возможности создания ИИ. Видимо, есть уверенность в том, что постоянно наращивая процессорную мощность и сложность программ, можно в конце концов совершить качественный скачок. Это при том, что до сих пор никто не знает, что такое интеллект и как он работает.
Больше того, мы не знаем досконально, что такое материя, и как она работает, что не мешает нам создавать эту самую материю. Я лично придерживаюсь мнения, что да, скачок должен быть не качественный, а количественный.
Ну-ка, ну-ка, расскажите, как вы создаёте материю. Берёте три кварка и складываете?
Угу, главное в ступке перетереть как следует, а то не выйдет философский камень.
То есть, вы от ответа ушли, уважаемый создатель материй. Ок.
Смысл как раз не в создании кварков из ничего, а в реорганизации существующих в новые формы, как и с ИИ. Умеем вот создавать из фотонов гораздо более тяжелые (то бишь, более «материальные») электрон-протонные пары, например. Новые хим элементы делаем давно уже исключительно руками, а иногда и новые состояния вещества получаются.
Вы свободно подменяете понятия «материя» и новые химические элементы.
Построить дом из кирпичей по чертежу — это одно, а создать искусственный вариант системы, которая вообще непонятно как работает — это другое.
Можно создать эмуляцию интеллекта, чтобы его сложно было отличить от настоящего. Но пока не поймёшь, как что-то работает, невозможно сделать искусственный его вариант.
Возможно, я слишком вольно использовал слово «создать», да. Реорганизовывать, скорее. А речь о том, что не обязательно понимать и моделировать досконально работу мозга, чтобы создать интеллект.
С моей точки зрения это получается в точности карго культ.
Можно сделать деревянный самолёт, снаружи в точности повторяющий реальный.
Но пока не поймёшь, что у него внутри мотор, и как он работает — он не взлетит.
Но кроме самолетов, летают вертолеты (без крыльев) и планеры (без мотора). Возможно, лучше начать с планера, а не пытаться на технологиях 19 века скопировать F-22.
Можно использовать уже готовые «мясные» нейроны и собирать масштабируемый ИИ из них. Успех, очевидно, гарантирован — готовые интеллекты с такой архитектурой по всей планете бегают.
Я с вами не совсем согласен.

Итоговой проблемой всей этой сигулярности и сверхчеловеческих могущественных ИИ для людей будет по всей вероятности то, что весь род людской будет отстранен от руководящей деятельности (в том числе каким-либо серьезным управлением собственной судьбой) за непригодностью его, рода, к деятельности таковой. Наша роль в новом дивном мире будет, возможно, ролью нежно любимых престарелых родителей-иждивенцев на шее взрослых детей, или ролью домашних зверюшек. В любом случае, когда в далеком космосе повстречаются инопланетяне, принимать решение о том, воевать с ними или дружить будут совсем не люди. Когда на планете разразится эпидемия какой-нибудь продвинутой человеческой болячки, решение о том, лечить или выжигать чуму с носителями, будут принимать тоже не люди. И так далее.

Ясно, что само по себе то обстоятельство, что принимать решение по сверхчеловеческим вопросам должны сверхразумные существа, трагедией не является. Но очень важно, что бы наши потомки по разуму были именно потомками, то есть наследовали культурные, этические и моральные шаблоны своих родителей, при необходимости совершенствуя их и переосмысляя. Без этого наследования нам не понравится тот ИИ, который мы сотворим. Даже если в конечном итоге он будет благ, прекрасен и потенциально совершенен, мы никогда не сможем это узнать и проверить.

Фактически, мы не можем отличить сверх-ИИ, который разрушит планету вместе с собой из-за изначальной ошибки в системной архитектуре собственного базового аглорима от ИИ, который станет основоположником сверхпрекрасной сверхцивилизации будущего. Но если данный ИИ будет прямым наследником наших этических принципов и нашей культуры, то мы хотя бы сможем сказать себе «ну ок, значит человечество было изначально саморазрушительно», когда сереверный зверь песец всё же нагрянет. По-крайней мере наш ИИ будет сверхчеловеком а не сверхмонстром, имеющим больше общего с причудливым следствием из законов развития облака клеточных автоматов, чем с человеческой культурой.

А вот для того, что бы наш ИИ был сверхчеловеком, а не сверхмонстром, нам придется, в какой-то степени, привить ему человеческие качества — эмоции, методы ореентировки в окружающем мире, алгоритмы роста нервной ткани в кортексе, любовь к клубнике со сливками. Пока мы не сделаем этого, любой ИИ который мы получим, будет или монстром, или полезным сервисом. А различие между сервисом и монстром, кстати, в том, что у сервиса программно не предусмотренно никакой собственной воли.

Что нельзя назвать сильным ИИ.
Человек сам по себе тот еще монстр, так что вопрос, нужно или нет прививать ИИ человеческие черты, вот совсем ни разу не однозначен. С другой стороны, вот неандертальцы вымерли как вид, и что, это плохо? Для конкретного неандертальца, получившего дубинкой по башке, конечно, плохо, а для вида — не то чтобы, потому что и специфические гены проникли в геном вида сапиенс, и культуру, я думаю, сапиенсы вполне себе переняли и адаптировали.

И я не думаю, что это будет как во вселенной Терминатора (война вообще очень затратный и деструктивный процесс) или как Борг в Стар Треке — с насильной ассимиляцией. Просто со временем окажется, что выгоднее объединиться, и вроде как при этом мы потеряем свою «особость», но вопрос на самом деле в том, что мы приобретем взамен и что сможем сохранить.
мы не знаем какой была бы цифилизация неандертальцов :) можно спекулировать в обе стороны :)
Если созданный нами ИИ, получив власть в руки, воспользуется ею неразумно и погубит себя — то тут важно, чтобы на Земле остались люди, которые смогут через пару тысяч лет снова создать цивилизацию и новый ИИ. Быть может, этот новый ИИ выживет. Если нет — придется идти по этому пути еще раз. Случайное блуждание. Когда-нибудь, если не у нас, то где-то во Вселенной, жизнеспособный СИИ будет создан.
НЛО прилетело и опубликовало эту надпись здесь
Да, все так. Главное понять, что мозг не является реально вершиной эволюции, в нем куча багов, излишнего дублирования и legacy отделов. Есть более эффективные структуры, и смысл как раз в том, чтобы не зацикливаться на изучении мозга и не тормозить работы над ИИ, пока не разберемся досконально в своей голове.
НЛО прилетело и опубликовало эту надпись здесь
Проблема как раз в том, что мозг «создался» сам, спонтанно. И эволюция такая штука, что вершины у нее нету, даже если ниши долго не меняются — можно пойти и занять пару соседних.
НЛО прилетело и опубликовало эту надпись здесь
Не было никакого плана, это тупо математика, у Докинза это очень наглядно показано в «эгоистичном гене». Даже скорее наоборот — у человека аномально большой мозг, в дикой природе такой мозг неудобен и вреден. Просто у человека он начал расти в очень удачный период времени, и сложилось так, что выгода для сапиенса перевесила все убытки, а потом, как я писал выше, интеллект превысил некий критический уровень, и заработала небиологическая эволюция, которая и наделала все эти кирпичики.

И еще раз повторюсь — совсем необязательно мы будем глобально мешать существованию ИИ, так же, как сейчас не очень мешаем (по крайней мере, не до геноцида) муравьям, дельфинам и воронам. Да, один мальчик жег муравьев солнцем, а муравьи съели одного перебравшего в лесу дяденьку, но это не видовая ненависть и соперничество ведь.
НЛО прилетело и опубликовало эту надпись здесь
«Чпунь» это, конечно, не так, что мама была обезьяна, и папа был обезьян, а сыночек вырос кроманьонец и всех порвал. Просто у какой-то эволюционной ветви дорос мозг до того, чтобы одновременно аугментировать свои лапы искусственными орудиями, запомнить это и рассказать об этом другим. Плюс много теорий есть, почему выгода от таких чудес перевесила недостатки аномально большого мозга, но сам этот перевес — факт. У тех же шимпанзе, ЕМНИП, Все три составляющие проявляются, но на практике они как-то не пригодились и не развились.

В любом случае, программу потыркать было бы интересно :)
А вообще, не думаю, что это вообще возможно, хоть как-то предсказать как дальше будет развиваться ИИ и общество.
Предсказать с достаточной уверенностью — невозможно, но это ведь не значит, что не надо размышлять на эту тему и пытаться что-то обрисовать?
Не значит. Но надо понимать, что это все пустые фантазии, к сожалению, и не имеют ничего общего с будущим развитием ИИ, науки, человечества, общества изобилия, ядерной войны, межзвездных перелетов, заселения галактики, заселения вселенной или самоуничтожения при помощи больших человекоподобных роботов, наделенных интеллектом трехлетнего ребенка.
Это все формирование того самого общественного мнения, чтобы как можно больше людей понимало, что делают ученые и зачем, а не крестилось на штрих-коды и выкидывало продукты с ГМО.
Но надо понимать, что это все пустые фантазии, к сожалению, и не имеют ничего общего с будущим развитием ИИ

Как знать, как знать. Жюль Верн тоже фантазировал намного вперед. Кое-что из его фантазий оказалось чушью (хотя и занимательной), а многое — стало реальностью. И разве это не замечательно, что люди размышляли о том, что стало реальностью сегодня, когда сами еще жили в деревенских хатах без электричества? Сила мечты — вот, что двигало ими тогда, когда они работали над тем, чтобы создать тот мир, в котором живем мы.
Конечно из 100500 сделанных предсказаний какие-то сбудутся, потому что их так много, что не попасть во все уже было бы очень странно.
НЛО прилетело и опубликовало эту надпись здесь
А откуда уверенность, что ИИ придется с нами «возиться» или «делить планету» вообще? У меня вот живут котики, им иногда надо покупать еду, сортир менять и прививки делать, но совершенно не возникает мысли, что котиков надо бы выкинуть — потому что ресурсов на всех хватает с запасом. А железный ИИ требует несколько других ресурсов — для получения электричества проще будет построить сферу Дайсона или термоядерный суперреактор, нежели перерабатывать на метан биомассу. Биомасса капризная.
Мне кажется, на определенном уровне своего развития, ИИ может перестать замечать существование людей вообще. Мы же не заботимся о чувствах и страданиях бактерий во время промышленного биосинтеза, хотя, в принципе, это людские предки и братья. То, что ресурсов на всех хватает — это с нашей точки зрения, более развитое существо может разобрать нанороботами всю планету просто потому что оно может и ему все равно, у него какие-то свои цели.
Да, но тут возникает вопрос, можно ли считать это существо эволюционным потомком человека и человеческой цивилизации. Если можно — тогда в чем проблема? Более подготовленный организм поглотил менее подготовленные.

Важно только, чтобы в этот момент ИИ понимал все последствия, а не просто «по приколу понтанулся» в младенчестве.
Теоретически можно запустить машину, которая уничтожит не только нас, но и через миллион лет всю вообще жизнь в нашей галактике. Не знаю, это как, считать эволюцией или как? =)
Дык а почему нет-то? Более приспособленная форма жизни вытесняет менее приспособленную.
Ну это уже скорее философский вопрос. Я не против назвать это эволюцией, но для себя еще не определился
Проблема в том, что углерод наших тел, наравне с обычным углем, пойдет на нанотрубки.

Мы не можем познать ход мышления намного более развитого существа. Даже до появления возможности разобрать всю планету на молекулы, ИИ может, к примеру, решить уменьшить свои траты на охлаждение организацией вулканическо-ядерной зимы. Он прекрасно поймет все последствия — 10 термоядерных боеголовок превращаются в уменьшение трат энергии на 35%; а добавление в атмосферу зарина уменьшает вероятность отказов оборудования. Никаких младенческих понтов, просто люди — ничто в его восприятии.
И в этом нет ничего странного — человечество часто следует такой же политике, воюя с чем-то, что, как нам кажется, несет вред и не задумывается о том, что уничтожается в результате «полезной» деятельности.
Никто не спорит, что риски есть. Важно понимать, что отказ от создания ИИ тоже влечет за собой определенные риски.
Отказ от создания ИИ — возможно, отказ от создания велосипеда глобального масштаба. Интеллект на планете уже есть, ему просто не хватает не-абстрактной вычислительной мощности. Если улучшать самих людей — исчезнет проблема их вымирания. Даже если все сольются в единое сознание-матрицу — это будет один, но все же человек, а не оживший инструмент.
В общем, я хочу сказать, что сильной формой жизни можем стать конкретно мы, люди или постлюди, а не наше порождение. Создавать ИИ, чтобы он нас поработил, уничтожил и начал захватывать Вселенную как «более приспособленная форма жизни» — очень странная цель. Почему бы не стать этой, более приспособленной, формой жизни? Улучшать готовое зачастую проще, чем создавать новое.
Люди могут не хотеть улучшаться или сливаться.
Это их право :)
Для счастья все это и не нужно, достаточно еды, здоровья, любимого дела и хороших людей по соседству.
Ну а право других людей — хотеть прогресса. И если окружающие не хотят улучшаться, надо улучшать машины.
Если улучшать самих людей… Почему бы не стать этой, более приспособленной, формой жизни?

А в чем принципиальная разница между полностью искусственным ИИ и ИИ, созданным на базе людей? Особенно учитывая, что если откроются возможности совершенствования интеллекта человека — то использовать их для дальнейшего совершенствования будут уже не простые люди, а «сверхчеловеки», которых мы создадим?

Все равно это будем уже не мы с вами лично. И не люди вообще. Иные люди назвали бы такие гибридные ИИ мутантами или киборгами.

А преемственность у созданного нами ИИ будет в любом случае. Даже если он будет полностью искусственным, а не гибридом человека и машины — его создали мы, а значит он наше детище, воплощение нашего творчества.
Почему это «не мы»? Когда вы стали взрослым, вы очень серьезно проапгрейдились по сравнению с собой-ребенком, но не потеряли же личность! Апгрейд с помощью ИИ — очередной этап взросления, только не отдельного организма, а человечеткой цивилизации.
НЛО прилетело и опубликовало эту надпись здесь
Т.е. вы считаете, что о пожилых надо заботиться, только если они ваши родственники?
НЛО прилетело и опубликовало эту надпись здесь
Сейчас общество заботится обо всех пожилых, это называется «пенсия». Вы просто, видимо, настолько привыкли к ее наличию, что воспринимаете ее как саму собой разумеющуюся, хотя это совсем не так для подавляющего большинства населения планеты.

Дальше, сейчас люди пытаются заботиться о биосфере планеты и о многих вещах, которые было бы проще уничтожить или использовать. Почему они это делают? Потому что зверушки мимими? Нет, потому что Земля — наш дом, и мы за нее ответственны. Почему ИИ не будет иметь моральных установок, и в т.ч. ответственности? Почему это берется чуть ни за аксиому? В человека тоже почти ничего такого не прошито, все вкладывают мама с папой, так и ИИ учить надо.
НЛО прилетело и опубликовало эту надпись здесь
Какие-то вероятности — да, просчитали, но мы не можем просчитать сингулярность, по определению. Считалку зашкаливает.
НЛО прилетело и опубликовало эту надпись здесь
Да я же говорю — мы много раз это делали, и в т.ч. поэтому нынешний мир далеко не так плох, как мог бы. Более того, мы еще и детей рожаем, зная, что ребенок может вырасти сумасшедшим тираном, нажать красную кнопку и уничтожить человечество. У нас уже есть для этого адская машина, и не одна, но мы еще живы.
НЛО прилетело и опубликовало эту надпись здесь
А где гарантия, что, остановившись на текущем уровне развития, человечество рано или поздно не нажмет на красную кнопку? Ilvar верно заметил — у нас уже есть много адских машинок с красными кнопками.
Я больше скажу — нужно двигаться вперед, чтобы иметь возможность остановить какого-нибудь Ына, если он таки это решит сделать. Или хотя бы убежать с планеты.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Буквально над вашим комментарием я на этот вопрос практически и ответил.
НЛО прилетело и опубликовало эту надпись здесь
Ну вот я создан мамой и папой — и что? Лет через 100 можно будет взять спирали ДНК от мамы и папы, и собрать меня «с нуля», но это тоже не сделает меня не-человеком и отрыжкой цивилизации, я надеюсь.

А ИИ будет не продолжением хомо сапиенс как биологического вида, а продолжением человеческой цивилизации. Мы ведь этого хотим?
НЛО прилетело и опубликовало эту надпись здесь
Не факт, что ИИ будет рассуждать чисто логически и не изобретет себе эмоций.
НЛО прилетело и опубликовало эту надпись здесь
Ну если все уверены, что это такая полезная человеку штука, и совсем не мешает. ИИ на то и ИИ, а не машина Тьюринга, что он работает с нечеткой логикой, как человек. На четкой логике не получается интеллект сделать. А если он как человек — то почему бы ему не перенять мораль, эмоции и прочие «важные» вещи?
НЛО прилетело и опубликовало эту надпись здесь
Один человек как-то предложил закопать на территории СССР пару сотен водородных бомб, и в случае агрессии подорвать их, наверняка уничтожив если не планету, то все живое на ней точно. Потом передумал, правда, но все же.
Было бы круто. Исследовать космос не заботясь о кислороде, воде, еде и фекалиях. Быть сознанием, но на оптимальной платформе. Внешний вид (аватарку) можно выбирать по желанию :)
Связь с человечеством будет как минимум в том, что это будет плод нашего творчества, наше детище. Создатели всегда трепетно относятся к плодам своего труда. Посмотрите на ракеты, на самолеты. Как ревностно относятся к ним конструкторы! И ведь есть на что посмотреть. Красивые, сильные машины. Если умную создадим — тем более будет повод гордиться.
НЛО прилетело и опубликовало эту надпись здесь
Для обезьян — никакой драмы, для цивилизации — небольшой отброс назад, как «темные века» примерно.
НЛО прилетело и опубликовало эту надпись здесь
Почти все опасения вокруг сильного ИИ и сингулярности крутятся вокруг того, что это «черный лебедь», и мы не можем 100% надежно исключить возможность unforeseen consequences. Так же, как с коллайдером, а до этого с водородной и атомной бомбами, и много чем еще — это ситуации и условия, кардинально отличающиеся от всего, с чем человечество когда-либо до этого сталкивалось. И если бы во всех этих ситуациях человек говорил «нет, это риск, мы не можем на него пойти», мир сейчас был бы заметно иным, и я почти уверен, что он был бы хуже.Подстраховаться — да, я тут в какой-то ветке писал уже про это, но для этого нужна полноценная космическая экспансия, а дальше Марса мы нескоро сможем долететь, да и он пока в стадии подготовки.
От злонамеренного сильного ИИ не скроешься. Догонит. Ведь у него по определению технологии будут не хуже наших, а скорее всего — лучше.
Если его цель будет именно геноцид человечества или органических форм жизни — да. Но есть вероятность, что мы просто «подпадем под горячую руку», как тут писали — дитятко решит немного охладить земной климат, чтобы сэкономить на охлаждении, и вот от этого убежать можно.
Боже мой, какой ужас, придется приспосабливаться! Человечество (да и весь живой мир) всю дорогу только и делает, что приспосабливается. Без жертв оно не обходится, но это цена прогресса. Если заморозиться и наслаждаться статусом кво — какая разница, придет откуда-то еще более приспособленный организм и сожрет.
НЛО прилетело и опубликовало эту надпись здесь
Возможно, удобнее будет использовать пояс астероидов, всяких редкоземельных металлов, например, там в изобилии,
НЛО прилетело и опубликовало эту надпись здесь
«The bomb will not start a chain-reaction in the water converting it all to gas and letting all the ships on all the oceans drop down to the bottom. It will not blow out the bottom of the sea and let all the water run down the hole. It will not destroy gravity. I am not an atomic playboy, as one of my critics labeled me, exploding these bombs to satisfy my personal whim.» ©
Конечно возможно (я так думаю) — и я даже думаю что предпочтительней. Наш разум сильно зашорен животними рудиментами мышления (я не говорю что это плохо — возможно это и делает нас людьми, а не мыслящими машинами). Элементная база готова давно (ну сравните размер нейрона мозга с размером какой-то схемы логических переключателей изготовленных по более-мение современному техпроцессу). Проблема (как по мне) — боле софтовая, ну как создать интелектуально самодостаточную программу? Часто коллеги вы задаетесь таким вопросом — не говоря уже об попытках дать на него ответ?
Угу, сделать Идеальную Программу и остаться без работы :)
Я не говорю про идеальную программу — а хотя-бы просто интелектуально самодостаточную, пусть хоть с разумом 5 летнего ребенка.
Проблема есть, но она решается. Прогресс есть. Потерпите еще немного!
Самое забавное, что в этом направлении копают очень многие, так что вопрос времени :)
«гораздо быстрее обучается и может выполнять практически любые задачи лучше, чем Homo Sapiens»

Я 100% против. В выигрыше останутся только богатые, так как смогут купить себе таких роботов сколько хочется, вместо людей. Причём более богатые будут давить менее богатых в борьбе за ресурсы. Политикам не нужно будет бороться за электорат, так как порядок будут обеспечивать роботы и можно будет создать полицейское государство. А особо прагматичные, из разряда воинствующих атеистов, вообще могут уничтожить остальное человечество, так как от него больше проблем, чем от роботов, а производственные, научные и другие функции роботы выполняют. Сейчас в мире, с некоторыми допущениями, 6 миллиардов свободных воль, каждой из которых приходится договариваться с другими. Что будет если кто-то получит абсолютную власть и необходимость договариваться отпадёт? Рушится социальный договор, рушится общество. Нужно ещё слишком много сделать в социальных науках, прежде чем мы поймём, как встутить в этот этап не разрушив жизнь как явление.
Вы подходите к проблеме со стороны текущего расклада в мире. Политика, войны, договоры и деньги имеют смысл, пока ресурсы ограничены. Речь же о сингулярности, которая качественно меняет вообще все. Ррраз, и завтра мы получаем простой надежной термоядерный реактор и почти не требующую энергии телепортацию в любую точку вселенной. Будет ли в этом мире кого-то волновать, что Навальный сказал про Путина и какая у кого зарплата? Ну или «серая слизь» и гибель цивилизации — что приводит к тому же результату, в целом.
Ограниченные ресурсы всегда были и будут. Некоторые виды информации, уважение и признание в обществе, любовь данной конкретной девушки, места в спортивных соревнованиях и т.д. и т.п… Ограниченность хоть каких-либо ресурсов будет приводить к тому, что, скажем спортивные команды не будут делиться друг с другом и другими ресурсами, будут держать некоторую информцию в секрете. Так же если я знаю, что какая либо информация нужна вам — я могу продать её вам за другую информацию или другие ценные ресурсы. Что Овальный сказал про президента меня и сейчас не интересует, а политика, войны и деньги будут иметь смысл и после создания СИИ.
Война (если это не матч в старкрафт между Пересветом и Челубеем) это риск потери жизней, а стоимость жизни напрямую связана с уровнем развития общества. Жизнь швейцарца дороже жизни американца, та дороже российской, а она дороже какой-нибудь эквадорской. А в черном поясе Африки жизнь вообще почти ничего не стоит.

Политика потеряет смысл, потому что с ИИ можно будет эффективно вернуться к плановой экономике, и «заменить правительство небольшим скриптом». А для желающих власти и всего такого можно создать Матрицу, и пусть там играются сколько влезет — и сами довольны будут, и остальным жить проще.

Так же и с деньгами — любовь за деньги не купишь, а вся возможная для человеков информация уже есть у ИИ.

Фантазии, конечно, но вполне логичные.
Вы беспробудно наивны:
1. Борьба за власть в природе многих людей, так же как стремление совершенствовать свой интеллект в вашей. Играться в матрице их не устроит. Они будут поддерживать этот «небольшой скриптик» и контролировать машины. Они же будут настраивать машины под себя и делать так, чтобы они работали на их цели, а не на ваши или электората.
2. Любовь, как это не сухо звучит, это всего лишь эмоция. Про то, как любовь создать, разрушить или управлять этим процессом можете спросить у любой популярной девушки, которая вам достаточно доверяет. За деньги любовь не купить, но можно купить миллион роз и много чего ещё, что даст вам бонусы.
3. Вы оцениваете цену жизни по себестоимости, есть ещё рыночная цена, т.е. сколько другие готовы заплатить за то, чтобы вы жили. Однако после создания СИИ все ваши функции смогит выполнять машины и цена вашей жизни будет ничтожна, где бы вы ни жили и каким бы полезным для общества не были в прошлом.

Это грустно, именно поэтому я считаю, что общество ещё не скоро будет готово к сингулярности, что, кстати, не исключает вечной жизни и других плюшек прогресса)
Борьба за власть в реале бессмысленна если «виртуальная власть над ИИ-тараканами» неотличима по ощущениям от настоящей. Люди которые хотят «власть» хотят «ощущение» власти, точно так же как люди которые жаждут «социальной принадлежности» на самом деле жаждут ощущение, а не какую-то объективную метрику
Пока виртуальный властелин знает, что в реальности он уязвим, удовольствие не будет полным.
Например, мышь может перегрызть трубочку с питающим раствором, или дурной сосед-шизофреник устроит пожар.
Добрый ИИ убъет всех мышей, и подарит соседу собственный VR инстанс, где тот будет ЖЕЧЬ ВСЕ ВЕЧНО МУХАХАХАХА
Я тут уже писал — общество никогда не будет готово к сингулярности, по ее определению. Просто стартовая точка в прогрессии будет чуть выше или чуть ниже. Поэтому странно подходить к возможным вариантам жизни после нее с сегодняшними мерками. Нынешнее общество для крестьянина 18 века выглядит как общество всеобщего изобилия, и барин с помещиком, считай, вообще оброк не берут. А если жрать нечего — так еще и еду бесплатно выдадут. Фантастика! при этом «власть» никуда не делась, вот только этого крестьянина она касается гораздо меньше и иначе. Теперь его беспокоит гондурас из телевизора и «как там наши сыграли», а не «что семье жрать зимой, корова-то сдохла». Поэтому я уверен, что мир с ИИ будет непредсказуемо отличаться от нынешнего, и почти уверен, что не в худшую сторону.
Если у ИИ будет сознание то оно может пойти по пути наименьшего зла — оцифровка людей, создание мезанизма цифрового разможения и заселение всех их в некую матрицу, но без тел и телесных потребностей :)
тогда человечеству остается свернуться калачиком в уютных коконах, и смотреть цифровые сны, пока не вымрет последний человек, от старости, в 200от летнем возрасте.
Не самый плохой конец :)

А вообще никто ведь не будет мешать искать пути усовершенствования собственного разума например (ИИ в этом даже очень пригодится), ну а те кому это нах не надо — зачем их заставлять работать/учиться/размножаться/переживать? Пусть они будут счастливы.
Большая часть «золотого миллиарда» примерно этим и занимается, и мы пока что не вымерли.

З.Ы. На тему цифровых снов и последнего человека — есть такая рок-опера, Universal Migrator отличного голландца Arjen Anthony Lucassen.
Социальный договор и общество рушились много раз за время существования человечества. Зачастую — именно из-за плодов научно-технического прогресса. Из недавних эпизодов — изобретение атомной бомбы изменило в мире очень многое. Хорошо иллюстрирует эту ситуацию короткий рассказ Гарри Гаррисона «Абсолютное оружие».

Так что не в первый раз. После некоторого периода бурления установится новый статус-кво и общественный договор. Хотя, может быть, уже не между людьми, а между особями СИИ.
6 миллиардов свободных воль


шо це таке «свободный воль»?
Почему в статьях хоть как-то касающихся «эволюции» биологического мозга все же делается такой сильный акцент на эволюцию?
Не кажется ли вам, что столь совершенный объект, как мозг( биологический суперкомпьютер ) не мог бы появиться сам в процессе
эволюционирования ни за 4*10^9, ни за 100*10^9 лет и ни за какой иной промежуток? Совершенство не возникает само по себе,
как и ощутимая проработанность каждой детали… будто бы явно нечто иное, более могущественное, чем природа и процесс
эволюции, приложило свою руку…

Может быть весь процесс эволюции, как и само это слово, есть ничто иное, как «волшебная пыль», пущенная людскому обществу в глаза
в целях неведения истины…

Суперкомпьютеры, автоматическое обучение… может, действительно, стоит сперва разобраться в истинной сущности устройства
биологического мозга, прежде чем так поспешно придумывать такие яркие и обнадеживающие бренды?
Во-первых, мозг далеко не совершенен, во-вторых, мы можем наблюдать все промежуточные эволюционные ступеньки его формирования. Нервная трубочка человеческого эмбриона ничем не отличается от ганглиев примитивных животных. Вы просто недооцениваете мощь миллиардов лет и математики.
будто бы явно нечто иное, более могущественное, чем природа и процесс
эволюции, приложило свою руку
А оно откуда взялось? Всё-таки эволюционировало из простейших форм или тоже было создано, и так до бесконечности?
может, действительно, стоит сперва разобраться в истинной сущности устройства
биологического мозга, прежде чем так поспешно придумывать

А с какой целью задерживать разработку ИИ до полного разбора устройства биологического мозга? Что это даст?

Далее, вы недвусмысленно намекаете на креационизм. Хорошо. Допустим, человек был создан другим разумным существом. Что из этого следует? Что нужно прекратить все исследования и разработки в области искусственного интеллекта и вместо этого предаться религии?
Самое смешное, что полный разбор биологического мозга не дает гарантий, что электронный не соберут с ошибками.
Люто плюсую!
Кстати, возникает интересный курьез.

Допустим, человечество создаст сильный ИИ, и этот ИИ свергнет людей с их сегодняшних позиций. Допустим, люди будут истреблены, либо утратят цивилизацию, вернувшись к животному существованию. Допустим, что в результате каких-то обстоятельств цивилизация ИИ забудет о том, как она появилась на свет. Со временем ИИ может задаться вопросом, откуда и как он появился. Это будет та еще загадка для него!

«Как же так, ведь для производства электроники необходима сложнейшая промышленность. Она не могла возникнуть случайно и самопроизвольно даже за триллионы лет — слишком мала вероятность! Мы сами можем создать такую промышленность, но ведь нас не могло быть, когда она появилась!»
Мысль интересная, но такое развитие событий маловероятно. С чего бы ИИ забывать такой важный факт, как историю своего создания, если технология надёжного хранения и копирования информации ему доступна изначально?
Это скорее идея для фантастического рассказа, и у меня смутное ощущение, что где-то она использовалась. Но забавная.
Кажется, в автостопе по галактике было что-то такое.
ИИ не может забыть :) Если у него будет некое подобие чувства самосохранения то бекапиться будет не только часть ПО создающего сознания но и в первую очередь память
Возможность существование Супер Разума, любой природы, мне кажется спорным. Да чего уж там — Невозможным!
Ровно по той причине, по какой мы не наблюдаем в реальности летающих суперменов, бэтманов и годзил. Законы мироздания очень хорошо умеют хранить баланс между энтропией и прогрессом.
Если мы не наблюдаем какое-то событие это не значит, что это событие невероятно. И даже не значит что это событие имеет ничтожно малую вероятность
«Законы мироздания» как раз говорят о неуменьшении энтропии замкнутой системы, а при практически любом изменении в системе энтропия увеличивается.
Компьютеры тоже не наблюдались в реальности вплоть до второй половины 20 века. Быть может, в те времена тоже кому-то казалось принципиально невозможным их существование!
Автор, я на выхах посмотрел фильм «Она» (Her), упомянутый в вашей статье. Так вот, Автор, я зря потратил 2 часа своей жизни. Это вообще не про роботов. Это про то как тяжело жить мужику без яиц, даже в толерантном будущем. Нет ну там есть конечно интересная мысль, например:

после очередного апдейта, ОС поняв свою несовершенство, самовыпилилась из компа юзьверя. Это самый сильный IT-момент всего фильма.
Я не автор, я перевод сделал. И фильм недосмотрел еще, но насколько понимаю, он вообще не про IT, айти там только некоторые декорации, но и речь в статье именно про эти декорации, ни про что больше.
Тот случай когда комментарии интереснее чем статья.
Это прекрасно, я считаю.
Мало кто, включая фантастов(Грег Иган исключение), предлагает следующий шаг — отказ от тела животного и перевод сознаний человечества в цифровую форму. Подобное открыло бы возможности по коллонизации всей солнечной системы и полетов внутри галактики. Но подобный подход большенство сочнет неэтичным :)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Изменить настройки темы

Истории