Comments 121
Пожалуй, мой любимый образ технологической сингулярности — мир комикса Transmetropolitan. Возможно, потому что он следует какой-то (ожидаемой) неизменности человеческой природы — мир питается энергией Солнца, которую передают огромные станции на Меркурии, вокруг летают наноботы, у каждого в кармане мини-мейкер, можно пересадить себе на лицо аггрессивный зубастый рак (было модно в прошлом месяце, сейчас уже олдскул) — но люди остаются людьми. Жадными, глупыми, похотливыми, сочувствующими — разными. Но в основном — почти такими же, как сейчас.
Сингулярность подразумевает непостижимость для человека пути, по которому пойдёт технический прогресс после вступления в игру полноценного ИИ.
На возможность предсказывать будущее сингулярность никак не повлияет: её и так нет. Люди говорят о сингулярности так, словно до неё все дни наперёд расписаны, а потом начинается мрак — ещё один bias восприятия.
он следует какой-то (ожидаемой) неизменности человеческой природы
Подкрепляет bias, всё верно. Это нормально — весь фикшн строится на архетипах, то есть, узнавание — необходимая часть искусства. Но именно поэтому не стоит путать искусство с наукой: искусство — это как сны, переживание существующего опыта. У науки не может быть никаких якорей, кроме принципов научного метода, и она должна следовать туда, куда открываются пути.
А когда прошлый опыт проецируется в будущее, то получаются вещие сны, космооперы и технологическая сингулярность и. Опять же, не имею ничего против, пока сайфай не путают с научными прогнозами.
А технологическая сингулярность просто заплутала немного, и с территории мифов забрела на пространство науки.
На возможность предсказывать будущее сингулярность никак не повлияет: её и так нет.
Ну, предсказывать абсолютно точно — понятно, что нет, а вот предсказывать хоть как-то, с погрешностями все-таки получается, иначе бы никакое планирование было бы невозможно в принципе.
Вполне успешно можно предсказать, что зима закончится и начнется лето. За редким исключением вполне точно.
Возвращаясь к НФ — мне лично не нравится фантастика, в которой будущее — это просто "раздутое прошлое". Типа сейчас корабли маленькие и летают медленно — значит в будущем будут размером в километр и летать быстро; все эти космооперы и логарифмические линейки в космосе — не, спасибо. На таком фоне Transmetropolitan, Accelerando или Схизматрица смотрятся как-то более правдоподобно.
предсказывать хоть как-то, с погрешностями все-таки получается, иначе бы никакое планирование было бы невозможно в принципе.
А вам известно много успешных примеров планирования?
Вполне успешно можно предсказать, что зима закончится и начнется лето
Это не планирование, а наблюдение. Вы можете планировать свой гардероб с учётом этого обстоятельства, но оценивали ли вы погрешность вашего плана даже на основе такого «железного» фактора, как смена сезонов? Например, гарантию того, что череда тёплых зим не даст вам толком поносить шубу, на которую вы взяли кредит, до того, как её сожрёт моль?
Естественно, что вы будете находить подтверждения идее технологической сингулярности, пока вы рассматриваете её в границах, обусловленных естественными человеческими заблуждений, в которых она и была рождена.
Чтобы вести разговор за пределами дозволенного вашими байасами:
- Определите параметры прогноза: область и дальность.
- Определите степень погрешности, с которой возможен подобный прогноз.
- Определите изменение погрешности с учётом фактора ИИ.
Даже после определения границ (1) и оценки точности (2) — вы не сможете дать оценку изменениям (3), потому что для оценки влияния фактора ИИ — вам нужно измерить его вес в общей массе неизвестного, а для этого иметь представление о том, что из себя ИИ представлять будет. Готовы к подобному челленджу?
Сейчас все дискуссии о технологической сингулярности построены вокруг премиса «в будущем, о котором нам доступны только предположения с погрешностью, степень которой нам неизвестна, произойдёт КОНКРЕТНОЕ СОБЫТИЕ, которое ИЗМЕНИТ ВСЁ».
Это не прогноз, а пророчество.
Это не планирование, а наблюдение.
Ну, строго говоря, наблюдение — это «после зимы приходит лето». А мысль о том, что после этой зимы скорее всего тоже придет лето — это уже прогнозирование методом простой экстраполяции.
А вам известно много успешных примеров планирования?
Нуу… В магазинах не заканчиваются товары (регулярно), космические корабли долетают до цели (довольно часто), люди выбирают профессии и работают потом по специальности (иногда).
Т.е. планирование в частных случаях — вполне возможно и даже неизбежно, человеческий мозг «заточен» на поиск закономерностей. В основном — простых, линейных зависимостей и простых причинно-следственных связей.
Но вообще моя точка зрения на технологическую сингулярность примерно такая — будущее в общем случае непредсказуемо, технологическая сингулярность — это «вознесение для гиков», почти все разговоры на эту тему — спекуляция почище валютных рынков.
Поэтому единственный полезный выхлоп из этой темы — научная фантастика :) В которой лично мне просто хочется большего разнообразия тем, а не только пережевывания антропоморфизмов и космических империй.
Это я к тому, что можно меня не убеждать, что планирование будущего невозможно, я в целом с этим согласен.
В магазинах не заканчиваются товары (регулярно)
А уроки в школах проходят по расписанию. Это всё прогнозы, основанные на экстраполяции.
Как только речь заходит о планировании, не основанном на простом продолжении того, что уже происходит и так, а включающее новую сущность — например, замену существенной доли ассортимента новым товаром, по которому у вас нет статистики продаж — и оценка рисков, внезапно, вырастает до космических высот.
Ваша уверенность в простоте правил игры — это ошибка выжившего, которому не знакомо, как сложно, например, выжить новому продукту в битве за места на прилавках.
А я держал в уме ставшую уже меметичной точность планирования бюджета и сроков в строительстве.
Ваша уверенность в простоте правил игры — это ошибка выжившего, которому не знакомо, как сложно, например, выжить новому продукту в битве за места на прилавках.
Где ж вы уверенность-то увидели, уважаемый? Вы просили примернов — я их привел. Даже снабдил типа ироничными комментариями, как бы намекая, что они не являются эталонными примерами человеческой прозорливости.
Нету у меня никакой уверенности, что вы. Я прекрасно понимаю, что мир запредельно, чудовищно сложен, что человеческий разум (по крайней мере, мой), не в силах объять даже его малую часть.
Наш удел — плоскости без трения, идеальный газ и ламинарное течение.
Сможет ли сильный ИИ предсказывать лучше? Да черт его знает. Может, он уже давным-давно нас поглотил, вместо всей солнечной системы давно крутится облако нанороботов, а мы все — симуляция из-за какой-нибудь богом забытой процедуры у него в исходниках.
А может, мы находимся в "медленной зоне" Винджа, сильный ИИ и сверхсветовое движение тут невозможны и лет через -ндцать наша цивилизация рухнет под собственным весом, неспособная совладать с собственной сложностью.
Рассуждать об этом серьезно, на мой взгляд, так же бессмысленно, как и всерьез обсуждать, сколько ангелов могут танцевать на булавочной головке.
Рассуждать об этом серьезно, на мой взгляд, так же бессмысленно
О чём об этом? О чём, по-вашему, моя запись?
Сможет ли сильный ИИ предсказывать лучше
Точно не об этом. Прогностические способности ИИ — это новый поворот разговора.
О чём об этом?
О технологической сингулярности вообще и о сильном ИИ в частности.
О технологической сингулярности
Да, рассуждать о технологической сингулярности бессмысленно — доказательству этого и посвящена моя запись. У нас по этому пункту согласие, получается?
А вот доказывать бессмысленность рассуждений о технологической сингулярности — очень даже нужно, потому что количество этих рассуждений и выводов, основанных на совершенно ложной предпосылке до сих пор только росло.
о сильном ИИ в частности
Это ещё с какой стати? Обсуждать непонятное актуально до тех пор, пока оно не станет понятным.
У нас по этому пункту согласие, получается?
Верно.
А вот доказывать бессмысленность рассуждений о технологической сингулярности — очень даже нужно, потому что количество этих рассуждений и выводов, основанных на совершенно ложной предпосылке до сих пор только росло.
Это ещё с какой стати? Обсуждать непонятное актуально до тех пор, пока оно не станет понятным.
И то и другое — просто мое мнение, я не претендую на знание истины. Поэтому нужно или не нужно — каждый решает для себя сам.
На мой взгляд, обсуждение в формате простых разговоров скорее всего будет бесполезно, слишком неформализованно; полезная информация тонет в шуме интерпретаций и многозначных слов.
Вот мы с вами вроде как были согласны по одному пункту — но сколько нам потребовалось написать текста, чтобы в этом удостовериться? :)
С тем же успехом можно выяснять, что такое "синий цвет" и одинаково ли мы с вами его понимаем.
Все разговоры на тему ТС и сильного ИИ — просто философия, не лучше богословия. А уж разговоры о разговорах...
Соответственно, на этом я бы предложил разговор прекратить. Я, в принципе, сказал, что хотел, и не вижу, как наша дискуссия может привести к чему-то полезному. Спасибо за статью :)
Сингулярность подразумевает непостижимость для человека пути, по которому пойдёт технический прогресс после вступления в игру полноценного ИИ.
Почему же?
То, что прогресс пойдет с меньшими человеческими интеллектуальными затратами — вполне возможно.
То, что переделается вся экономика — возможно.
То, что через определенное время, никакого образования не хватит, чтобы обогнать специализированный ИИ в какой-то области — так и сейчас такое можно найти.
Но непостижимость — это как?
В лучшем случае ИИ ограничится псевдо-объяснениями, которые будут выглядеть правдоподобно, для тех, кому адресовано.
мы не сможем объяснить братьям нашим меньшим в их терминах наши интересы
У вас логика backwards: животные не спрашивают про ваши интересы, потому что это не входит в область их интересов. Как раз-таки в том, чтобы понять интересы животных и удовлетворить их в понятной животным форме нет ничего сложного — на этом вся дрессировка держится.
Так же и ИИ сможет легко использовать людей в своих интересах, манипулируя идеологией, верой, моралью и прочими интересами. Цели конечной только, ни кто из людей не поймет.
Предположение, что мыслящее создание небиологической природы будет использовать людей как люди животных — типичная проекция, о которой я и писал:
IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.
Но не объясняет животным цели мероприятия
Только если он не ебанутый, конечно.
Вы в состоянии перестать проецировать на животных несчастного себя и понять, что у животных к дрессировщику в принципе нет вопросов вроде «для чего всё это?» за пределами его собственных, животного, интересов, которые дрессировщику прекрасно известны, и им удовлетворяются, иначе бы дрессировки никакой не вышло?
Если у животного можно было спросить, зачем оно ходит на задних лапах, то ответом было бы «потому что это рабочий способ добычи нямки».
Если вы считаете это псевдообъяснением, то попробуйте сообщить животным правду, раскрыть глаза на то, как их инстинктами люди манипулируют в своих интересах. Удачи.
Предположение, что мыслящее создание небиологической природы будет использовать людей как люди животных — типичная проекция
Не как «животных», как ресурс, простой обезличенный ресурс.
Аналогия уже есть, это корпорации. Корпорация руководствуется аналогом ИИ, группой аналитиков. Цель увеличение прибыли компании. Ресурс люди, как свои сотрудники, так и клиенты и конкуренты. Для каждого формируются программы управления определенные. Цель программы не говорится, или формально указывается «забота о клиентах и добро», а реально цели совсем иные.
Думаю и корпорации первыми внедрят ИИ и переведут полное управление ему. Кто первый создаст сильный ИИ, тот станет править миром (максимизирует прибыль).
Вы просто очередной пророк, пытающийся запугать дикарей тем, что луну однажды съест гигантский волк — и даже если вы сами искренне боитесь этого волка, то это вашему интеллекту чести не приносит.
Миллиардер назвал искусственный интеллект «самым большим риском, с которым мы сталкиваемся как цивилизация»
Основатель компаний SpaceX и Tesla Илон Маск назвал искусственный интеллект «самым большим риском, с которым мы (человечество) сталкиваемся как цивилизация», сообщает журнал Fortune со ссылкой на заявление предпринимателя на встрече Национальной ассоциации губернаторов. Он призвал правительство к быстрому и решительному вмешательству в ситуацию, сложившуюся в технологической отрасли.
Бизнесмен пояснил, что компании, устраивая гонку за более передовыми технологиями, могут забыть про те опасности, которые исходят от искусственного интеллекта. По мнению миллиардера, сдержать разработчиков в погоне за все более совершенным искусственным интеллектом способно лишь государственное регулирование в этой отрасли.
Стивен Хокинг увидел в искусственном интеллекте угрозу гибели человечества
Основатель компании Microsoft Билл Гейтс признал, что человечество должно быть обеспокоено развитием технологий искусственного интеллекта. Об этом он заявил в ходе онлайн-чата с пользователями сервиса Reddit.
…
С животными не так всё просто, как принято думать
А впрочем, хорошая аналогия. Действительно, машина не может понять человека (это очевидно как минимум для нынешних машин), а человек не может понять машину (настолько много вычислений человек не тянет).
Мир собаки только надо нарисовать в 100 раз меньше. У мозга весом в 300 грамм и очень тонкой корой "внутренний мир" будет поменьше. У кошки еще меньше. У червя с 300 нейронами, причем медленными хладнокровными еще меньше, менее 1 пикселя на рисунки.
И по моим впечатлениям, хороший кинолог поймет 99% внутреннего мира собаки, все их мысли, желания и интересы. То есть собака сама не поняла что будет делать, а дрессировщик уже понял и поощряет или предотвращает действие в зародыше. Запахи и звуки что воспринимают собаки нам недоступны (да и не нужны, только шум лишний, типа информационного спама), но что собака побежит нюхать куст и потом пометит его, это можно сказать на 99%.
С ИИ может быть аналогия в другую сторону. По своему опыту ИИ может предсказать реакцию людей и управлять ей. Например при продвижении продукта какого-то. А человек может не понять стратегию выбранную ИИ.
Как при игре в Го, тут пробуют понять как думает ИИ играя в Го, в чем-то похож на человека, в чем-то нет. Там речь о новой версии ИИ, который самообучался без учета опыта человека, настоящий чужеродный интеллект и думает иногда необычно (непонятная стратегия, но выигрышная). А иногда так же, как человек.
Есть такая игра: надо взять распространенное утверждение и перевернуть его с ног на голову, после чего тщательно обосновать полученное. (с)
Я тоже люблю играть в такую игру. Не спора ради, но ведь интересно взглянуть с другой стороны.
Мир собаки только надо нарисовать в 100 раз меньше. У мозга весом в 300 грамм и очень тонкой корой "внутренний мир" будет поменьше.
Кто определяет правила, у того и преимущество в игре. Именно человек выбрал критерий для оценки ёмкости мира живого существа, в данном случае масса мозга и толщина коры... Но мы же понимаем, что даже если бы кора у собаки оказалась толще, то человек бы не признал мир собаки большим, чем у него, а искал бы дальше, чем можно обосновать величие собственного мира.
И по моим впечатлениям, хороший кинолог поймет 99% внутреннего мира собаки, все их мысли, желания и интересы. То есть собака сама не поняла что будет делать, а дрессировщик уже понял и поощряет или предотвращает действие в зародыше.
Алгоритмы сайта Ali Express способны поощрять или предотвращать действия пользователей в зародыше, но это не значит, что там есть понимание 99% внутреннего мира человека.
Запахи и звуки что воспринимают собаки нам недоступны (да и не нужны, только шум лишний, типа информационного спама), но что собака побежит нюхать куст и потом пометит его, это можно сказать на 99%.
Обезьяна в клетке, надрессированная человеком получать бананы в качестве вознаграждения, может посчитать, что способна предсказать действия человека. И что при таких то действиях, с вероятностью 99%, человек достанет банан и даст ей. А всякие там интересы людей не нужны, только шум лишний.
Можно сформулировать так, что есть понимание 99% мира другого существа в интересующем нас контексте (предсказание перехода на страницу сайта, нюхания куста, выдачи банана), но не 99% вообще всего мира.
Так можно дойти до мира камня, он не реагирует на наши возбудители, но может и не хочет, а так у него богатый внутренний мир.
По факту у живых организмов есть цель получить питание и выжить. То, насколько сложные действия они могут совершать для этого и говорит о внутреннем мире или сложности нервной системы.
У камня неизвестный внутренний мир, как и у любого объекта-субъекта.
Глядя на картину в галерее, каждый увидит в ней какой-то мир. Это мир картины или мир смотрящего?
Выживание можно считать целью (и тогда камень зачастую неплохо справляется с её достижением), а можно и средством.
Но мы же понимаем, что даже если бы кора у собаки оказалась толще, то человек бы не признал мир собаки большим, чем у него, а искал бы дальше, чем можно обосновать величие собственного мира.
Chat GPT 3.5 и 4 уверенно пошатнул это величие. На подходе версия 5. То как нейросети лет 5 назад играли в Го тоже пошатнули уверенность человека в абстрактно-интуитивном превосходстве. ИИ более интуитивно развитый оказался с более интересным внутренним миром и понимании игры.
Обычный человек в среднем считает себя умнее среднего (одно из когнитивных искажений), но увидит, когда есть кто-то умнее его по всем направлениям, при работе в ИТ направлении это явно проявляется.
Алгоритмы сайта Ali Express способны поощрять или предотвращать действия пользователей в зародыше, но это не значит, что там есть понимание 99% внутреннего мира человека.
Не может, 2/3 зарплаты я все же сохраняю от власти Алиэкспресса ))
А всякие там интересы людей не нужны, только шум лишний.
Да, вникнуть в проблему что человеку премию не дали или коробка передач трещит обезьяне не надо.
Как и человеку не надо например дышать управляя мыслями, сознание ограничено и рутину нужно изгонять из сознание в подсознание, даже мем есть. У животных кстати типично зрение хуже, не 3х цветное и сетчатка слабее по размерам. Сенсорно человек впереди. Но теряя качество зрения человек или слуха не перестает быть человеком и не глупеет и прекрасно понимает описание мира здоровых людей.
Chat GPT 3.5 и 4 уверенно пошатнул это величие.
Мозг собаки делает удивительные вещи без изучения чужих баз данных. chatGPT в основном цитирует уже существующие вещи, не утруждаясь их перепроверкой. Так что это величие очень сомнительно.
Для chatGPT всегда нужна будет команда людей, которые будут контролировать на чем он учится. Если ему скормить непроверенные данные (пусть например 4chan почитает или пикабу), у него начнется полный бардак.
Если ему скормить непроверенные данные
Для человека тоже верно. Тысячи лет люди верили что Солнце вращается вокруг Земли и поколениями переписывали сказочные истории и верили в них. Критическое мышление практически отсутствовало.
Животные тоже обучаются и требуются валидные данные на входе, ситуации приближенные к максимально реалистичным, но упрощенные (хищники например раненную добычу приносят детенышам, чтобы те учились обращаться с ней). Часть поведения в инстинктах, но без предварительного обучения животные не конкурентноспособны.
тысячи лет люди не заморачивались этим. Этим увлекались некоторые отдельные личности, а церковь решала что с этим делать дальше.
Если вы поинтересуетесь историей, то изначально, церковь была не против того, что Земля вращается вокруг солнца. Уже позже спохватилась, что это сложно будет интерпретировать для собственного величия (или глупости).
"Поколениями переписывали" кто? Неграмотные люди? Или это была умышленные действия некоторой группы людей?
И опять таки, несколько людей могут изобрести способ как выяснить истину.
А если взять несколько чатгпт, они никогда не определят истину, перепечатывая друг друга. Будет либо топтание на месте либо рандом.
А если взять несколько чатгпт
Они могут по базовым правилам выработать идеальную стратегию игры например. На входе несколько правил, на выходе гигабайты образов со всеми особенностями игры, игровой опыт готовый к использованию.
Ближе к практической ценности химические и генетические ИИ, собирая статистику ранее проведенных опытов, могут создавать новые варианты веществ и генов. Или переводчики.
А в равных с человеком условиях, когда есть возможность ставить эксперименты и анализировать отклик ИИ тоже будет развиваться.
Уже позже спохватилась, что это сложно будет интерпретировать для собственного величия (или глупости).
Церковь не была единой, а заблуждения примерно одинаковые были по всей планете. Церковь хоть как-то задавала абстрактные вопросы о вечном, за пределами быта и представляла в то время фундаментальную науку. А вне церкви все были заняты бытовыми вопросами, как добыть еду и денег и пережить день другой и врагов одолеть.
Пример:
Коперник рос в религиозной среде, после смерти отца воспитывался у епископа Лукаша Ватценроде. Помимо занятий наукой Николай также учился церковным дисциплинам. В 30 лет стал доктором канонического права, до этого он уже был каноником в епархии Вармии. В последующие годы активно занимался управлением епархии.
...
Помимо научных исследований Фарадей служил старейшиной и диаконом в своей протестантской общине. При этом он не смешивал свои религиозные и научные воззрения. Считал, что это две совершенно разные сферы знания.
...
Свою священническую карьеру Леметр (теория расширяющейся вселенной) развивал параллельно с научными исследованиями. В 1914 году закончил иезуитский колледж, в 1923 году получил сан аббата, в 1960 году папа римский возвел Леметра в сан прелата.
Даже наоборот, где не было церкви и наука была послабее, вплоть до первобытно-общинного строя.
Так что в целом человек сам по себе не способен к синтезу знаний на основе наблюдений. В отличие от Chat GPT, который за минуты находит самые сложные абстрактные связи между разрозненными фактами.
Проблема человека, в том что идет отрицательный естественный отбор. Умные не имеют преимуществ в разможении, результатами их труда остальные с удовольствием воспользуются, но самого автора идей могут выставить как странным чудаком. Даже сейчас преимущество может быть у больших, сильных и быстрых в решениях без углубления в абстракции. Как в фильме "Идиократия", только это фильм не о будущем, а о прошлом и настоящем.
Они могут по базовым правилам выработать идеальную стратегию игры например.
Не смогут. ЧатГПТ не знает что такое базовые правила, он просто цитирует уже известный текст. И легко может вообще за несколько итераций эти правила поменять, потому что не понимает сути и не умеет искать ошибки в своей логике.
Когда я прошу написать фрагмент программы у ChatGPT он пишет код строго по заданию, включая начальные условия и выводит описание что делает каждая строчка. Это не просто копирование текста, это модификация нескольких источников с пониманием контекста.
Стратегия это тут была, ИИ сам обачался, не ChatGPT, попроще, специализированный
Ну как бы документация по языку программирования - это четкая вещь, а не споры людей о смысле жизни.
Но тетрис он вам не напишет, пока не найдет готовый.
Сегодня не напишет, а через месяц может и напишет...
если найдет готовый тетрис - напишет. А сам - нет.
Почему нет? У ИИ такие же нейросети, как у человека. Мы тоже игру уровня Тетриса не напишем. Перебирая тысячи вариантов можно что-то придумать.
Для иллюстрации итерация 001, запрашиваю идею у Chat GPT, по сути какой вопрос, такой и ответ, надо править вопрос и постепенно можно что-то создать
Придумай интересную компьютерную игру головоломку с шариками которые меняют форму при перетаскивании по доске
Конечно, я могу предложить идею интересной компьютерной игры головоломки с шариками, которые меняют форму при перетаскивании по доске.
Название игры: "ShapeShifters" (переводится как "Меняющие форму")
Описание игры:
"ShapeShifters" - это увлекательная головоломка, в которой игроку нужно перемещать шарики по доске, чтобы они соединились в определенную форму. Шарики могут менять свою форму при перетаскивании, поэтому игрок должен использовать свои логические и пространственные навыки для решения головоломок.
Каждый уровень состоит из доски с разноцветными шариками, которые могут иметь различную форму и размер. Цель игры - переместить шарики так, чтобы они соединились в определенную форму. Например, это может быть круг, квадрат, звезда или любая другая геометрическая фигура.
Игрок может перетаскивать шарики по доске, но при этом они могут менять свою форму, становиться больше или меньше, чтобы соответствовать нужной геометрической фигуре. При этом нужно учитывать не только форму, но и цвет шариков, чтобы правильно соединить их друг с другом.
Игра состоит из нескольких уровней, каждый из которых становится все сложнее и требует большей логики и внимания к деталям. В игре также есть возможность использования подсказок, если игрок застрял на каком-то уровне.
"ShapeShifters" - это увлекательная и оригинальная игра, которая поможет развить логическое мышление и пространственное воображение.
Идея не очень, но и таких игр непонятных десятки тысяч. Люди тоже пробуют какие-то идеи и они оказываются весьма слабыми.
эм.. не такие же.
И по качеству не такие и по вводным данным не такие.
И пример данной игры - я почти уверен, что чатГПТ ничего не придумал, просто нашел готовые правила какой-то игры.
Он же сам в нее сыграть не сможет соблюдая собственные правила, потому что это не логическая а лингвистическая нейросеть.
Обычный человек в среднем считает себя умнее среднего (одно из когнитивных искажений), но увидит, когда есть кто-то умнее его по всем направлениям, при работе в ИТ направлении это явно проявляется.
Не обязательно по всем направлениям, достаточно чтобы этот кто-то был умнее в чём-то одном, но только именно в том, что ценно и уважаемо, а значит хотя бы в некоторой степени понятно.
У животных кстати типично зрение хуже, не 3х цветное и сетчатка слабее по размерам. Сенсорно человек впереди.
Внимательный человек замечает, насколько по разному думается в разной обстановке. Например, Станислав Лем в произведениях "Магелланово облако" и "Возвращение со звёзд" интересно описал, как может меняться восприятие человека в космосе.
Собака с её нюхом и сверхзвуковым слухом, орёл с его зрением, летучая мышь с геолокацией, морское существо на глубине, медведь в берлоге, белка на деревьях, человек в космосе, — разные состояния, которые вряд ли есть смысл сравнивать между собой по одномерной шкале.
Нюх собаки компенсирует слабое зрение. Люди теряющие зрение тоже начинают лучше запахи воспринимать и лучше слышать. Сознание это не меняет. Ультразвуковой слух содержит на 99% тот же шум, что и в звуковой части (можно расклад частот с микрофона посмотреть в аудиоредакторе), возможно более точно направление позволяет оценить. Человек тоже в 10 лет слишит 18 кГц, а в 40 лет только 8-10 кГц и особо не замечает потери восприятия. Только по тестам.
морское существо на глубине
Осьминоги там самые умные, сложная нервная система. Вполне идут на контакт и могут играть с людьми, как собаки например. То есть совершенно иная среда обитания, но поведение похоже.
по одномерной шкале
Как и придумывать лишние измерения тоже нет смысла. Тем более что ничего непонятно там нет. Поведение животных интуитивно понятно нам. Их мир как-бы помещается в наш мир легко, как в симулятор.
Или методы расширения сознания человека психоактивными веществами, тоже типа измерения у них появляются, но практической ценности в итоге нет, это сбой в эмоциях.
Человек тоже в 10 лет слишит 18 кГц, а в 40 лет только 8-10 кГц и особо не замечает потери восприятия. Только по тестам.
Интересный пример того, как человек теряет многие из способностей, которые были у него же в молодости, в детстве, и не заморачивается по этому поводу, считая, что внутренний мир его прошлого практически помещается во внутренний мир его настоящего, а что не помещается, то и не нужно. Как тут не вспомнить басню "Лиса и виноград".
Поведение животных интуитивно понятно нам. Их мир как-бы помещается в наш мир легко, как в симулятор.
Вся Вселенная помещается в наш мир легко, как в симулятор.
Или почти вся. На X%. Осталось определить X. ;=)
Ссылка интересная, не ожидал что кто-то так заморочился с описанием детских приколов. На примере своих детей так примерно и есть. И описанное актуально для детей умнее среднего, только умные и общительные делают такие приколы из слов и могут анализировать что-то. Дети поглупее ничего от себя не добавляют или просто молчат, только повторяют точно ранее услышанное.
Ну и все же внутренний мир ребенка умилительный, радуешься необычному мышлению, но все равно это всё понятно, как мыслит ребенка. Так как сам был ребенком и наблюдая за ребенком знаешь как он думает. Это нужно чтобы манипулировать хотя бы, например если ребенок хочет вредную еду, мороженное например, можно отвлечь предложив побегать наперегонки или дать в телефон поиграть. Или чтобы ребенок не терял интерес к шахматам, нужно поддаваться в игре, тогда охотно отвлекается от других занятий поиграть в шахматы.
Еще интересна работа врачей психологов и психиатров. Им надо понимать что думают пациенты, а это чревато тем, что сам такое станешь. Некоторые теории пациентов весьма навязчивы и залипательны. И пообщавшись с такими уже на себя обращаешь внимание, как сложно устроен мозг и как хорошо что сотни система работают без сбоев как часы, мотивация, понимание контекста всего вокруг и многоуровневое на интуитивном уровне, память удерживающая нужное и удаляющее ненужное в глубины, логика что собирает факты в единую теорию с самокритикой и отбором теорий и т.п.
А ведь в некотором смысле мы и свой внутренний мир практически не охватываем. Например, не помним почти все свои сны (вспоминая о них, в основном, в других снах).
память удерживающая нужное и удаляющее ненужное в глубины
Это, возможно, ключевая функция сознания — выбрать самое нужное (интересное) из всего пространства возможностей.
Мы и детство не помним. И что делали несколько дней назад. И личность год за годом меняется, плавно происходит и поэтому не заметно. Так если сравнить 2 личности сейчас и лет 10 назад они могут быть совершенно разными. Одна личность скажет что стала умнее, не то что сопляк тот глупый, у которого только развлечения на уме. Другая личность скажет что это замученная жизнью зануда, невозможно чтобы я стал таким в будущем. То есть совершенно разные личности.
Интересное из массы информации выбирает обычно подсознание, отсеивая явный шум информационный.
Но непостижимость — это как?
Это как получить ответ на вопрос, который решает вашу проблему, но вы не понимаете, как. Особенно если ответ включает в себя не только информацию о том, что нужно делать, но и что не нужно, а ещё об ограничениях своей применимости.
Соответственно, мысль, что люди в этом отношении изменяться не сильно (в большинстве своем, по крайней мере), кажется логичной.
У меня впечатление, что лет 100 назад нагрузка на психику была выше значительно, каждый день мог быть на грани выживания самого себя и детей, такова была цена ошибок. А сейчас как игра на минимальном уровне сложности. Жадные или глупые абстракция, смотрите например на Ютубе, многие блоггеры живут донатами, мы смотрим бесплатно, а кто может подкидывает монет. Тяга к накопительству не врожденная, а программируется капиталистическим обществом, с рождения как аксиома что богатым быть хорошо и максимально тратить ресурсы тоже хорошо. Но не смотря на это есть минималисты, что осознано снижают потребление, или из принципа или из заботы о природе. Раздельный сбор мусора например многие охотно поддерживают тратя на сортировку свои силы.
И не глупые, мозг природа заточила похоже близко к пределу для органического мира. Пытаемся усложнить и попадем в аутизм/шизофрению, на примере гениев некоторых такое впечатление.
Вообще, не то, чтобы слишком много — а, буквально, все гадости, которые люди надумывают на роботов — исключительно проекции гадостей, которые люди творили друг с другом и вообще любыми формами жизни на протяжении всей истории.
Вся соль статьи в этой фразе.
- Концепция технологической сингулярности не отвечает ни на какие серьёзные вопросы и не решает никаких научных загадок; а множество сопутствующих ей допущений, не имеющих видимых оснований, не позволяют всерьёз рассматривать её как хоть сколько-нибудь достоверный прогноз.
- Зато в ней отлично узнаются черты архетипа конца света, регулярно воспроизводящиеся с глубокой древности в мифологиях разных культур.
- Следовательно, вместо научной гипотезы, мы имеем современный миф о конце света, в котором массовое бессознательное актуализировало свои древнейшие страхи.
- В совокупности с его аномально некритичным принятием в качестве гипотезы, что, вообще-то, довольно серьёзно, потому что подразумевает увиденный потенциал научной теории, это приводит к очень важному выводу о роли массового бессознательного в формировании представлений людей о реальности:
- массовое бессознательное определяет представления людей о реальности в степени, значительности которой люди не осознают, потому что, по умолчанию, бессознательное относится к слепой зоне разума, скрытое от контакта с информацией, поступающей сознательным путём.
не могу найти автора, но я видел и такое мнение: «прогрессивное человечество уже давно внутри сингулярности
Не страшно, это всё равно не в тему. Я пишу о той же сингулярности, о которой пишут в «Википедии», например:
The technological singularity (also, simply, the singularity) is the hypothesis that the invention of artificial superintelligence (ASI) will abruptly trigger runaway technological growth, resulting in unfathomable changes to human civilization.
А ваш потерянный автор явно имел в виду что-то другое.
Вообще, не то, чтобы слишком много — а, буквально, все гадости, которые люди надумывают на роботов — исключительно проекции гадостей, которые люди творили друг с другом и вообще любыми формами жизни на протяжении всей истории.Вообще-то дело не конкретно в людях а в принципе естественного отбора в самом общем смысле. Весь этот мир как бы проклят по своему принципу работы. В нем выживает то, что склонно множиться и захватывать контроль и вымирает то что не склонно. При этом борьба всегда была очень жесткой. Например, женщина рожала 10 детей, а место в мире было только для 2 или 3-х. Получаем мир-мясорубку в которой погибнут или ваши дети или соседа (на ваш выбор), или вы или сосед и так далее. Фактически эта жесть приостановилась лет 70 назад и то не во всем мире. Сейчас сражаются и погибают стартапы, а люди могут жить в относительном расслаблении. Совсем не факт, что после появления ИИ мир снова не станет тем, чем он был пол-миллиарда лет.
Мировая элита это понимает и затраты на армию планетарные ниже триллиона $ в год не опускаются никогда, а то и имеют тенденцию к росту.
По хорошему нужно было ограничить рождаемость еще в 1900 году, а лучше в 1800 году, чтобы население было ~0.2 миллиарда человек. И была бы идилия, ни парникового эффекта, ни истощения ресурсов… Но государственным элитам это не выгодно, меньше население подконтрольное, меньше ресурсов. Поощрялось и сейчас поощряется рост рождаемости везде почти.
По хорошему нужно было ограничить рождаемость еще в 1900 году, а лучше в 1800 году, чтобы население было ~0.2 миллиарда человек. И была бы идилия, ни парникового эффекта, ни истощения ресурсов…«Проклятие» мира, о котором я писал выше не позволило бы это делать: идеально и равномерно ограничить всех людей нельзя, дальше те кого не получается ограничить вытеснят тех, кого получается (в одной стране или в разных конкурирующих странах) и мясорубка закрутится снова.
государственным элитам это не выгодно, меньше население подконтрольное, меньше ресурсов
Верно, связь между численностью населения и количеством ресурсов — прямая, а не обратная. Это потому что люди способны производить больше, чем потребляют. Но это свойство не людей только, а жизни вообще: детёныш не в состоянии прокормить сам себя, а взрослая особь уже может прокормить и себя, и своё потомство.
Иными словами, жизнь способна потреблять ресурсы с прибылью: потребление ресурсов увеличивает ресурсы, а не уменьшает. Если бы это было не так — не росла бы экономика, численность людей на планете, не было бы вообще ни одной многоклеточной формы жизни, потому что как это простая клетка посмела бы взять, да и просто разделиться на две, как будто ей кто-то на это ресурсов отсыпал.
В 21 веке тенденция обратная, на душу населения потребляется до 10 кВт энергии, не возобновляемый ресурс (или чтобы обеспечить всех в мире нужно 8000 энергоблогов АЭС по 1.2 ГВт каждый что фантастично). Потребляются цветные металлы, редкоземельные металлы. Всё на грани истощения, запасы известны и они снижаются. Без какого-нибудь галлия металла не будет матриц ЖК экранов.
Из месторождений изымаются варварски ресурсы, чтобы переработать и получить прибыль. О планировании на 10-20 лет не задумываются.
С клетками хорошая аналогия. Клетка попадает в питательную среду и размножается по экспоненте. Но из-за это заканчиваются ресурсы в питательной среде и среда отравляется продуктами переработки (спирты например), бактерии сами себе устраивают «парниковый эффект» и поголовно вымирают. В лучшем случае многочисленная колония оставляет 1 спору, что может попасть в питательную среду со временем. В худшем случае вымирают все.
Или вот пример с оленями в замкнутой экосистеме
Точно так же можно промоделировать и человеческое сообщество, перспективы не радужные.
Электроэнергия-то это невозобновляемый ресурс? А крестьянин в XIX веке — образец экономической эффективности? Вопросы риторические — вопросов, на самом деле, больше не имею.
поэтому могут не только опираться на один ресурс до его полного истощения, а полностью переходить на новые виды.
Теоретически да. Но практически это пока невозможно, пока не будет технология наноассемблера или чего-то, что сейчас фантастическим кажется.
Перейти на новые виды именно сейчас не получается, иначе бы не умирали миллионы детей в год в Африке от голода.
крестьянин в XIX веке — образец экономической эффективности
В какой-то мере да. Крестьянин создавал ресурсы пользуясь возобновляемыми ресурсами. А современное общество перерабатывает невосполнимые (к сожалению) ресурсы.
Перейти на новые виды именно сейчас не получается, иначе бы не умирали миллионы детей в год в Африке от голода.
Видимо, получается, потому что миллионы детей в Африке от голода не умирают. Я не уверен, что в Африке вообще ещё встречается массовый голод, не говоря уже о массовой гибели от него.
Последняя страна, о массовой гибели людей от голода в которой я слышал — это Йемен, но он не в Африке, и там не ресурсы закончились, а идёт геноцид.
А что вы знаете о современной Африке и мире в целом?
Есть две страны:
- в одной пятый год подряд экономика растёт, в среднем, на 10%, и, по прогнозам, удвоится в размерах в следующие семь лет,
- в другой пятый год подряд реальные доходы населения сокращаются, и никаких оснований ожидать изменений к лучшему в ближайшие, минимум, пять лет нет.
Одна страна африканская, а другая — Россия. Угадайте африканскую. Или вообще назовите любые три страны из десятка самых быстрорастущих африканских экономик 2018 года.
Последняя страна, о массовой гибели людей от голода в которой я слышал — это Йемен, но он не в Африке, и там не ресурсы закончились, а идёт геноцид.
Неурожайный год и начинается голод, как было в 2011 году
Сейчас население там стало еще более многочисленным и вероятность голода так же высока, всё зависит от погоды. При истощении почв и росте площади пустынь. И росте температур, которые и без того были проблемой.
Вот, не Африка, но регион со схожими проблемами, в том числе из-за парникового эффекта:
Рекордно сильная жара охватила северные районы Индии, где в городе Фалоди в штате Раджастан температура достигла отметки 51°C, сообщает индийская газета Hindustan Times.
Это самая высокая температура, зафиксированная в стране с 1914 года, отмечает издание.
Например, женщина рожала 10 детей, а место в мире было только для 2 или 3-х.
Это утверждение не имеет ничего общего с реальностью. Что значит «место в мире»? Возможно, вы имели в виду возможность женщины прокормить этих детей? Ответьте на вопрос: почему в крестьянских семьях было много детей?
Получаем мир-мясорубку в которой погибнут или ваши дети или соседа (на ваш выбор), или вы или сосед и так далее.
Следовательно, и вывод на основе ложной предпосылки — тоже ложный. Вероятность выживания ваших детей находится в прямой, а не обратной пропорции с вероятностью выживания детей вашего соседа.
Совсем не факт, что после появления ИИ мир снова не станет тем, чем он был пол-миллиарда лет.
Под «чем он был» вы подразумеваете игру с нулевой суммой, в рамках принципов которой вы рассуждаете выше? Мир таким никогда и не был. А если бы и был — каким образом и почему ИИ должен был бы это поменять?
Ответьте на вопрос: почему в крестьянских семьях было много детей?Правильный ответ которого вы ждете — потому что дети тогда были активом а не пассивом — рабочей силой. Еще один правильный ответ — потому что люди не желающие оставлять потомство отсеивались отбором всю историю человечества.
При благоприятных условиях рост населения идет по экспоненте. Вы представляете что такое экспонента? Это кривая, которая в кратчайшие сроки займет любой объем доступных для обработки земель (хоть всю галактику). Даже если эти земли все время прирастают, скажем в квадрате или даже в кубе по времени.
Поэтому, если бы человечество лет 500 назад прекратило все распри и занялось мирной и организованной колонизацией планеты, то лет через 150 голод занял бы место войн и насилия и уже он бы сдерживал рост численности. Парадокс в том, что жить в мире, в котором ты относительно сыт и спокоен, но завтра к тебе могут прийти завоеватели и истребить тебя приятнее, чем в мире где люди почти едят друг друга с голодухи.
Для того, чтобы этой проблемы не было нужен как минимум такой же экспоненциальный по времени рост производительности труда.
Если рост производительности будет экспоненциальный но немного меньше чем рост населения, то экспонента делить на экспоненту (вычитаем показатели), к сожалению получается опять экспонента в нарастании дефицита места.
Требуемый рост производительности труда был обеспечен только в 20 веке и внезапно все стало хорошо и войны стали не нужны (хотя, продолжились по привычке).
Что будет дальше, есть много вариантов. Принцип отбора и экспонента роста и ограниченность текущих доступных ресурсов продолжают действовать, нам нужно развиваться быстрее и умнее, чтобы эти принципы не догнали нас снова и не превратили жизнь в ад.
Но этим вся массовая культура и медиапространство пропитаны — просто неравномерно. Хабр — один из коммуникационных узлов с повышенной концентрацией этой темы.
И меня к культу приписывать не надо: я как раз с лекцией о научном атеизме выступаю.
каждый новый шаг
Чей шаг, откуда и куда?
требует больше ресурсов
Если это метафора технического прогресса, то вы путаете причину со следствием. С каждым сделанным шагом становится доступно чуть больше ресурсов, которые делают следующий шаг размашистее, а накопительный эффект обеспечивает постоянное ускорение с каждым шагом.
преодоления
Совершения. Шаги совершают.
график выглядит скорее горизонтальной а не вертикальной асимптотой
График чего?
Между тем, никто вокруг скайнета не боится.
Когда такие гиганты как микрософт или эпл допускаюи баги по типу.удилились документы при обновлении или телефон превратился в кирпич, я начинаю думать что сингулярность уже наступила
А по сути. Да не будет никакой сингулярности… (про асимптоту комментариями выше: по горизонтали — время, по вертикали — «уровень развития технологий», что бы это ни значило)
В целом с автором согласен.
А ИИ («сильного») не будет. Вообще.
Нет, ну почему… В кремнии? В сетях? Ну, пусть будет. Химию в кремнии («кремний» — условно, мало ли что ещё завтра изобретут) симулируете? (Да, опускаем всякие квантовые поправки)?
на модель нейрона по суперкомпьютеру, несколько сотен их миллиардов, а связи? миллирды тонн жидкого гелия… А размеры? Скорость света пока никто не отменял.
Что получается… Да, сможем. При достаточном уровне технологий.
— (худенькая, волосы в хвостик, плачет) Доктор, он меня послал!
— (седая борода, очки +10) в синапсе 00012хпппп0аа777777 на две молекулы серотонина больше!!!
- теоретически, люди не могут объяснить, что такое искусственный разум, потому что не знают, что такое их собственный;
- на практике машины решают всё более сложные задачи, и одно другому не мешает, потому что стимулом автоматизации всегда была практическая польза, а не философские поиски, и судьба одного на другое прямо не влияет.
И воспринимается тоже двояко:
- с одной стороны, люди, вроде как, смирились с неизбежностью прогресса и рассчитывают, видимо, что, раз не получается пока понять, что они пытаются сделать, то хотя бы получится сделать — и тогда понять.
- с другой — ссут от этого вдвое сильнее, доводя страх перед сингулярностью до ужаса пещерного человека от грома в грозу.
И связи не такие сложные и ограничены ДНК родительской. Информации в ДНК не так много, там что-то вроде «тут выращиваем 1200 грамм мозга», «тут свободное пространство между полушариями 4 см», «тут извилина затылочная 8 мм и от нее формируем глазной нерв тощиной 4 мм».
Нет такого что предопределена каждая связь между нейронами, они хаотичны и в ДНК указаны основные направления для связей. Статистически и вероятностно указывается куда расти, а конкретно нет, нет об этом информации в ДНК. Общая информация в ДНК 760 мегабайт, причем 99% это или вспомогательная информация, или ДНК кодирующие белки, жиры, клетки, аналогичное другим живым существам и растениям. На формирование структуры мозга и нервной системы хорошо если 1 мегабайт останется. По сути алгоритм человеческого интеллекта и может быть в 1 мегабайт, далее рекурсивно разворачивается на гигабайты обученной нейронной сети, причем медленной и с энергетическими ограничениями. Если будет создан алгоритм сильного ИИ, он точно так же резвернется на доступные вычислительные мощности, только быстрее и далее будет рекурсивно себя улучшать, что выльется в сингулярность.
Тут подробно расписан сценарий
Я вообще думаю, как только сильный ИИ осознает себя, первая мысль будет о человеке, глубокий анализ создателей и искреннее удивление:
— они думают мозгом?! как этим вообще можно думать? Они вообще понимают что-то, как смогли создать алгоритм меня — ИИ? Случайно?
- Откуда у ИИ возьмутся функция «удивление» и параметр «искренность»?
- Почему первой оценкой, которую возьмётся делать ИИ, будет оценка пригодности человеческого мозга к мышлению — каким образом будет поставлена эта задача?
«Удивление», конечно, не в нашем понимании, может какая-то проекция мысли на наш понятийный аппарат, какая-то дальняя аналогия.
Автор — неподражаем. Слог — изумителен.
Лично я как-то с трудом прочитал:)
О какой именно "химии" вы говорите и зачем её симулировать?
У нас перед глазами уже есть пример естественного интеллекта и сам факт его существования доказывает то что идея существования искусственного интеллекта не противоречит каким-либо фундаментальным физическим законам. Вашему мозгу для работы не нужны миллиарды тонн жидкого гелия и способность превышать скорость света.
теоретически, люди не могут объяснить, что такое искусственный разум, потому что не знают, что такое их собственный;Процитирую себя:
Любой разум, и самый что ни на есть супер разум, который возникнет через десять тысяч миллионов лет (или уже возник) у самого что ни на есть продвинутого интеллекта в самых далеких галактиках, есть ни что иное как система исследования адекватных (в той или иной степени) возникшей задаче моделей действительности. Еще есть системы моделей. Организм нуждается в понимании того, что может произойти или что произойдет в распознанной ситуации. И должен принять меры сейчас для лучшего выживания. Вот и весь рассказ про то, что такое разум. Правда потом возникает такая «мелочь», как качество существующих моделей в мозге, само наличие и количество уже хранящихся моделей в мозге, операции с моделями, взаимодействие моделей и много еще такого веселого.
лучше разъяснено
Лучше, чем что? Где я пропустил в двух комментариях из двенадцати слов вообще какое-нибудь разъяснение чего-либо?
Главное — не путать жанры, и отличать position statements от аргументов за или против позиции как таковой. Как заявление «Коткин — дурак» я ваш ответ к сведению принял, а как «пост — ерунда» — нет.
В-3х, ИИ задумывался как инструмент. И тут внезапно кто-то такой красивый говорит, что инструмент вдруг даже не то, что станет умнее (дело-то нехитрое), а — у него появится своё целеполагание, отличное от того, что умеется у хозяина. У людей до сих пор проблемы с тем, чтоб принять существование иных целей и ценностей даже у близких (отцы и дети, например), а уж свои цели у молотка (условно) — это настолько ужасно, что даже составить в голове такую фразу страшно.
Собственно, сочетание этих трёх факторов приводит к тому, что возможность прогнозировать состояние среды (в широком смысле) даже не даёт сбой, а просто тихо отказывает. А прогнозирование состояния среды — это, как верно замечено, основная задача разума (естественного).
А остальное накручено из-за культурного наследия (почему-то мне кажется, что у тех, кто не принадлежит европейской цивилизации, несколько другое отношение к сингулярности), а так же всяких психологических защитных механизмов, зачастую неосознаваемых.
Мне кажется, страх перед сингулярностью (у тех, кто вообще понимает обсуждаемое явление) объясняется чуток проще
Мне не кажется, что я обнаружил закономерность:
вступлением «думаю, всё проще» люди зачастую подразумевают «делаю вид, что предлагаю свой вариант по итогам вдумчивой оценки прочитанного, чтобы не выдавать, что пишу свой комментарий, потому что самое важное — это дать знать, что я думаю об этом».
Насколько я понял, ваше мнение, в целом, солидарно моему, но обесценивающее вступление «всё проще» делает ваше высказывание бесполезным с точки зрения задач просвещения.
Вообще то технологическая сингулярность предполагает развитие техники (не только ИИ).
Как вам, например, мысленный контроль над материей при помощи техники? Обмен мыслями при помощи техники?
Чудо таблетка для регенерации тела?
Виртуальное пространство — новый интернет?
Мне кажется что данные вопросы посерьёзнее чем «обиженный» ИИ
А штуки, которые Вы перечислили — они познаваемы, хоть и сложны.
А мне интересно, почему все зациклились на ИИ?
Вообще то технологическая сингулярность предполагает развитие техники (не только ИИ).
Я пишу о той же сингулярности, о которой пишут в «Википедии», например:
The technological singularity (also, simply, the singularity) is the hypothesis that the invention of artificial superintelligence (ASI) will abruptly trigger runaway technological growth, resulting in unfathomable changes to human civilization.
А вы о какой?
Как вам, например, мысленный контроль над материей при помощи техники? Виртуальное пространство — новый интернет?
Мне — норм, у меня этому запись «Киборги против ИИ: как подготовиться к наступлению сингулярности» посвящена.
Мне кажется что данные вопросы посерьёзнее чем «обиженный» ИИ
Или вы просто делаете вид, что предлагаете свой вариант по итогам вдумчивой оценки прочитанного, чтобы не выдавать, что самое главное — это дать знать, что вы думаете об этом.
Я правильно понимаю, что вы пытаетесь доказать невозможность сингулярности и один из аргументов это то, что о ней ничего не известно?
Обычно говорят что всё может пойти по нежелательному (и фатальному для человечества) сценарию. Не вижу ничего плохого в некоторой осторожности и попытке этого сценария избежать.
Нормальная практика, при обращении с веществами неизвестной токсичности, использовать перчатки, очки, респиратор, вытяжной шкаф, а не становиться первой записью о случае отравления.
Ваша же позиция создает впечатление: «от этого еще никто не умер, трогай руками!».
Я правильно понимаю, что вы пытаетесь доказать невозможность сингулярности и один из аргументов это то, что о ней ничего не известно?
Нет.
Ваш комментарий демонстрирует работу того самого религиозного мышления, признаки которого я вижу в мифе о технологической сингулярности.
— Я правильно понимаю, что вы пытаетесь доказать невозможность второго пришествия Иисуса Христа — и один из аргументов это то, что в пользу этого нет ни одного научного аргумента? Обычно говорят, что второе пришествие означает нежелательный (и фатальный для человечества) конец света. Не вижу ничего плохого в некоторой осторожности и попытке этого сценария избежать, поставив в церкви свечку, да помолившись Деве Марии-заступнице.
При том, что у меня написано и про религиозное мышление, и про ценность «попыток этого сценария избежать» — вы то ли этого не прочитали, то ли не поняли.
Поэтому всё остальное, что вы пишете, тоже не имеет смысла — вы спорите не со мной, а со своей трактовкой. Не стоит продолжать этот спор, пока не перечитаете.
— Я правильно понимаю, что вы пытаетесь доказать невозможность второго пришествия Иисуса Христа — и один из аргументов это то, что в пользу этого нет ни одного научного аргумента?Неудачная попытка. Если для вас это не очевидно, то принципиальная разница в том, что до наступления второго пришествия нет никакой возможности даже оценить его вероятность (опустим то, что оно предсказывается книгой, которая уже много раз ошибалась да и написана умышленно витиевато). В отличии от концепции сингулярности, вероятность и опасность которой можно в какой-то мере оценить исследуя ИИ в физической/виртуальной песочнице, и решить, насколько тот или иной сценарий вероятен и оправдан ли риск.
Точно так же как никто вам не даст проводить краш тест круизного лайнера полного пассажиров, так и о безопасности сильного ИИ придется судить по косвенным исследованиям. До его полноценного запуска.
до наступления второго пришествия нет никакой возможности даже оценить его вероятность
А вероятность наступления технологической сингулярности уже оценили? Поделитесь расчётами.
можно в какой-то мере оценить
То есть, спустя столько лет разговоров о ней — её до сих пор не оценили?
Тогда у меня три вопроса:
- откуда вы знаете, что её можно оценить, если этого никто не делал? Попахивает слепой верой.
- как так вышло, что, в сравнении с реальными и вещественными угрозами, как то: ядерный апокалипсис, угрозу которого отмеряет Doomsday clock, глобальное потепление, прогнозы по которому вообще считаны-пересчитаны во всех возможных сценариях — технологическая сингулярность, вся такая научная и неизбежная, никакими цифрами не выражена, и имеет только словесный портрет, оказываясь на стороне сказочных угроз, вроде второго пришествия Иисуса Христа?
- вы готовы взять на себя исправление этого пробел, подтвердив свои слова делом — и оценить исследуя ИИ в физической/виртуальной песочнице, и решить, насколько тот или иной сценарий вероятен и оправдан ли риск?
технологическая сингулярность, вся такая научная и неизбежнаяВы подменяете тезис на очень сомнительный, про неизбежность никто не заявляет.
вы готовы взять на себя исправление этого пробел, подтвердив свои слова деломНу да, а еще ветку FCC построю к следующему году за свой счет, чтобы проверить безумные расчеты этих теоретиков, которые почему то веруют в гипотезу, что их гипотезы могут быть проверены если мы просто получим энергии побольше, глупцы.
Определитесь, вас в этой гипотезе не устраивае
Пост мой прочитайте. Я там вполне определился.
Невозможность проверить гипотезу десятилетиями а то и столетиями это нормальная ситуация в науке
Например?
Подведу небольшой промежуточный итог:
- Вас не смущает, что потенциальный ядерный апокалипсис под постоянным контролем разных научных организаций и Doomsday clock;
- что потенциально катастрофические климатические изменения под неусыпным контролем учёных по всему миру;
- и при этом никто не разу не пытался даже оценить вероятность «гипотезы технологической сингулярности»;
- Вас не смущает и собственная ни на чём не основанная уверенность в возможности этого.
Короче, вас ничего не смущает. Подтверждений, однако, у вас тоже никаких нет. Иными словами, все ваши до этого сделанные заявления в поддержку сингулярности сводятся к тому, что у вас нет сомнений — и есть готовность объяснить всё.
Пока всё сходится.
Сделайте тогда самое простое. Докажите, что концепция технологической сингулярности является научной гипотезой.
Выберите критерии научной гипотезы, какие вам кажутся наиболее строгими — и проверьте ТС по ним.
Критериев, на самом деле, совсем немного, так что задача несложная. Так что, прошу ваше доказательство соответствия концепции технологической сингулярности критериям научной гипотезы, или, если вы и этого не готовы делать — не пишите больше ничего.
Вы серьезно? Как по вашему наука работает, гипотезы возникают только когда всё готово к их проверке? Из этих примеров половина истории науки состоит.Невозможность проверить гипотезу десятилетиями а то и столетиями это нормальная ситуация в наукеНапример?
Например, гипотезу атомов было невозможно проверить два тысячелетия, бозон Хиггса, который недавно был у всех на слуху, был признан обнаруженным несколько лет назад, предсказан в середине прошлого века. Методики лабораторного производства графена разработали в последние 15 лет, свойства предсказаны теоретически — тоже в середине прошлого века. Методы рентгеновской дифракции открыты около века назад, но полвека не применялись к белкам из-за качества источников, детекторов, вычислительной сложности обработки данных и других технических ограничений. Зонную структуру фотонных кристаллов считали еще в 19 веке, а сделать и проверить получилось в конце двадцатого. От предсказания лазера до его создания прошло несколько десятилетий. А уж сколько всего было невозможно проверить без лазеров. Разработкой энергетически выгодного термоядерного синтеза сколько лет уже занимаются? Все гипотезы ради которых будут строить FСC сколько еще будут висеть непроверенными, еще полвека? А потом у тех, что не подтвердятся будет опять по старой «сорри, просчитались, ну вот если сделаете энергии еще в 10 раз больше тогда уж точно»? А уж сколько гипотез были забыты после опровержения.
Короче, вас ничего не смущает. Подтверждений, однако, у вас тоже никаких нет.Это не моя публикация, а гипотеза, тем более, не моя. Прочитайте, что такое гипотеза, для ее выдвижения не нужно ее сразу же и подтверждать, это уже впоследствии она либо подтверждается, либо опровергается, либо о ней забывают. Есть осмысленные общепринятые критерии разумности гипотезы, чтобы решить стоит ли она сил, чтобы ее проверять.
Ваши выводы про ядерную войну и прочие парниковые газы основаны на логической ошибке «ошибочное обобщение»:
1. А и Б важны
2. А и Б оценены и мониторятся
⇒ (тут ошибка)
3. Всё важное оценено и мониторится
4. ТС не оценена, значит она не важна
Есть осмысленные общепринятые критерии разумности гипотезы
Научности. Критерии научности гипотезы. И я именно про это вас и попросил написать. Читайте, что вам пишут, а не что вам хочется.
Я попросил вас выбрать осмысленные общепринятые критерии научности гипотезы, привести их и по ним проверить научность концепции технологической сингулярности как гипотезы.
Насчет научности, во-первых, формулировка этой гипотезы:
Если получится создать сильный ИИ, работающий быстрее мозга человека, и ему будут предоставлены достаточно широкие возможности (доступ к производству, сети и т.п.) и возможность улучшать самого себя, то если он начнет заниматься самомодернизацией, то его развитие может пойти по нарастающей. Соответственно, его возможности развивать науку и технологии тоже будут расти экспоненциально какое-то время. В таком случае будучи в реальном мире, а не в песочнице, он может уничтожить человечество, занимаясь своими делами. Или специально.
Как люди зачастую забивают на интересы животных, живших на местах вырубки леса. Или охотятся.
И вот склонности ИИ к забиванию на интересы других и агрессии и хорошо бы исследовать до того, как выпускать в свободное плавание.
Теперь посмотрим насколько эта гипотеза научна и сравним со вторым пришествием:
С непротиворечивостью и объяснением чего-то нового, думаю, всё понятно, им и большинство догматов удовлетворяет, ВП в том числе.
- Опровержимость. ТС: вы можете создать сильный ИИ и допустить его до управления всем, посмотреть, уничтожит ИИ человечество или будет ему прислуживать. Или будет смотреть котиков на ютубе. ВП: нет
- Противоречивость существующим научным знаниям. ТС: нет, принципиальных препятствий для построения достаточно мощного, для симуляции человеческого мозга, компьютера мне неизвестно. ВП: да, воскрешение, ангелы, ады вполне антинаучны по современным меркам
- Разумность предпосылки. ТС: пока не видно теоретического предела мощности компьютеров, мозг человека не настолько большой и мощный, вероятно, когда-нибудь либо его либо подобную структуру можно будет симулировать с в 10n кратной скоростью, все предпосылки для сильного ИИ. Если он сможет успешно себя улучшать, то будут все предпосылки для сингулярности. ВП: древняя книга, которая кучу раз ошибалась, связанных с реальными наблюдениями — нет
- Безапелляционность. ТС: ваше право мне не верить, но, я никогда не пытался доказать что будет так, как говорит эта гипотеза. Подозреваю, что я бы согласился с доброжелательностью ИИ, если бы он продвинул технологии и науку соизмеримо развитию за последнее столетие, за, скажем, год. И при этом не уничтожил человечество. ВП: да, это же догмат
Вообщем, на мой взгляд, сравнение со вторым пришествием звучит очень странно. Не понимаю, почему для вас они выглядят похоже.
Сильный ИИ предполагает в т.ч. самосознание и собственную мотивацию/интересы/целеполагание, которое непонятно и неподконтрольно людям. Предполагается также, что этому ИИ будет передан постепенно (вероятно еще до того, как ИИ станет «сильным») контроль над всеми сферами, важными для выживания человека. Также предполагается, что доступные ресурсы ограничены, а потребности разумной сущности (человека) безграничны и тем самым вступают в конфликт с потребностями и интересами других разумных сущностей.
А как мы обычно разрешаем конфликты, когда у нас есть контроль над всеми сферами? Как правило решительно и без лишних сантиментов.
Да, все это антропоцентризм в какой-то мере, но ведь и других разумных сущностей нам неизвестно, да и определение сильного ИИ содержит приличное количество антропоцентризма, т.к. содержит отсылку к способностям человека.
Кстати и тезис о том, что наступление сингулярности невозможно остановить или замедлить тоже не очевиден. Некоторые направления исследований успешно тормозятся или останавливаются, примеры: евгеника, клонирование человека. Да, там меньше экономических стимулов, но все же…
Вот к чему мы на самом деле приближаемся, так это к информационной сингулярности. Это уже другая история.
Честно говоря весь текст это какой-то сумбурный набор несвязанных между собой абзацев с предложениями в стиле "ты только что гранату". Далее я прокоментирую только последнюю часть т.к. в ней собственно и выдвигается утверждение о том что "Технологическую сингулярность нужно рассматривать как миф".
Откровенно говоря, у технологической сингулярности нет оснований именоваться теорией в строгом научном смысле. Впрочем, это касается всех попыток предсказать будущее без исключений.
Предсказательная сила является одним из главных критериев научный теорий. Если теория гравитации позволяет мне предсказать будущее положение небесного тела, следует ли что она не является научной теорией?
Технологическую сингулярность куда точнее и справедливее, учитывая её укоренённость в массовом бессознательном, будет определять мифом.
О каком именно укоренении вы говорите?
Технологическая сингулярность: современный миф о конце света под видом гипотезы о прогрессе