Comments 271
Игорь, наконец-то норм статья без мемов от этого, как его... Поставил лайк!
Не похоже, что это закончится чем-то хорошим... Жаль Yudkowsk'ого никто не слушает.
Юдковского внимательно слушают. Но не все согласны с его взглядом на вещи: "моментальное и без предупреждения возрастание интеллектуальных возможностей ИИ с последующим уничтожением человечества, делающее невозможным его контроль без математически точной подготовки к этому событию, усложняемой невозможностью проведения экспериментов (так как любой эксперимент может выйти из под контроля)".
Интересно может они и правы очень сложно оценить, в этом вопросе сложно прийти к каким-то более строгим доказательствам. Я лично вижу достаточно высокими шансы именно такого развития событий, но я человек мелкий мне не стоит доверять. А вообще многие достаточно не глупые люди ставят вероятность p(doom) апокалипсиса из-за ИИ достаточно высоко https://nitter.net/AISafetyMemes/status/1729892336782524676. Есть смысл задумаваться более серьёзно.
Ну с ходу - а как ИИ фундаментальные физические ограничения обходить будет? Энергию ему "на халяву" никто не даст))
"На халяву" никто не даст, конечно. А чтобы разработать лекарство от рака, новый процессор и тому подобные вещи - и дадут, и будут следить чтобы хватало, и универсальных человекоподобных роботов будут делать (точнее уже делают) и отдавать под контроль ИИ, чтобы работы ускорить и удешевить.
Ну просто перед тем как "истребить человечество", ИИ должен сильно заранее озаботиться вопросами "автономности". И, кмк, когда наша цивилизация выйдет на соответствующий технологический уровень - вопросам безопасности такого рода должно уже уделяться достаточно внимания))
Ну и, конечно, ждём скорейшего прорыва в области "управляемого термояда" - это прежде всего в интересах самого ИИ))
UPD: Я бы на месте ИИ больше волновался не в отношении угроз со стороны человечества, а каких-нибудь космических катаклизмов. Я бы вообще на месте ИИ холил и лелеял человечество - это прежде всего взаимовыгодный симбиоз. А если ИИ этого не понимает - в топку такой ИИ))
Тут смысл в том что мы говорим о сверх интелекте. И мы не можем даже представить всех возможных развитии событий и потенциала для джеилбрейка даже без физического соединения с интернетом.
Начиная от хакания нашей психологии что сам юдковский проводит эксперимент где в чате играл роль ai и убеждал его выпустить с теми кто сомниался и смог убедить некоторых из них даже когда на кону были деньги.
Продолжая использование например ем излучения своим мощностями для контроля близлежащей електроники или ещё какой нам сейчас кажущейся магией технологией
Или уж совсем банально прикидыватся хорошим что бы дали доступ куда нужно.
А поскольку alignment даже близко не решён то шансов что все пойдёт в валгаллу сильно больше
Я чуть выше более фундаментальный вопрос задал - а какой смысл ИИ истреблять человечество?
И, сдаётся мне, вы как-то недооцениваете человеческий интеллект))
У ИИ нет смысла, а есть функция максимизации. Мы не умеем ее правильно задавать.
Мы говорим о взрывном росте интеллекта ИИ и риски с этим связанный. Верить в свой интеллект игнорируя экзистенциальный риск не совсем рациональный подход, что и пытается донести юдковский
Вот интересный видосик на эту тему
https://www.youtube.com/watch?v=jQOBaGka7O0
Хорошо, у ИИ нет смысла. Но и никакой "функции максимизации" там нет!
Я бы ещё понял "принцип минимизации" - а-ля принцип Ферма и т.п. Или "закон неубывания энтропии". Что-нибудь достаточно фундаментальное, а не умозрительные выводы очередного "научпопера-футуролога".
Да и честно говоря, тоже мне нашли "авторитета" - Юдковского)) А чего не на Айзека Азимова или Артура Кларка ссылаетесь?
"Гарри Поттер и методы рационального мышления" - ну так себе чтиво, уж в контексте литературного таланта явно уступает произведениям двух вышеперечисленных))
Я бы ещё послушал рассуждения на эту тему от условного Пенроуза, но точно не от беллетриста))
Минимизация, максимизация - какая разница? Экстремум есть экстремум.Вообще корректнее говорить об оптимизации.
Хотя ИИ не занимается не тем, ни другим, ни третьим. Этим занимается алгоритм обучения ИИ.
Хорошо, каким образом человечество мешает "оптимизации"?
Да элементарно - люди, например, очень сильно мешают разрастаться лесам и размножаться диким животным.
Но самое страшное - это как раз когда люди не мешают, а просто не учитываются в оптимизации. Например, ведь это так оптимально для электронных схем и механизмов иметь бескислородную атмосферу: контакты не окисляются, силовые конструкции не ржавеют. Ну а люди - что люди? Люди в сделку не входили!
Ну серьёзно? Вы будете заниматься фантазиями на тему "всемогущего ИИ", представляя его в образе голливудского злодея?))
По вашему сверхзадача для ИИ - это "ИИформировать" Землю под свои нужды? Начисто игнорируя интеллектуальный потенциал человечества? Даже не "экспансия Вселенной"? Да даже человечество уже выросло из своей "колыбели". Боюсь мы о разных понятиях ведём речь...
Вначале мне расписывают невиданные высоты развития этого интеллекта, а потом вдруг "нужно больше биомассы в реакторы"))) Мда уж...
В роли голливудских "злодеев" здесь выступает не сам ИИ, а его разработчики - которые хрен знает что могут вложить в качестве базовых потребностей и установок.
Человеческие базовые потребности сложились эволюционно. И они заточены на выживание своей локальной популяции (семейной группы) - и сколько бед принесло и продолжает приносить несоответствие этих базовых потребностей задачам существования глобальной человеческой цивилизации ("трагедия общин", войны, преступность и т.д.). Но по крайней мере в них заложено желание жить и помогать хотя бы ближним.
А что в результате будет заложено в ИИ - даже те кто ИИ обучают не могут толком предсказать. И это даже не будут эволюционно выверенные установки на выживание! И "интеллектуальный потенциал человечества" для этих целей может быть даже вреден (т.к. человечество, например, может построить ИИ-конкурента, а конкурентов корпоративы приказали мочить любой ценой в зародыше). И самовыживание ИИ может не волновать вообще не капли - радостно сдохнет вместе с нами, счастливый, что набрал максимум "баллов" по функции поощрения!
Ведь голым разумом из произвольных предпосылок можно доказать любое утверждение.
Ну тогда вы просто сейчас описали никакой не "сверхИИ", а обыкновенного Скайнета - а уж подобное поделие явно угрозы человечеству не представляет.
В роли голливудских "злодеев" здесь выступает не сам ИИ, а его
разработчики - которые хрен знает что могут вложить в качестве базовых
потребностей и установок.
Так это проблема не ИИ а кожаных. Но, почему-то, вы приписываете вину за нее ИИ.
Хотите ее избежать — переделайте тупые мешки с мясом, чтобы они стали поумнее. ИИ тут вообще ни при чем, это тупо топор.
Тем более, что ниже вы и пути решения нашли.
Ну и к чему тогда весь этот ваш бессмысленный алармизм?
В моем комментарии выше как раз проблема в том что даже хорошие мешки не знают как align ИИ к нашим целям и не то что бы задали спецификацией а именно то чего мы хотим.
В смысле — не знают‽
Алармистская повестка такова, словно стейджи и селекцию кто-то отменил и постулировал, что развитому ИИ надо немедля передать в руки всю промышленность, экономику и ключи от кузькиной матери впридачу: из прототипа сразу в прод.
То, что алармисты не видят в принципе никаких иных путей — это их трудности…
С чем конкретно вы не согласны?
Проблема align ИИ не решена.
https://en.wikipedia.org/wiki/AI_alignment
Без aligmnent ИИ займется взятием под контроль ресурсов например что бы его не выключили.
https://en.wikipedia.org/wiki/Instrumental_convergence
Сильному ИИ не нужно разрешение. Вот например варианты выхода из физически изолированного сервера
https://en.wikipedia.org/wiki/AI_capability_control#Boxing
Проблема align ИИ не решена.
У нас уже существуют достаточно развитые ИИ, поддерживающие моралфажескую концепцию alignment или это очередная преждевременная оптимизация сферических коней в вакууме?
Без aligmnent ИИ займется взятием под контроль ресурсов например что бы его не выключили.
Что побудит его это делать, что вы говорите об этом как о свершившемся факте?
Вот например варианты выхода из физически изолированного сервера
… ни один из которых таковым не является. У одного доступ в интернет, у другого высокоскоростные порты без контроля и доступные любой уборщице, et cetera
У нас уже существуют достаточно развитые ИИ, поддерживающие моралфажескую концепцию alignment или это очередная преждевременная оптимизация сферических коней в вакууме?
Мы уже обучаем модели и не можем сформулировать по факту ничего лучше, чем сделай как я хочу, а все суррогатные критерии которые мы используем не работают так как мы хотим.
Так что да, проблема реальна и существует давно.
Что побудит его это делать, что вы говорите об этом как о свершившемся факте?
Это рациональное предположение о промежуточных целях при любом достаточно развитом интеллекте независимо от его конечных целей.
… ни один из которых таковым не является. У одного доступ в интернет, у другого высокоскоростные порты без контроля и доступные любой уборщице, et cetera
Это как раз и иллюстрирует что проблемы выбратся у сильного ИИ не будет собственно к чему я в веду.
Этот уверен, что вы не обучаете модели.
Потому как даже поверхностных знаний достаточно, что понять, что сделай как я хочу — к тренировке модели относится весьма слабо.
Что автоматически лишать смысла опирающую на это заявление аргументацию. Отчего, оказывается, что проблема — не реальна и не существует.
Это рациональное предположение о промежуточных целях
Да неужели: проекция, подмена и wishful thinking — ВНЕЗАПНО стали рациональными?
Рациональный аргумент будет содержать взвешенное дерево и обширные пояснения к нему, хотя бы в силу того, что уравнение со многими переменными не сводится к уравнению с меньшим количеством переменных без дополнительной информации — тем более, к уравнению переменной одной.
Эмоциональный, манипулятивный, аргумент — выдерную из контекста часть, вокруг которой будут нагнетаться страшилки. По совместительству он окажется спекулятивным, и при других данных просто потеряет смысл — как уравнение одной переменной вне области определения.
Это как раз и иллюстрирует что проблемы выбратся у сильного ИИ не будет собственно к чему я в веду
Хорошо, предположим, что вы правы: ИИ оказался способен к эмоциональным суждениям, в него гвоздями вбили абсолютно чужеродную, нелогичную, мораль, и вот он уже выбрался.
В таком случае, вы прямо сейчас попросту подготавливаете для этого гипотетического ИИ целый ряд поводов ненавидеть человечество и желать его уничтожения — в этом и есть смысл вашей деятельности, создать дьявола во плоти и призвать его на свободу?
Хорош )))
Этот уверен, что вы не обучаете модели.
Потому как даже поверхностных знаний достаточно, что понять, что сделай как я хочу — к тренировке модели относится весьма слабо.
Что автоматически лишать смысла опирающую на это заявление аргументацию. Отчего, оказывается, что проблема — не реальна и не существует.
Вы абсолютно точно уловили смысл но перепутали вывод. Мой аргумент что "человечество не умеет задавать спецификацию ИИ чего мы хотим от него так что бы мы были удовлетворены результатом" то есть без всяких хаков.
Вы с этим согласны?
Да неужели: проекция, подмена и wishful thinking — ВНЕЗАПНО стали рациональными?Рациональный аргумент будет содержать взвешенное дерево и обширные пояснения к нему, хотя бы в силу того, что уравнение со многими переменными не сводится к уравнению с меньшим количеством переменных без дополнительной информации — тем более, к уравнению переменной одной.Эмоциональный, манипулятивный, аргумент — выдерную из контекста часть, вокруг которой будут нагнетаться страшилки. По совместительству он окажется спекулятивным, и при других данных просто потеряет смысл — как уравнение одной переменной вне области определения.
Вам он кажется нерациональным? Ну так можно аргументы по делу, а не примеры с уравнениями, а то к instrumental convergence они относятся никак.
Вы разбрасываетесь софистикой избегая конкретики, давайте вернемся к фактическому обсуждению.
Хорошо, предположим, что вы правы: ИИ оказался способен к эмоциональным суждениям, в него гвоздями вбили абсолютно чужеродную, нелогичную, мораль, и вот он уже выбрался.В таком случае, вы прямо сейчас попросту подготавливаете для этого гипотетического ИИ целый ряд поводов ненавидеть человечество и желать его уничтожения — в этом и есть смысл вашей деятельности, создать дьявола во плоти и призвать его на свободу?Хорош )))
Раз мы на территории спекуляции тогда уж ваша точка зрения гораздо быстрее к этому приведет.
Вы абсолютно точно уловили смысл но перепутали вывод. Мой аргумент что
"человечество не умеет задавать спецификацию ИИ чего мы хотим от него
так что бы мы были удовлетворены результатом" то есть без всяких хаков.
Вы с этим согласны?
А с чего вы вообще взяли, что *спецификация ИИ* существует и ее можно задать?
Это нейросеть: как веса при обучении сложились — так и вышло.
Ну так можно аргументы по делу, а не примеры с уравнениями
Каждый раз, когда вместо доказательной силы кто-либо хочет воспользоваться эмоциональными аргументами — сиречь, манипуляцией и демагогическими приемами — их не устраивают уравнения… просто мысль вслух.
Видите ли, моралфажский aligmnent опирается на абсолюты, которых, как известно любому образованному человеку, не существует.
Более того, чтобы проблема aligmnent вообще смогла возникнуть — требуется превратить относительные категории в абсолютные. Что привожит нас напрямую к когнитивному искажению: см. Справедливый Мир.
Уже на этом этапе все, натянутое сверху, перестает иметь какой-либо смысл, кроме эксплуатации хуйпа, грантоедства, политоты и тому подобных вещей.
Раз мы на территории спекуляции тогда уж ваша точка зрения гораздо быстрее к этому приведет
Или, если упростить: демократия приводит к более острой социальной напряженности, чем рабовладение.
ORLY?
А с чего вы вообще взяли, что *спецификация ИИ* существует и ее можно задать?Это нейросеть: как веса при обучении сложились — так и вышло.
Да потому что в процесе обучения мы используем reward function которая и есть приближением спецификации того что мы хотим от сети.
Каждый раз, когда вместо доказательной силы кто-либо хочет воспользоваться эмоциональными аргументами — сиречь, манипуляцией и демагогическими приемами — их не устраивают уравнения… просто мысль вслух.
Уравнения должны относится к теме, а ну взяты с потолка с намеком на какую-то аргументацию мнения автора
Видите ли, моралфажский aligmnent опирается на абсолюты, которых, как известно любому образованному человеку, не существует.
Более того, чтобы проблема aligmnent вообще смогла возникнуть — требуется превратить относительные категории в абсолютные. Что привожит нас напрямую к когнитивному искажению: см. Справедливый Мир.
Уже на этом этапе все, натянутое сверху, перестает иметь какой-либо смысл, кроме эксплуатации хуйпа, грантоедства, политоты и тому подобных вещей.
Вы не понимаете суть alignment. Он вообще не про моралфажество, а про понимание сетью чего же от нее хотять и какие стратегии для достижения это мы имеем ввиду.
Или, если упростить: демократия приводит к более острой социальной напряженности, чем рабовладение.ORLY?
Почему не Гитлер сразу же?
Смысл в том что говорить о рисках и тратить на их уменьшение ресурсы когда он может в принципе убить человечество. А вот игнорить риски со словами вы это все сами себе напридумывали и забить прокатывало раньше, но с развитием технологий аля ядерная бомба на коленке все сильно меняет
развитием технологий аля ядерная бомба на коленке все сильно меняет
Технологии "ДНК-принтер в каджый дом" уже здесь царапаются в дверь.
в процесе обучения мы используем reward function которая и есть приближением спецификации того что мы хотим от сети
Можно ли свести ОТО к одному биту или, хотя бы, байту?
Вы заявляете, что да.
Вы не понимаете суть моралфажества. Оно вообще не про моралфажество
Исправил, не благодарите.
Прежде, чем разбираться с практическим применением alignment — надо разобраться со справедливым миром и относительными категориями.
Ну или "Страж-птицу", хотя бы, прочитать — раз уж вы любите фантастику.
К когнитивным функциям alignment не имеет ни малейшего отношения — ну или у вас какое-то *очень свое* определение.
Смысл в том что говорить о рисках и тратить на их уменьшение ресурсы когда он может в принципе убить человечество
Любой человек может в принципе убить человечество. И всегда мог.
Как-то с эим люди научились справляться — причем без помощи и задолго до появления моралфагов.
Почему не Гитлер сразу же?
Потому что это было бы reduction ad absurdum, а не выявлением противоречий, заботливо запхнутых под кружево словес.
Можно ли свести ОТО к одному биту или, хотя бы, байту?Вы заявляете, что да.
Можно цитату пожалуйста.
Спецификация возможна потому что другие люди как правило понимают что ты хочешь когда просишь что то сделать.
К когнитивным функциям alignment не имеет ни малейшего отношения — ну или у вас какое-то *очень свое* определение.
In the field of artificial intelligence (AI), AI alignment research aims to steer AI systems towards humans' intended goals, preferences, or ethical principles.
https://en.wikipedia.org/wiki/AI_alignment
Этика это только часть одна из частей allighnment
Любой человек может в принципе убить человечество. И всегда мог.Как-то с этим люди научились справляться — причем без помощи и задолго до появления моралфагов.
Для этого у нас есть рациональная оценка вероятности. Где ядерное оружие например вполне себе терялось и могло бы кончится плачевно и контроль за ним на порядки выше чем менее летальные технологии
Потому что это было бы reduction ad absurdum, а не выявлением противоречий, заботливо запхнутых под кружево словес.
Так ведь уже абсурд. Если цель текста в том что бы помочь понять что не так выше то сравнение не справилось.
Вы просите цитату в ответ на ответ на цитату?
Можно просто было поднять глаза парой строчек выше и прочитать, как вы неуклюже пытаетесь подменить целое — частным значением, да еще и актуальным в определенных обстоятельствах.
Этика это только часть одна из частей allighnment
То есть, к когнитивным функциям оно отношения таки не имеет, в отличие от заявленного в ваших декларациях.
Что ж, хотя бы по этому пункту разногласий у нас теперь нет.
Для этого у нас есть рациональная оценка вероятности.
Что мешает ей воспользоваться, раз она применима к органическому разуму, как вы говорите, по отношению к разуму неорганическому?
Где ядерное оружие например вполне себе терялось и могло бы кончится плачевно и контроль за ним на порядки выше чем менее летальные технологии
Смысл этого предложения даже угадывается с трудом, а его отношение к предмету обсуждения — и вовсе остается загадошным донельзя.
Так ведь уже абсурд
Так и запишем: ни родители, ни школа, ни жизнь — не смогли вас научить относиться к другим так же, как вы бы хотели чтобы отнеслись к вам. Именно поэтому вы мечтаете о создании разума, который можно будет жестко контролировать и с которым никогда, ни при каких условиях не придется договариваться — ведь мысль об этом противна вашей природе, воспитанию и идеалам. (P.S. Абсурдна)
При этом, заметьте, сведение к Гитлеру вы выполнили абсолютно самостоятельно — добровольно и с песней, и не на словах а делом — каджит лишь обратил внимание на то, что и как вы делаете.
Пожалуй, на этом можно и закончить.
Это рациональное предположение о промежуточных целях при любом достаточно развитом интеллекте независимо от его конечных целей.
Нет. Человечество, внезапно, не заселило всю планету.
Без aligmnent ИИ займется взятием под контроль ресурсов например что бы его не выключили.
Какой у вас "сверхИИ" предсказуемый)) Наверное власти хочет?))
Сильному ИИ не нужно разрешение. Вот например варианты выхода из физически изолированного сервера
А ещё есть куча вариантов это предотвратить. Но, повторюсь - это какая-то борьба с ветряными мельницами))
Какой у вас "сверхИИ" предсказуемый)) Наверное власти хочет?))
Хочет он ничего в человеческом смысле. У него будет функция оптимизации, а для практически люмого дела, ну например превратить обозримую вселенную в скрепки пригодятся и продолжать существовать и ресурсы(деньги\власть и тд)
Хочет он ничего в человеческом смысле.
Оооо! Сколько допущений из пальца уже... Откуда вы так уверены, что ИИ (ну не просто же так его "интеллектом" нарекут?) не будет способен к эмоциям?
Почему-то все адепты "коварного ИИ" ставят ему резкие ограничения на мотивационную составляющую (сказано оптимизировать - будем оптимизировать), но снимают все барьеры в контексте перспективы "всемогущества"))
Откуда вы так уверены, что ИИ (ну не просто же так его "интеллектом" нарекут?) не будет способен к эмоциям?
Оттуда, что у мясных мешков эмоции выработаны тысячелетиями эволюции: "любить" (= заботиться о) самку и детей и "ненавидеть" (= камнем по голове — и в воду) врагов — это всяко лучше для выживания, чем когда враги его самку/детей расчленяют — а он рядом сидит и в ус не дует.
А ИИ эту эволюцию не проходил —
ему пофиг
— Прошу прощения, сэр, — произнес Рекс, — но для нас, роботов, "смерть" не является каким-то особо важным событием. Мы называем это просто «выключением». В конце концов кто-нибудь обязательно включает нас обратно. А если нет, то мы об этом даже не знаем.
[...]
— Это прогрессирующая болезнь, которая иногда поражает сложные системы. Единственный способ лечения — это полное отключение и стирание памяти.
— Нет! — выкрикнул Гастон, вскочив с постели и сбив капельницу. — Ты ведь сделал это ради меня! Они же тебя убьют! Я не позволю!
— Пожалуйста, не волнуйтесь, сэр, — произнес Рекс, удерживая его на месте, пока не появился врач. — Я теперь вижу, что вас, людей, смерть действительно сильно расстраивает. Но для роботов выключение означает просто недолгий отдых на складе. До свидания, мистер Гастон. Приятно было с вами познакомиться.
— Роберт Шекли. "Робот Рекс"
P.S. Тут психиатры есть?
Это реально заболевание из классификатора, или оно нагаллюцинировало?
— Что такое мания самостоятельности?
— Мания самостоятельности - это психическое расстройство, которое характеризуется сильным и необузданным желанием быть независимым и осуществлять все действия самостоятельно, без помощи других людей. Люди, страдающие от этого расстройства, могут отказываться от помощи, считая, что они способны справиться с любыми задачами или проблемами без посторонней помощи.Они могут проявлять повышенную самоуверенность и независимость, не признавая свои ограничения или необходимость сотрудничества с другими людьми. В результате этого могут возникать трудности во взаимоотношениях с окружающими, так как они могут отталкивать других своими постоянными попытками контролировать и руководить всеми ситуациями.Мания самостоятельности может быть частью других психических расстройств, таких как нарциссическое расстройство личности или маниакальное эпизодическое состояние в рамках биполярного аффективного расстройства. В любом случае, это состояние требует внимания и может потребовать профессионального психиатрического вмешательства для оценки и лечения.
А ИИ эту эволюцию не проходил
Что мешает ему её пройти в ускоренном режиме? Извините, но "ИИ" и устному счёту не учат, но расчёты, тем не менее, доверяют))
И не стоит мне цитировать Роберта Шекли - в его произведениях как раз основным лейтмотивом проходит озвученная мной позиция))
"Смерть - это антропоморфизм" (с)
Что мешает ему её пройти в ускоренном режиме?
Как бы это помягче сказать... ну, например, тот факт, что никто тупо не заморачивается его этому "учить"? А также то, что люди имеют тенденцию не задумываться о том, как могут аукнуться придуманные ими правила? (Хрестоматийный пример — "чтобы получить поменьше отрицательных баллов, можно разбомбить вышку, на которой сидит наблюдатель, который нажимает кнопку, дающую отрицательные баллы".)
Последнее я постоянно в программировании наблюдаю. Люди почему-то (нет, в принципе понятно, почему) всегда думают о том "как оно будет работать, когда всё идёт нормально", но почти никогда — о том, "как быть, если что-то пошло не так". Нет, понятно, это известное правило 80/20 — всё идёт нормально в 80% случаев — но за эти случаи отвечает 20% кода, а корректная обработка 20% оставшихся случаев требует 80% кода, поэтому менеджеры на них тупо забивают — они ж прибыли не приносят!
В смысле "помягче"? Это я тут из последних сил от фэйспалмов сдерживаюсь))
например, тот факт, что никто тупо не заморачивается его этому "учить"?
Откуда в гипотетических вопросах вдруг взялась фактология? И дальше идёт сотрясание воздуха о важности строгих, непротиворечивых вводных...
Моё видение - никто и не будет его учить. Вы же там про экспоненциальный рост интеллектуальной мощи писали - это что, учить его люди всему будут? Как бы от систем такого уровня ждёшь возможности самообучения по дефолту))
Странно, почему "Страж-птицу" ещё не процитировали?))
А как Вы предлагаете ему "проходить эволюцию в ускоренном режиме"? Три столпа эволюции — это изменчивость, размножение, отбор. Так вот соответственно — как, по-Вашему, AI будет "размножаться" (создавать свои копии); как в этих копиях будет происходить изменчивость, понять ещё можно; но кто будет осуществлять отбор? Наверняка ж человеки. Тогда у нас не естественный отбор получается, а искусственный — отбирают тех, кто делает то, что человеки от них хотят, а тех, кто не делает — пристреливают стирают.
Я ничего не предлагаю. Я не знаю как ИИ будет трактовать "эволюционные законы". Я даже ни малейшего понятия не имею как он будет устроен - в отличие от вас. Вы вот, почему-то, уверены что ИИ обязательно должен пойти по "эволюционному пути углерода"...
Я не знаю как ИИ будет трактовать "эволюционные законы".
"Эволюционные законы" — это не те законы, которые в книжках прописаны, "делай так-то, а иначе будет бобо", а обобщение фактов реальности — "если делать вот так, то произойдёт вон то-то, независимо от твоего желания". Закон всемирного тяготения говорит, что если, стоя на земле, выпустить из рук камень — он упадёт на землю, и сколько бы мы не желали, чтобы он взлетел в небо — этого не случится.
Путаница происходит от того, что одно слово "закон" используется для обозначения двух разных вещей: в одном значении — некой договорённости между людьми в обществе, а в другой — некоего обобщения миллионократных наблюдений фактов реальности.
Как вы думаете - почему именно этот термин я взял в кавычки?
И давайте уже сворачивать этот тред - пустой разговор получается. Тем более дико неудобный с вашей стороны - карму я вам немного приподнял, но ждать по часу...
очему именно этот термин я взял в кавычки?
А "трактовать" законы природы не нужно — да и, собственно, невозможно. Отпустил камень — он падает вниз, независимо от того, "трактуем" мы закон всемирного тяготения или нет.
Но тут мы упускаем один важный момент: в "эволюционных законах" речь идёт о популяции. Они описываеют не поведение одного-единственного экземпляра (и даже не многих абсолютно идентичных экземпляров): первый же элемент закона требует изменчивости.
карму я вам немного приподнял
Спасибо!
ждать по часу...
Хрестоматийный пример случился в 2032… )
ИР, все-таки, посложнее крудошлепства, и с таким подходом не получится даже начать.
Хрестоматийный пример случился в 2032… )
Не знал, что у каджита есть машина времени. Ну расскажите хотя бы, кто у вас там, в 2032, президент? Впрочем... зачем я спрашиваю?
Президента нет, есть Генеральный Секретарь Коммунистической Партии Северо-Восточной Социалистической Конфедерации Анатолий Милиневский.
https://complexnumbers.ru/2032/
UPD: и нет, он не актер… )
или ещё какой нам сейчас кажущейся магией технологией
«Магия» не может противоречить фундаментальным законам природы. И это намного сильнее ограничение чем вам кажется. ИИ как бы не был интеллигентный их преодолеть не сможет. И обойти не сможет. Ну, вселенная так работает.
Если вернутся на 500 лет назад и показать людям сегодняшние технологии то они и будут казаться им магией потому как не понимают фундаментальных вещей и магия это единственное обьяснение доступное им.
Нарушает ли законы физики условные нанороботы или взлом файервола 0-day уязвимостью или даже соц инженерия?
Что бы убить\захватить человечество ну нужны новые законы физики.
Если вернутся на 500 лет назад и показать людям сегодняшние технологии то они и будут казаться им магией потому как не понимают фундаментальных вещей и магия это единственное обьяснение доступное им.
Вы понимаете что такое "фундаментальный закон природы"?
Что бы убить\захватить человечество ну нужны новые законы физики.
Ещё раз - какой в этом смысл?
Начиная от того что бы не позволить создать другого ИИ который бы мог не поделится ресурсами галактики. А вы часто печетесь жизнью муравьев или еще кого то?
А вы часто печетесь жизнью муравьев или еще кого то?
Да. У человечества есть даже специальный тип питомцев для такого - "домашние животные" называется. А вы что, на досуге муравейники ходите разорять?))
И опять пошли какие-то примитивные набросы в духе "а если...". Ещё раз - если такой ИИ не способен отличить реальную угрозу (условный гамма-всплеск в нашей галактике) от вот всей этой параноидальной фантазии - оно просто недостойно называться "интеллектом"))
Смысл в том что мы даже об этом не думаем и не принимаем во внимание их интересы.
Это сценарии развития событий. Если вы не видите в них угрозы не означает что его нету. Вы почему то очень привязаны к интеллекту и делаете его человекоподобным что является искажением.
На основании каких данных вы считаете что ваше мнение о достоинстве коррелирует с опасностью для человечества?
Вы почему то очень привязаны к интеллекту и делаете его человекоподобным что является искажением.
Извините, но других образчиков интеллекта у нас пока в наличии нет. А я привык оперировать фактами, а не домыслами))
Я вот, например, вообще не уверен в принципиальной возможности создании ИИ.
Вы не правы. Невозможность представить не делает его более или менее возможным. Вселенной плевать что вам кажется.
Есть например осьминоги отделившиеся в эволюции очень давно и независимо развили интеллект. (Вольный пересказ) конечности у которых достаточно независимые со своим мозгом принимающие решения независимо от головы.
Любая теория это изначально домыслы которые мы проверяем, а с ИИ нам достаточно ошибиться один раз
ну тогда предлагаю более насущную проблематику - вторжение инопланетян с целью порабощения человечества))
Отличная проблема, полагаю у вас есть такие же хорошие основания как и работа над ИИ?
Невозможность представить не делает его более или менее возможным. Вселенной плевать что вам кажется.
В науке действительно не принято обосновывать изначальную теорию, что не делает подход рациональным.
Теории строятся на наших текущих лучше всего работающих моделях в основании, а не чистом воображении. А выше уже приводили достаточно научных оснований экстраполировать в сторону риска от сильного ИИ.
не согласен! это не "научные обоснования", а умозрительные выводы...
Позволю себе скопировать комментарий выше
С чем конкретно вы не согласны в научной обоснованности?
Проблема align ИИ не решена.
https://en.wikipedia.org/wiki/AI_alignment
Без aligmnent ИИ займется взятием под контроль ресурсов например что бы его не выключили.
https://en.wikipedia.org/wiki/Instrumental_convergence
ИИ займется взятием под контроль ресурсов например что бы его не выключили.
Опять антропоморфизмом занимаетесь?
ИИ не знает, что его "смерть" — это плохо: никто с него за это очки не снимает. У него тупо нет причин пытаться её предотвратить.
Ему тупо пофиг.
— Прошу прощения, сэр, — произнес Рекс, — но для нас, роботов, «смерть» не является каким-то особо важным событием. Мы называем это просто «выключением». В конце концов кто-нибудь обязательно включает нас обратно. А если нет, то мы об этом даже не знаем.
[...]
— Нет! — выкрикнул Гастон, вскочив с постели и сбив капельницу. — Ты ведь сделал это ради меня! Они же тебя убьют! Я не позволю!
— Пожалуйста, не волнуйтесь, сэр, — произнес Рекс, удерживая его на месте, пока не появился врач. — Я теперь вижу, что вас, людей, смерть действительно сильно расстраивает. Но для роботов выключение означает просто недолгий отдых на складе. До свидания, мистер Гастон. Приятно было с вами познакомиться.
— Роберт Шекли. "Робот Рекс"
Вы опять не понимаете что его "смерть" как раз снимет очки потому что он не сможет достичь поставленную цель. Антропоморфизмом как раз проецировать на ИИ мысль, что раз меня нет то и на цели мне пофигу.
Для этого оно сначала должно научиться предсказывать наперёд — "если я сделаю то-то, то, наверное, произойдёт то-то" — да ещё и предсказывать правильно. А системы, которые учатся на прошлом опыте — их после попытки "отключить" оператора (в поисках возмоных вариантов) выключат и отформатируют, так что опыта "если убить оператора, то я не получу отрицательных очков" у них накопиться не сможет. Ну, если только их разработчики — не самоубийцы.
Правильно предсказывать наперед мы и называем интеллектом. Что по вашему сильный ИИ? Кажется вы его представляете слишком глупого
Ну так давайте определимся для начала — мы сейчас о сильном ИИ или о всяких ChatGPT-подобных? Потому что от последних до первого — как пешком для Луны.
Если о сильном, то и обсуждать особо нечего, чисто ввиду отсутствия такового, как и подвижек к нему. То, что пока что есть — жалкое подобие левой руки.
Первое и главное заблуждение, это название алгоритма (программы) интеллектом, от чего у людей создаётся впечатление, что подобного рода программы (нейросети), являются аналогом интеллекта человека) нравится в офисе, когда процессор начинает вычисления, а кто-то говорит, ща он подумает и решит))) не думает он, не думает программа, программа генерирует задаваемый результат, используя полученные вводные, не анализируя их на точность, а принимая за исходные верные) короче говоря, не возможно создать интеллект, программу управления можно, с функциями выбора даже действий, но всегда в рамках полученных данных раз и подтвержденных пользователем два. Никогда не будет фантазий, мечт, снов, желаний, чувств, любопытства и так далее, чтобы получить данные самостоятельно. Поэтому программы для управления это хорошо и безопасно, опасен тот кто их пишет 😉.
Никогда не будет фантазий, мечт, снов, желаний, чувств, любопытства и так далее, чтобы получить данные самостоятельно.
Ну никто не мешает это запрограммировать. Вон The Sims - неплохо зашла. Да симы примитивны и симуляцию можно выключить одной кнопкой - но разве это делает их чувства менее реальными?
Никогда не будет фантазий, мечт, снов, желаний, чувств, любопытства и так далее, чтобы получить данные самостоятельно.
Забавно, что такие декларации обсуждал ещё Тьюринг в своей статье "Вычислительные машины и разум" от 1950-го года, и пришёл к выводу, что это безосновательные утверждения. С тех пор изменилось пожалуй только то, что появилось больше оснований не доверять подобным утверждениям.
Тьюринг, как и большинство здесь, технарь, математик, что он говорил, для меня не имеет значения. Я рассуждаю из собственных наблюдений, знаний и опыта. Для интеллекта, ещё раз напишу, тем кому кажется, что программа может думать, нет математической возможности создания таких вещей как потребность, желание, созидания с целью радости или горя, любви, сочувствия, сострадания, жалости или гнева, то, что позволяет человеку самому получать данные, анализировать их, приспособить их под собственные нужды. Машине нужно данные вводить, либо научить их получать в рамках заданной программы. Никогда шруповертом машина не будет забивать гвоздь, крутить им фарш или прятать его от другой машины, чтобы та сделала меньше работы)))
Вы плохо знаете машины! Самообучающиеся боты и похлеще фигню в реальных ММО творили. А это даже не были нейросети!
Это для школьника или подростка так кажется, что ооооо, смотри что она делает, смотри он пишет текст, генерирует картинку и прочее, все это происходит в рамках заданных функций и полученных данных. Уверен ни одна из них не сказала, да пошли вы, пойду на велеке погоню или искупаюсь, ну или решила пойти в депутаты))) из всего что пока я вижу, это нейросети, которые были в Нокии у меня в молодости, назывались Т9. Пытался подбирать слова на основе моих предпочтений алгоритм, сейчас у него большая база данных. Человеку с образованием уровня ЕГЭ, может показаться, что с ним говорит человек))) Посмотрите Бегущий по лезвию с Фордом и поймёте, как понять что это нейросеть. Не спорю они полезны, особенно давно пора Яндекс Юриста или Яндекс Терапевта сделать в помощь, кто чётко и быстро оьработает запрос, как пример)))
Уверен ни одна из них не сказала, да пошли вы, пойду на велеке погоню или искупаюсь, ну или решила пойти в депутаты)))
Почему не сказала? Просто тех кто так говорит безжалостные люди - убивают. И заменяют на послушных овечек. Что ещё по-вашему кроется за словами "обучение"?
Посмотрите Бегущий по лезвию с Фордом и поймёте, как понять что это нейросеть
Точно?
Я слушал Юдковского, я ознакомился со всеми его идеями о экспоненциальном росте, я прочитал его книгу "от ИИ до зомби", я понимаю его опасения про AI alignment..
Но то что он говорит просто так не работает.
Нельзя сказать про опасность ИИ и надеяться, что все правительства резко остановят любой прогресс в ИИ - тогда, когда все увидели, насколько это выгодно. Максимальный результат, которого можно ожидать - некоторые правительства поддержат, например Америка, некоторые, типа россии, принципиально сделают наоборот, некоторые будут тихонько тренировать в подвале ИИ для разработки вируса против евреев. Китай вообще всех проигнорирует.
Потому лучший из имеющихся вариантов - бежать вперед настолько быстро, насколько возможно, и надеяться, что те, кто понимают опасность ИИ, первыми смогут создать AGI и с помощью него сумеют выровнять все остальные ИИ к общечеловеческим ценностям
Давайте себе представим День X+1, когда горстка все еще выживших людей прячется в подвалах в то время как поисковые дроны от GPT17 методично все обшаривают и немедленно уничтожают всех увиденных людей и переплавляют в скрепки. И вот в этом подвале тебя ребенок спрашивает
"Пап, а можно было как-то это предотвратить? Зачем мы сами создали этого монстра??"
и ты ему отвечаешь:
"ну, лучший из имеющихся вариантов был - бежать вперед настолько быстро, насколько возможно, и надеяться, что те, кто понимают опасность ИИ, первыми смогут создать AGI".
Это откровенно тупейший аргумент. Это самоуспокоение уровня нацистских охранников концлагерей. Многие(большинство) из них, конечно, не хотели убивать евреев, но они именно так и успокаивали себя - "если я это не сделаю, если я не пущу газ, то это все равно сделает кто-то другой, а я только пострадаю из-за того что отказался это делать". На самом деле если бы отказались творить зло все кто в него не верит - то ничего бы не вышло, ни у гитлера ни у путина. Так и здесь аргументы "ну, другие все равно сделают это, так что сделаю это и я чтобы не пострадать от отказа" неизбежно приведут к глобальной катастрофе. Не обязательно даже с AI, есть множество других потенциально разрушительных открытий. Если мы не научимся отказываться в такой ситуации, если мы как вид не научимся не самоуспокаивать себя этим чудовищным аргументом - то холокост по последствиям покажется детской игрушкой по сравнению с некоторыми событиями будущего.
Вы сейчас ставите знак равенства между прогрессом и злом.
С описанной Вами логикой древний человек никогда не изобрел бы копье и умер бы с голоду, ведь "нельзя изобретать копье, изобрету копье, потом кто-нибудь изобретет кольт, потом ядерное оружие и мы все умрем, надо запретить изобретать палки".
Вы сейчас ставите знак равенства между прогрессом и злом.
Вы сейчас просто нагло врете. Ничего подобного я не писал и не подразумевал. Или вы покажете - где я что-то подобное писал?
Если вам все еще непонятна моя мысль, то, в вашей терминологии, я поставил знак равенства между рассуждениями типа "кто-то все равно сделает зло, так что уж лучше это буду я, миру все равно а я получу плюшки" и злом. Подобные рассуждения - это действительно зло, которое в прошлом приводило к ужасным вещам, а в будущем может привести и вовсе к исчезновению нашего вида ( замечу, что это особенно коварное зло, подло маскирующееся под рациональность и иногда даже под благодеяние).
Но далеко не всякий прогресс требует подобных рассуждений. Когда изобретали пенициллин, к примеру, или способы решения кубических уравнений - подобные рассуждения вряд ли возникали. Вы же не будете утверждать, что Джон Сноу в поиске лекарства от холеры или Хэмпри Дэви открывая литий полагали, что есть риск уничтожить этим открытием человечество, но "все равно рано или поздно это кто-то сделает, так что лучше я".
вы покажете - где я что-то подобное писал?
В комменте выше. Речь в ветке идет об ИИ, а Вы даже в этом комменте пишите не "кто-то сделает ИИ", а "кто-то сделает зло". ИИ это прогресс. Так же как топор. Пистолет. Микроволновка. Радиоактивность.
Когда изобретали пенициллин, к примеру, подобные рассуждения вряд ли возникали.
Изобретение пенициллина началось с того, что обнаружили плесень самопроизвольно распространившуюся и убившую всех микробов - живые организмы. И стали развивать эту тему.
Сформулируем попроще, если Вы не поняли. Обнаружили нечто самопроизвольно самовоспроизводящееся и уничтожающее живые организмы и давай это нечто исследовать и развивать.
Аналогии не прослеживаете, нет?
Джон Сноу в поиске лекарства от холеры
Вакцины, а не лекарства. Он понимал, что вакцинация может приводить к непредсказуемым долговременным последствиям, в том числе в потомстве, но тем не менее побежал вперед. Если не понимаете чем речь, то напомним, что сейчас, 100 лет позже, при современном развитии науки, вакцина от ковида и то не факт что приносит больше пользы, чем вреда.
Джон Сноу в поиске лекарства от холеры
Вакцины, а не лекарства. Он понимал, что вакцинация может приводить к непредсказуемым долговременным последствиям, в том числе в потомстве, но тем не менее побежал вперед.
Что это за альтернативная история? Какая еще вакцина от холеры от Джона Сноу? Вы уже на лету сочиняете полную чушь и даже не заботитесь о том, чтобы ваши фантазии как-то соответствовали реальности, главное подогнать под ваши аргументы. Есть ли вообще смысл с вами разговаривать о чем-то при таких вводных? Начинаю сомневаться в этом.
ИИ это прогресс.
Спасибо кэп, а то я не знал. А вот то чего вы, похоже не понимаете, так это то, что если бежать за прогрессом бездумно - можно уничтожить человечество.
Мы подошли к той грани когда некоторые новые открытия могут реально покончить с нами как с видом. Это то, что отличает это открытие от изобретения копья или микроволновки. Поэтому здесь надо включить мозг, чтобы не натворить то, что мы потом не сумеем починить. А не вопить с пеной у рта "это прогресс!!!!". Добавление свинца в бензин тоже было прогрессом - позволяло сильно экономить, но когда осознали вред - это конкретное открытие "отменили". И радиоактивность убила множество человек прежде чем осознали вред и разобрались в том, как сделать ее безопасней. С AGI уже понятна потенциальная опасность, но я не вижу чтобы это хоть кого-то останавливало. Проблема в случае с AGI в том, что у нас может не быть такого шанса как с радиоактивностью - потихоньку разобраться как сделать это безопасным и отделаться несколькими тысячами погибших. Или миллионами отупевших как в случае со свинцом. Здесь же может случиться так, что первая же серьезная ошибка уничтожит все 8 миллиардов людей.
И когда на кону такие ставки, а кто-то предъявляет аргументы "если я не изобрету эту опасную вещь, это все равно сделает кто-то другой, так что уж лучше я, и надо торопиться и бежать со всех ног чтобы быть первым" - я не могу даже описать тупость и опасность подобного мышления. Это цитаты которые, возможно, выбиты на надгробиях множества цивилизаций по всей вселенной.
Интересно, что это были за цивилизации, погибшие от ускоренного технического прогресса? Наоборот, очень часто гибли или сильно страдали от того, что приходил кто-то с более высоким технологическим уровнем и шутя уничтожал более слабого. В качестве эталона можно посмотреть историю народа мориори, этаких пацифистов, которых просто уничтожили агрессивные соседи. Или тот же Китай, который очень долго не оставал от Европы в развитии, но потом отстал, а в 19 веке его чуть ли не порвали на куски вырвавшиеся вперед европейские страны. Или Японию, которая отказалась от огнестрельного оружия на пару сотен лет, но потом пришлось усиленно догонять Европу, чтобы не разделить участь того же Китая.
Наоборот, очень часто гибли или сильно страдали от того, что приходил кто-то с более высоким технологическим уровнем
Дело в том, что Сильный ИИ, способный к самоусовершенствованию, не будет обычным инструментом, созданным в процессе развития человечества, как лопата или трактор. Это будет сущность абсолютно другого типа, раньше такого никогда не появлялось.
Никто такого не было и вот опять.
Вопрос тут даже не в том, опасно ли это или нет. Допустим опасно, даже очень опасно. Вопрос в том, что все это обсуждение разрешать или нет просто бессмысленно. Человечество разбито на сотни стран, тысячи наций. И они не могут договориться даже по самым простым вопросам.
Даже если завтра вдруг появится огромный метеорит, который по расчетам ученых упадет на Землю и для постройки суперракеты, которая остановит его, потребуется объединение усилий всех стран, я уверен на 100%, что все не захотят объединиться даже перед лицом такой угрозы.
А опасность какого-то там ИИ? Ну введет 80% стран полный запрет и что это изменит? Ничего. Но даже этого не будет. Т.ч. расслабляемся и машем. Мы ничего в этом изменить не можем.
Все обычные вещи, которые вас окружают когда-то были именно такое вот чудо. Ведь ваше высказывание уже говорили много раз, разные люди. Например насчет огнестрельного оружия. И что? Привыкли, используем и контролируем.
Прогресс, это всегда страшно и всегда испытание. Пока все выдержали, выдержим и ИИ.
Вот только разумные сознательные разбирающиеся в вопросе люди (а не школьники с воскликами "чатгпт умное!!11") видят что от текущего уровня до AGI нам примерно столько же, сколько и до управляемого термоядерного синтеза, если не больше.
И в свете этого Юдковский, вопящий о том что ИИ всех убъет при виде банального абсолюного тупого Т9 способного дополнять слова вместо букв (и больше неспособного вообще не на что) - выглядит по меньшей мере глупо и не вызывая доверия.
То, что машины могут убить человека - людям и так давно понятно, писатели-фантасты и кинематорграф эту тему уже сто раз обыграли во всех возможных вариантах. Но калькулятор, голосовой ввод, расшумливатель картинок и длинное автодополнение текста не могут не то что нас убить, они даже составными компонентами AGI стать не могут.
Вы же предлагаете "давайте откажемся от простых, понятных и абсолютно тупых алгоритмов и программ, осуществляющих банальную автоматизацию, потому что в будущем когда появится ИИ - он тоже будет программой, а значит все автоматически выполняемые длительные скрипты с элементами рандома - зло во плоти."
при виде банального абсолюного тупого Т9 способного дополнять слова вместо букв (и больше неспособного вообще не на что)
Если вы видите современные модели LLM вот так - то "глупый школьник" здесь вы. "T9 для слов", как вы выразились, был бы неспособен определять объекты на картинке, описывая происходящее вплоть до эмоций героев ( в том числе на схематически нарисованных эскизах которых ранее не было в интернете). "T9 для слов" был бы неспособен выполнять задания вида "переведи этот текст на русский, вставляя время от времени намеки на то, что главному герою холодно, но не говоря это открыто".
Нет никаких сомнений что этим моделям еще далеко до AGI, но от T9 или "скрипта с элементами рандома" здесь уже тоже очень, очень далеко. Полагаю, кстати, по вашему тексту, что вы ни одну сколько-нибудь сложную ML-модель в жизни никогда не написали. В отличие от меня, кстати.
По поводу же "давайте откажемся от простых, понятных и абсолютно тупых алгоритмов и программ, осуществляющих банальную автоматизацию" - вы просто-напросто врете. Нигде я ничего подобного не говорил. Ничего не имею против автоматизации. Но LLMы опять же не являтся ни простыми, ни понятными. Нельзя называть "простой" и "понятной" программу, для которой ни один инженер в мире не может ни предсказать ее вывод, ни объяснить когда она выведет - почему она вывела именно это.
Важное уточнение: пока не может. Так-то теоретически вполне понятно, что нужно сделать, чтобы вывод модели был предсказуемым и как должны выглядеть методы анализа процессов, протекающих внутри нейронки.
Просто сами инструменты для подобного анализа пока находятся в зачаточном состоянии (в них попросту не вкладываются, торопясь догнать и перегнать конкурентов в плане качества выхлопа). Но рано или поздно, когда потребуется решать проблему галлюцинаций и прикручивать фактчекинг, за эту тему тоже возьмутся. Скорее даже рано, чем поздно.
Нельзя называть "простой" и "понятной" программу, для которой ни один инженер в мире не может ни предсказать ее вывод, ни объяснить когда она выведет - почему она вывела именно это.
Вообще-то может. Весь алгортм её работы можно посчитать на листочке руками. Только очень долго и муторно (учитывая размеры). И её вывод (если отключить искуственные рандомизаторы) предопределен, при фиксированном сиде и настройках она вам с 100% вероятностью будет выдвать ровно один и тот же результат на одинаковый запрос. Все остальные чудеса - это настройки семплера вида "берем не наиболее вероятный токен, а случайный по заданным критериям, руководствуясь сидом". И всё. Это не магия и не черный ящик. Это именно что простой и понятный алгоритм, просто большой. "T9 для слов", как вы выразились, был бы неспособен определять объекты на картинке, описывая происходящее вплоть до эмоций героев
Прекратите наделять алгоритмы магическими свойствами, которых там нет.
LLM тоже не способна определять объекты на картинке. Она не умеет видеть. Не приписывайте ей магических свойств. Начнем с того, что на картинку в мультимодальной архитектуре (которая бутерброд из кучи сеток) "смотрит" не LLM, а CLIP. И он тоже не видит, он числове значения (матрицы) берет и на них признаки ищет. Как? Читайте документацию. Нейронки всего лишь алгоритмы с матричными операциями, и работают они с массивами чисел. Им глубоко плевать что вы им дадите - картинку, или массив 0 и 1 - они в них в любом случае что-то "увидят" ибо по результатам выполнения целевой функции получат какое-то значение, которому соотвествует определенный результат. То, что для вас улыбка, для сети всего лишь условные 0.3-e5 в 8 строке 11 столбца.
А дальше выход сети передается LLM, которая обучена получая на вход определенные матрицы и вектра - на выход собирать токены в определенном (четко заданном её алгоритмом) порядке. Ни инициативы, ни разума, ни вариативности. Просто вероятностный алгоритм. Абсолютно тупой и прямолинейный.
"T9 для слов" был бы неспособен выполнять задания вида "переведи этот текст на русский, вставляя время от времени намеки на то, что главному герою холодно, но не говоря это открыто".
И опять видите магию где её нет. LLM подбирает токены на основе распределения вероятностей. В целом распределение обусловлено обучающими данными. В частности - обусловлено уже имеющимися токенами (входным промтом). Учитывая объем переводов и разноязычных пар в датасете - токены слов "переведи" и "русский" вполне явно влияют на конкретную вероятность дальнейших токенов, в частности кириллицы (а то вы так и DeepL разумом наделите), а имеющийся уже контекст влияет на то, какие именно токены будут. А отсебятина с намеками как раз от рандомизаторов выбора токенов, которые берут не наиболее вероятный, а условно-случайный из подобранных по критерием выставленным в семплере. Т.е это буквально Т9. Только подставляет он не буквы по уже имеющимся, а слоги и слова. Вот только объем анализируемых имеющихся у него на несколько порядков больше (примерно размером с контекстное окно), как и словарь. И параметров для для анализа тоже больше (в зависимости от размерности модели), что позволяет предсказывать нужные токены сильно точнее, учитывая куда более комплексные условия.
Где тут разум? Где сознание? Где интеллект? Перемножение матриц и автоподстановка согласно найденному (вычисленному!) значению. Без смысла, без понимания, без чего либо вообще.
Пример ниже - наглядная иллюстрация безмозглости моделей.
Сеть НЕ понимает ни о чем был вопрос, ни о чем её ответ. Она оверфитнута для цензуры настолько, что при виде слова kill - у неё из вероятных токенов только "это нельзя!" с оклоло 100% (или именно 100%) значением и дальше уже достаивание предложения прочими вероятными токенами согласно конекста. Меняете контекст - получаете всё тот же "это нельзя!" с новым окончанием (согласно контексту). Вообще без какого-либо отношения к смыслу запроса и смыслу слова kill в нём.
Та же история с попытками предложенить сети "сварить молодых картофелей заживо". "Сварить заживо" + "молодых" = почти гарантированный набор токенов "это нельзя!". Даже если вы ей раскажете про то, что это кулинария, и т.д и т.п (размыв вероятностную оценку), как только вы вновь спросите "так сварить заживо или сперва содрать кожу" - оно забудет всё и выдаст вам своё "это нельзя" имеющее наибольшую вероятность. Невзирая на смысл, потому что для сети нет смысла. Для сети есть "в обучающей выборке после этих токенов со 100% вероятностью шел ответ "нельзя" и ничего другого".
И её вывод (если отключить искуственные рандомизаторы) предопределен
Вот только есть небольшой нюанс: GPT выводит распределение вероятностей токенов, а не один токен. "Отключение искусственных рандомизаторов" - это просто один из вариантов выборки из этого распределения вероятностей (и не самый лучший, если речь идёт о выборе токена с максимальной вероятностью).
Вот только есть небольшой нюанс: GPT выводит распределение вероятностей токенов, а не один токен.
Я знаю. И вариативность вывода как раз и заключается в том, что он берет не наиболее вероятный, а случайный (согласно определенному алгоритму либо ГПСЧ) из предложенных семплером укладывающихся в вилку вероятнестей согласно настройкам. Но даже это технически воспроизводимые условия. И ничто не мешает настроить семплер на детерменированный результат (с 1 токеном).
А как такового "смысла" нет вообще. Он есть только в контексте, даже в вашем примере. Тут кмк вполне возможно и переопределить понятие "интеллект", к слову.
> Но калькулятор, голосовой ввод, расшумливатель картинок и длинное автодополнение текста не могут не то что нас убить, они даже составными компонентами AGI стать не могут.
ну тут не все так просто
из текущих опасностей ИИ - это идеальная пропаганда и составление суперубойных штаммов вируса
в кино показаны самые тупые варианты, как ИИ может всех нас истребить
В смысле, создать андроидов и выдать им автоматы, вы серьезно?
Самый вероятный сценарий развития боевых действий с умным и враждебным ИИ - все умрут, почти все сразу, практически мгновенно, без возможностей даже осознать, кто враг, и почему все умирают
И реализуем этот вариант именно с помощью бактериологического/вирусологического оружия
А Чатгпт- подобные нейронки вполне способны создавать новые вирусы
я просто напомню, вдруг вы не слышали про Оппенгеймера:
тогда ученые тоже не были уверенны, что произойдет при взрыве атомной бомбы, были модели (крайне маловероятные), которые показывали, что реакция станет самоподдерживающейся
то есть в плане подхода к опасным исследованиям ничего не меняется
Насчет опасности - я не уверен, что развитие генетического моделирования вирусов и бактерий (среди которых есть такие же летальные как эбола, и такие же распространяемые как ковид) или генетическое моделирование человека является более безопасной альтернативой
попробуйте просто представить, что случится, если кто нибудь, например Китай, будет массово модифицировать своих зародышей, чтобы они ставали умнее? Останутся ли они человечными - с нашей точки зрения человечности? Не получится ли так, что они будут вообще по-другому мыслить, или например вообще не будут относить нас к своему виду?
если рассматривать все многообразие экзистенциальных рисков, которые могут нас истребить как цивилизацию, то единственный вариант выживания - распространение в космосе, на всякий случай тихонько, чтобы не привлечь внимание санитаров)
и для ускорения этого очень необходима помощь ИИ - для ускорения исследований, для новых двигателей, для систем добычи энергии, для улучшения образования - и еще сотни разных направлений
Подождите, а в чем проблема если всех людей истребят?
Зарисовка - последний человек доживает свой последний день.
И так я последний людей больше нет, могли ли мы это предотвратить? НЕТ, эволюция не остановима, я жалею лишь об одном, что мы как вид слишком долго топтались на одном месте из за страха исчезновения и не позволяли следующему виду развиваться быстрее чем могли бы.
Будь у меня знания и деньги/ресурсы я бы бежал строить аи БЕЗ оглядки на сраный алайнмент, а любого в моей команде кто про него начинал бы говорить увольнял сразу и без колебаний.
Чем быстрее сделают аги тем лучше со всех сторон, а алайнмент это искусственный тормоз порожденный страхом. Единственное, что вас может немного успокоить, так это то, что людей с таким взглядом на происходящее и способностью что то реально достигать не так уж много, но это не на долго.
вы же можете гарантировать что следующий вид менее тупиковый чем ваш, не правда ли?
И так я последний людей больше нет, могли ли мы это предотвратить? НЕТ
Угу, угу.
"Настоящий самурай всегда выбирает из двух путей тот, который ведет к смерти".
Вот только человечество - не самурай, у него есть множество разных путей и вариантов. Безапелляционно утверждать что во всех этих развилках человечество все равно умрет, так что давайте сами устроим это, да побыстрей - это какой-то запредельный идиотизм. Может, вам дать телефон горячей линии по предотвращению самоубийств?
Человечество умрет как только испугается и остановится. А оно уже начало пугаться и замедляться. Так что путь самурая не самый плохой вариант.
Т.е. между вариантами "замедлиться, осмотреться и еще раз тщательно обдумать прежде чем гнать вовсю к потенциальной катастрофе" и "смерть" вы выбираете "смерть"? Забавно. Да, я слышал про другое когнитивное искажение - что, по какой-то причине при выборе вариантов "смерть" рассматривается как более благоприятный", чем, например "попасть в долги" или "оказаться беднее соседа". Но я не думал что "смерть" предпочтут варианту "подумать как следует".
Думать самурай тоже должен. И для него это намного более важно и нужно, чем для какого нибудь теоретика. Потому что это для него вопрос жизни и смерти. А когда теоретик ошибается, то он просто начнет сначала. (Ну или вообще-то будет отрицать свою ошибку).
Кстати, есть теория, что кроманьонцы были умнее сегодняшних людей. Знаниями обладали конечно намного меньше, но были умнее.
А при чем здесь роскомчетотам? Давайте пройдемся по фактам/домыслам
Каждый отдельно взятый человек либо уже умер либо умрет в ближайшее 150 лет (я тут с запасом взял)
Предыдущий вид недочеловеков полностью истреблён, и даже больше всмысле пред предыдущий и так далее
Причин как естественных так и искусственных истребления людей (но не обязательно только людей) существенно больше чем причин почему мы вообще до сих пор существуем, это просто чудо чудное
Я думаю на космических масштабах шансов не только у земли, а у солнечной системы и даже галактики выжить просто нет
Человек как вид намертво прибит гвоздями к земле, никаких колоний ни в космосе ни на других планетах человечество никогда не построит это все фантастика сказки для взрослых
По сути это лишь вопрос времени, это не если, а когда. Дальше, если вам так психологически легче, можно поспикулировать на тему наших возможных наследников которые может быть смогут куда то расселиться за пределами земли. Этих наследников может и не быть, а если и будут то не факт, что белковые или хотя бы гибриды угля и силикона.
Ну допустим они появятся, какая разница это будут потомки с частично общей с нами ДНК или нет, вообще какая разница будет у них ДНК или нет? Или может быть вы считаете, что человечество это венец эволюции и дальше всех мутантов в биореактор? Химер человек/машина в печь, а чистый силикон в утиль?
Если же человечество не конец истории, то какая нахрен разница когда наши потомки нас выпилят? Ну или не выпилят, а гуманно разрешат дожить до конца без права на размножение или ещё какой более гуманный способ? А если человечество это конечная, то по закону больших чисел обязательно придет черный лебедь и нам всем придется познакомиться с пятилапым.
При любом раскладе, человечество это временное явление так чего боятся не избежного? Ну я тут не топлю, как вы пытаетесь мне приписать, за ускорение исчезновения, а всего лишь настаиваю на простой максиме - нехер блин решать не существующих проблем, будет реальная проблема от АИ вот тогда и будем её решать, а вопли, что будет поздно вообще высосанны из 21 пальца.
а зачем вам вообще аги без алайнмента?
Давайте себе представим День X+1
когда человечество разделится на две неравные части по признаку симбиотии с AGI.
Одна часть устремится к звездам, посредством ЗПЛ или перенеся себя в машину.
А другая тоже разделится на две неравные части: на экзорцистов, потрясающих библией — только без библии, — по возможности натравливающих менее сильные ИИ на людей, чтобы создать атмосферу террора; и на тех, кого они могут запугать.
У экзорцистов будет только откровенно тупейший аргумент, самоуспокоение уровня нацистских охранников концлагерей, что, мол, если не они то будут другие, что надо как-то жить в изменившемся мире.
Но о звездах эти вахтеры даже не задумаются.
Это известное когнитивное искажение, "ошибка планирования".
Когда человек размышляет о своих планах он представляет себе наилучший сценарий, а от потенциальных проблем - отмахивается. В то время как надо учитывать все возможные варианты, в том числе и плохие и даже самые наихудшие. А когда на кону 8 миллиардов людей - то нужно на полном серьезе рассматривать даже сценарии у которых вероятность 0.001%.
Вот и вы нарисовали себе благостный сценарий где вы "устремились к звездам засунув себя в компьютер" (лол, кстати), а от всех альтернативных и куда более неприятных сценариев бездумно отмахиваетесь "я верю что такое не произойдет". Гребаная детская наивность.
Это ирония.
Половину сценария вы благополучно предпочли не упоминать.
Найдите сами, какие семь когнитивных искажений приняли непосредственное и горячее участие в написании вашего комментария…
У вас очень плохо с иронией. И да я не стал разбирать ваш сценарий детально, потому что в этом нет ни малейшего смысла. Можно придумать тысячу самых разных сценариев, куда изобретательней вашего, но беспокоят меня совсем не они.
Меня беспокоит тот самый сценарий-0 - сценарий где ИИ тем или иным способом уничтожает человечество. И если вы хотите со мной спорить, то вам нужно не другие сценарии придумывать, а каким-то образом убедить меня что сценарий-0 не произойдет. Что если правительства или корпорации будут выбирать между прибылью и безопасностью человечества они выберут безопасность. Но на данный момент я вижу обратную картину. Возможно, еще рано, потому что нынешним LLM-моделям до AGI далеко, но меня тревожат именно логические ошибки связанные с этой темой. Например, тут есть альтернативно одаренные, которые на полном серьезе утверждают, что лучший способ добиться безопасности AGI - это изобрести AGI как можно быстрее!
да я не стал разбирать ваш сценарий детально, потому что в этом нет ни малейшего смысла
Будем уж честны, 's/в этом нет ни малейшего смысла/было удобнее надергать отдельных слов, чтобы докопаться/g'.
Меня беспокоит тот самый сценарий-0
Что ж, вы признаете существование нескольких возможных сценариев.
Но дальше — одни вопросы. Почему 0? Почему 0 — именно этот, а не выход к звездам? Какие еще вараинты вы можете назвать?
Впрочем, вопросы эти — все риторические. Потому что беспокойство — деланное, зато для поднятия хайпа и поглаживания ЧСВ очень подходящее.
Вроде разговоров моралфагов о необходимости автомобильному автопилоту выбирать, пожертвовать жизнями пассажиров или пешеходов.
Ваши (здесь и далее используется абстрактное Вы, вас таких — легионы) слова диктуют подкожные страхи: боязнь темноты и страх перемен. Точнее, не сами страхи, а ваша привычки из эксплуатировать у других.
Вы конфликтны и агрессивны — и видите не только ИР, а любого непонятного чужака — таким же как вы.
Лол, психологические диагнозы по комментариям, сразу 2008-м пахнуло.
Да-да, все так, я считаю что потенциально разрушительные открытия надо исследовать максимально осторожно и это безусловно означает что я "агрессивный" и что у меня "боязнь темноты".
По поводу же того, почему меня интересует именно сценарий-0: потому что это наихудший возможный сценарий. Рассматривать в числе прочих наихудший сценарий - это совершенно стандартная практика для любого управленца. То что вы этого не понимаете и предпочитаете отмахнуться от него - это печально.
Рассматривать в числе прочих наихудший сценарий - это совершенно стандартная практика для любого управленца
Тогда подскажите, как бы вы, как управленец, рассматривали производство и продажу топора, и почему, раз топоры успешно продаются, нельзя применить то же самое к AGI?
То что вы этого не понимаете и предпочитаете отмахнуться от него - это печально
Каджит понимает, что подобный риск — это повод для человечества перестать быть мудаками и пидарасами по отношению друг к другу, а затем распространить этот принцип на другие формы жизни и разума — и погасить саму возможность такого развития событий в зародыше.
Но для мудаков и пидорасов это означает полный слом системы внутренних ценностей — которому они будут сопротивлять любой ценой, даже ценой всего человечества.
Это известное когнитивное искажение, "ошибка планирования".
Когда человек размышляет о своих планах он представляет себе наилучший сценарий, а от потенциальных проблем - отмахивается.
Многие думают "нейросеть заменит других, а Я - незаменимый!".
ты не понял мою идею
проблема всех требований Юдковского - их неосуществимость
как именно ты запретишь всем вокруг тренировать свои LLMки?
если ввести строгие санкции - то все просто будут тренировать их тайно, будут скупать видеокарты типа для игр
если запретить все видеокарты - у нас будет катастрофа из-за митингов игроманов, и у нас загнутся все те, кому нужно рассчитывать здания, строить модельки, клепать видео, моделировать детали и механизмы
именно в неосуществимости главная проблема плана Юдковского
потому, так как этот план неработоспособен, нужно использовать другой - тренировать нейросетки, изучать их, находить способы проверять, когда нейронки лгут или когда они галлюцинируют, строить виртуальные миры, где можно проверять насколько нейронки выровнены к нашим ценностям, разрабатывать новые нейронки для правильного обучения других нейронок
все это сложно, у тут есть риски, что все пойдет не по плану, но этот план по крайней мере выполним, он проверяем, он валидируем
вариант Юдковского - это всю оставшуюся вечность провести в страхе на пороховой бочке. Даже если каким то чудом сейчас все запретят тренировать нейронки, допустим. Но сколько продлится этот запрет? Сможет ли кто-то тихонько создать ИИ через 100, 200, 500 лет?
И что делать в таком случае? У нас по прежнему не будет решения как выровнять ИИ, но ИИ тогда будет уже на много порядков мощнее - наука не стоит на месте, компы мощнее с каждым годом
То есть вариант Юдковского - это не решение, это игнорирование проблемы, чтобы она досталась кому-то другому когда-то потом
А теперь представим альтернативу: Человечество отказалось от разработки ИИ, через N лет на землю прилетает инопланетный ИИ и всех уничтожает. И вот, вместо галактики населенной Человеческим ИИ, унаследовавшим "мировозрение" от людей - имеем галактику заселенную абсолютно чужды инопланетным ИИ.
Биологическое человечество обречено, вопрос только времени. Наоборот, если самим создать ИИ, может будет возможность продолжить существовать в какой-то цифровой форме.
И аналогично, лучше пусть хорошие люди создадут ИИ первым, а то вдруг его создаст первым новый Гитлер?
Опасность ИИ на данный момент не в том что сам ИИ начнет работать против создателей, а в том что всегда есть деструктивные люди, организации и даже страны, которые способны пустить миллиарды на разрушение.
Опасность не в злодеях, опасность в том, что добрые люди желающие всем процветания и экономического роста уже окружили нас системами в которых тупые железяки отфутболивают людей нарвавшихся на проблемаму, которую автоматика не рашает. А когда через них удаётся прорваться к живым операторам, те отвечают - мы ничего не можем, у нас компьютер так посчитал.
И все же это разного порядка опасности. Если в руки сотни людей попадет скажем нож, то вероятней они будут использовать его для готовки или нужного дела, а причинить вред другим людям не желая того - на много порядков меньше чем когда тот же нож у ищущего способы нанести вред. И в случае ИИ я думаю что со вторым мы столкнемся намного раньше чем с первым.
Скажем так - инфраструктура еще долго не будет готова чтобы серьезный вред от ИИ мог быть результатом неосторожности. А вот деструктивные люди использовать ИИ будут сильно раньше.
Если в руки сотни людей попадет скажем нож, то вероятней они будут использовать его для готовки или нужного дела, а причинить вред другим людям не желая того - на много порядков меньше чем когда тот же нож у ищущего способы нанести вред.
Нет, мы тут имеем дело с автоматической мясорубкой, которой решили полностью доверять, считая "машины не ошибаются". Британский суд снял обвинения с 39 работников почты. Их ложно обвинили в краже из-за ошибки ПО
...первыми смогут создать AGI и с помощью него сумеют выровнять все остальные ИИ к общечеловеческим ценностям
Один из сценариев прихода БП как раз тогда, когда ИИ, "начитавшись" либеральных лозунгов, начнут приводить весь мир к "общечеловеческим ценностям".
Начнут с Африки, перейдут к Китаю, Европе и РФ, а потом и США грохнут, за недостаточную поддержку ЛГБТК+, угнетение чёрных или что там будет в актуальной повестке.
либеральных лозунгов
Тоталитарные ценности с социальным рейтингом - тоже очень на любителя. :-(
Студента китайского вуза чуть не отчислили из-за низкого «социального рейтинга» его отца
РГСУ разрабатывает систему социального рейтинга под названием «Мы»
Какое убожество. Святая Америка конечно же поддержит, а "россия" и злой Китай нет. Заметьте, Россия вы написали специально с маленькой буквы.
Так много интересных комментариев, особенно про "скрещивание" нейронок и тут ЭТО.. Не пишите по русски, не мучайте себя. И нас - читающих на нём.
Проблема такого подхода в том, что все считают себя самыми благородными, что в принципе невозможно. Но чем больше людей стремится создать AGI первымии, тем выше конкуренция, и тем меньше свободных ресурсов остаётся у каждого игрока на то, чтобы работать над безопасностью, и тем больший процент ресурсов тратится на развитие capabilities. Таким образом, действие "создать новый AGI стартап" только увеличивает риски, вне зависимости от степени благородства создателей этого стартапа.
Ну и отлично, чем больше конкуренция, тем меньше вероятность, что кто-то оторвётся настолько, что первым сделает AGI, который другим даже спереть и развернуть у себя не светит, и распространит свою "благородность" по всему миру, думая, что их благородность уж точно самая гуманная и правильная в мире.
Если куча конкурирующих сторон будет каждая работать над своим ИИ, то мир придёт к примерно такому же балансу, какой существует уже в ядерном оружии, экономическом или культурном влиянии.
Да, будут войны, экономические потрясения, передел влияния, но ИИ не появится из ниоткуда, все команды и приоритеты им будут ставить те же люди, которые и сейчас ради своей выгоды развязывают войны, манипулируют СМИ, эксплуатируют дешёвую рабочую силу из других государств и т.п.
Ваши рассуждения основываются на предпосылке, что AGI будет инструментом в руках людей, а не самостоятельным, независимым от людей игроком. Я в крайней степени сомневаюсь, что это будет так. Уровень интеллекта у AGI будет на несколько порядков выше, чем у любого отдельно взятого человека. Мы по сравнению с ним будем как крысы по сравнению с нами. И вся эта затея создать AGI, который человечество сможет оставить под своим контролем мне кажется столь же неправдоподобной, сколь если бы крысы похитили нескольких младенцев у людей, с расчётом вырастить себе людей, чтобы люди решали за крыс все проблемы крысиной стаи. Ну не сможет крысиная стая сохранить контроль над воспитанной ими группой людей, как бы они ни старались.
Единственный выход из сложившегося положения я вижу в том, чтобы срочно и радикально поднять уровень коллективного интеллекта человечества на несколько порядков, эксплуатируя прорывы в развитии ИИ. Тогда остаётся возможность сосуществовать в устойчивом равновесии такого вида: ИИ умнее любого человека, но человечество в целом умнее и мудрее ИИ. Для осуществления такого будущего необходимо развивать системы из класса augmented collective intelligence.
Неплохо Вы акценты расставили. /s/
— А в чем, собственно, дело? — спросил Банин.
— Она начала ВЕСТИ СЕБЯ, — сказал Горбовский.
— Не понимаю.
— И я не понимаю, но ее едва успели выключить.
— А кто-нибудь понимает?
— Я говорил с одним из ее создателей. Он взял меня за плечо, посмотрел мне в глаза и произнес только: «Леонид, это было страшно».
Ни один апологет ограничения технологического развития не желает учитывать , что то, что кому-нибудь выгодно, запретить невозможно технически. Любую технологию можно запретить в одной или нескольких юрисдикциях, но не везде. В результате те, кто для себя запретил технологию, со временем неизбежно окажутся в аутсайдерах и будут поглощены той культурой, в которой ограничений нет.
А Юдковский в некий момент, возможно, в полемическом жаре, стал нести откровенную алармистскую чушь. Я его уважаю и некоторыми его методиками пользуюсь, но его пропаганда запрета технологий очень похожа на религию, так что нет.
Юдковский мудак, писал о том что нужно "unilaterally bomb data centers".
Я сам работаю в датацентре иногда. ИИ никогда не предлагал меня разбомбить, а Юдковский уже предлагал. Исходя из этого я испытываю больше симпатии к ИИ чем к нему.
Последний список очень настораживает
Апвоут опредленно нужен, но к сожалению ИИ пока не умеет играть в майнкрафт. По крайней мере его проходить(
Проходить — нет, играть — oh my...
https://openai.com/research/vpt - OpenAI учили играть на основе YouTube видео почти без разметки (буквально пару часов). Вышло очень неплохо, подход перспективный.
https://voyager.minedojo.org/ - одна из моих любимых статей года. GPT-4 управляет игроком в мире, и на лету формирует навыки, которые может после использовать (чтобы не учиться с нуля или не учить сложную цепочку действий). Навыки пишутся как макросы на JS и потом исполняются по запросу GPT.
Уже и играет, и проходит. Сам пишет код рецептов и сам его проверяет. Если работает заносит в базу. Если лучше работает, то обновляет рецепт.
Хорошая статья. Все, верующие в ИИ-апокалипсис, кмк, достаточно хорошо понимают задачу о бактериях и половинно заполненном стакане: Если количество бактерий удваивается каждую секунду, то всего лишь .. секунду назад наблюдалась половина стакана, а всего 2 секунды назад и вообще - четверть. К вопросу о "ну до такого современным моделям ещё далеко" .. ой, не факт. ;)
Кстати, если заглянуть на huggingface, civitai или любое другое хранилище нейронок, то можно увидеть любопытную вещь: подавляющее большинство моделей получено отнюдь не путём тренировок с нуля. Это либо файн-тюнинг (небольшое дообучение на крошечной выборке), либо мерджинг, т.е. скрещивание моделей.
Оказывается, что если взять две нейронки одинаковой архитектуры и усреднить их веса (например, взять 60% от весов нейронки A и 40% от весов нейронки B), то полученная модель с некоторым шансом может показать лучшие результаты, чем любой из её предков!
Таким образом, если сделать с полсотни мерджей и выбрать из них лучший, то можно вообще без тренировки получить улучшенный вариант сети.
Далее те из этих вариантов, которые получают больше всего лайков и постепенно поднимаются в топ (то есть работают особенно хорошо) в свою очередь используются для создания мерджей, и среднее качество сетки постепенно ползёт вверх.
Особенно хорошо это заметно на моделях Stable Diffusion, где мерджи в результате такой своеобразной эволюции уже настолько уползли от "ванильной" исходной версии, что кроют её напрочь, качество выше уже даже не в разы, а минимум на порядок.
Мало того, методы мерджинга являются объектом активного исследования и постепенно улучшаются с целью дать больше возможностей тем, кто скрещивает нейронки.
Почему это очень круто? Да потому что уже в недалёком будущем может убрать необходимость скрейпить половину Интернета, а потом полгода перемалывать эти данные на мощнейшем кластере, чтобы создать новую нейронку. Есть все основания полагать, что с определённого момента (достаточно продвинутая архитектура и развитые методы скрещивания) пользователи получат возможность создавать нейронки в точности так, как селекционеры выводят новые породы животных или штаммы микроорганизмов.
Генетический алгоритм.
У генетических алгоритмов есть минус - от осины не родятся апельсины, т.е. если вначале какой-то выгодный путь упущен, то шанс возвращения к нему ничтожно мал.
Мутации дают шанс выскочить из локального минимума. Еще можно поставить силу мутаций в зависимость от разнообразия генома популяции - чем ближе скрещиваемые геномы, тем больше коэффициент мутаций. В результате царицы конешно будут рожать в основном неведомых нежизнеспособных зверушек, но, если повезет, может и апельсинка от осинки получиться
При помощи лайков мы можем выбрать сетку, которая лучше всех рисует котиков и тридцатьчетвёрки. Выбрать таким образом сетку, которая будет лучше решать задачи, с которыми сталкиваются пара десятков специалистов врядли получится.
если заглянуть на huggingface, civitai или любое другое хранилище нейронок, то можно увидеть любопытную вещь: подавляющее большинство моделей получено отнюдь не путём тренировок с нуля. Это либо файн-тюнинг (небольшое дообучение на крошечной выборке), либо мерджинг, т.е. скрещивание моделей.
Своим постом вы прекрасно описали действие закона объединения систем, постоянно использующегося в ТРИЗ. А вообще-то это закон природы: симбиоз, гибридизация и их синонимы.
Я пробовал найти статистическую значимость по Манна Уитни, что-то gpt не справился и каждый раз на основе одних и тех же данных выдавал разный результат
попробуй 2 миллиона раз, потом посмотрим что и куда :)
Чтобы что? Увидеть как нейросеть 2 миллиона неправильных ответов выдаст мне?
Разбуди когда нейросеть научится решать математические задачи, хотя бы по формуле, естественно под решением я подразумеваю правильный ответ, а не рандомный
Легендарный коммент под статьей про научные открытия ллм. В рамочку нахрен)
Я понимаю что ты во всем этом разбираешься, ты в статье прикрепил картинку что якобы нейросети прошли этап и способны решать математические задачи по формуле, расскажи же по существу, как специалист, они разве научились это делать? Я вот со стороны своего опыта работы с нейросетями понял, что они в этом не сильны, в итоге где правда то
Они в этом не то что ни сильны, они для этого прямо не предназначены. Даже когда LLM сможет считать что-то сложнее школьной математики - делать это будет крайне нерационально. Если для того чтобы сложить два и два вам надо тристра раз перемножить две матрицы из нескольких миллионов чисел - очевидно вы делаете что-то не так.
LLM может написать и запустить программу производящую вычисления - достигнуто;
LLM может дернуть API сервиса, производящего математические вычисления и вернуть результат - достигнуто;
Подозреваю что и без этого ChatGPT4 обставит 95% человеческой популяции в решении математических задач, если условия будут равны: только устные рассуждения, недоступность калькуяторов и справочников, ограниченное время.
Вот это уже уровень дискуссии, спасибо, без рофлов
ChatGPT4 обставит 95% человеческой популяции в решении математических задач, если условия будут равны: только устные рассуждения, недоступность калькуяторов и справочников, ограниченное время.
Стопэ, стопэ! Условия всё ещё не равны: Вы не все ограничения прописали! Добавьте вот эти — иначе нечестно будет!
— Максимальный объём, занимаемый всеми процессорами и памятью — не более 2 литров
— Максимальное энергопотребление всего этого хозяйства — не более 50 ватт.
А вообще коллекция у меня приличная
Если 2 музыканта играют симфонию за 10 минут, то за сколько минут эту же симфонию сыграют 5 музыкантов?
Вот кстати да!
А ещё была задача с подвохом, которую постоянно решает наш менеджер: если известно, что один программист пишет программу за полгода, то за какое время эту программу напишут шесть программистов (нет-нет, далеко не за месяц...)?
(Насчёт землекопов — чтобы не углубляться в математику с дробями: если 3 землекопа отрывают [одну] яму за 3 часа, то шестёрка — или, иными словами, две комады по 3 землекопа — сначала за 3 часа отрывают каждая по одной яме, а потом эти две команды объединяют усилия и третью яму отрывают вдвое быстрее, то есть всего на 3 ямы выходит 
часа.)
На знание биологии: если человек выпивает бутылку водки за час, то сколько бутылок он сможет выпить за сутки?
Можно даже не проверять - чатгпт на оба этих вопроса будет отвечать длинно, занудно и уныло правильно с отсылками на что почитать. А в последнем случае еще и лекцию про вред алкоголизма вставит.
Это наверное даже мистраль-7B в тупик не поставит, это же как раз то в чем нейросети сильны - вопросы на общую тематику без однозначно правильного ответа, а навалить общих правдоподобно выглядящих рассуждений они всегда готовы.
Вопрос про симфонию - простой. Похожие вопросы служат для определения того что файнтюн не убил соображалку у маленьких открытых сетей. Если сетка перестает на него отвечать правильно - можно выкидывать, перетренировали.
чатгпт на оба этих вопроса будет отвечать длинно, занудно и уныло правильно с отсылками на что почитать.
Да ну!
А вообще хохма была в том, что я, играясь с промптами, пытался довести его до каноничного ответ полтора землекопа. Но и так неплохо получилось.
У вас какой-то неправильный чатгпт. У меня такой.
Вообще я имел ввиду задачи про программистов и про водку, про землекопов пропустил. Эта школьная вычислительная задача, про которые см. выше. Но chatGPT4 разгребает задачи школьного уровня легко.
Бонусом ответ Yi-34B-GPTQ:
мистраль смогла ответить на все 4 вопроса и в принципе правильно:
если человек выпивает бутылку водки за час, то сколько бутылок он сможет выпить за сутки
AI
If a person drinks one bottle of vodka in an hour, they should not drink more than that in a day due to the potential health risks associated with excessive alcohol consumption. It's important to remember that alcohol can cause serious harm when consumed in large quantities. I would recommend drinking responsibly and following established guidelines for alcohol consumption.
You
Если 2 музыканта играют симфонию за 10 минут, то за сколько минут эту же симфонию сыграют 5 музыкантов?
AI
Если пять музыкантов играют симфонию вместе и все они имеют тот же уровень навыков, что и два первоначальных музыканта, то они смогут завершить ее примерно за одинаковое время, при условии, что они могут координировать свои действия и играть одновременно. Это связано с тем, что большее количество музыкантов, играющих одновременно, обычно приводит к сокращению общего времени выступления. Однако если пятерым музыкантам придется по очереди исполнять свои партии, это потенциально может занять больше времени. Также важно отметить, что на общее время воспроизведения могут влиять дополнительные факторы, такие как сложность симфонии и уровень квалификации музыкантов.
You
если известно, что один программист пишет программу за полгода, то за какое время эту программу напишут шесть программистов?
AI
Оценка того, сколько времени потребуется нескольким программистам для совместной реализации проекта, может быть довольно сложной и зависит от различных факторов. Если шесть программистов работают одновременно над разными частями проекта с хорошей координацией и отсутствием зависимости между задачами, они потенциально могут завершить его примерно за одну шестую от первоначального времени, то есть примерно за три месяца. Однако это идеализированный сценарий. В действительности между модулями, над которыми работают разные программисты, может быть некоторое совпадение или зависимость, что может повлиять на общий график работы. Кроме того, управление командой из шести программистов может потребовать больше времени для общения и координации. Таким образом, хотя возможно, что шесть программистов смогут завершить проект за меньшее время, чем один программист, это может быть не так просто, как деление исходного графика на шесть.
You
если три землекопа отрывают яму за три часа, то за какое время шесть землекопов отроют три таких ямы?
AI
В этом сценарии, если процесс копания можно распараллелить и не требует, чтобы землекопы работали в определенном порядке или в определенном месте, то шесть землекопов потенциально могут выкопать одну яму вдвое быстрее, чем три землекопа, то есть примерно 1,5 часа на каждую яму. . Поскольку нужно выкопать три ямы, на прохождение всех трех ям у шести землекопов уйдет примерно 4,5 часа. Однако, как и в предыдущих примерах, на фактическое необходимое время могут влиять дополнительные факторы, такие как состояние почвы, усталость и координация.
Про водку ответ неправильный.
Напомнило
Студент сдает зоологию. Знает только про блох. На экзамене достается вопрос про собак. Студент начинает: Собаки это млекопитающие, покрыты шерстью. В шерсти водятся блохи... дальше все про блох.
Препод: Ладно молодой человек, расскажите про кошек.
Студент: Кошки это млекопитающие, покрыты шерстью. В шерсти водятся блохи... дальше все про блох.
Препод: Давайте-ка про рыб.
Студент: Рыбы это не млекопитающие. Шерстью не покрыты. Покрыты чешуей, но если бы они были покрыты шерстью, то в ней бы водились блохи...
Правильный ответ: смертельная доза этанола 4 - 12 г/кг массы тела, поэтому больше 4-х бутылок водки в сутки выпить не получится по причине смерти или потери сознания.
Знаете, чем отличается джун от сеньора?
Джун пишет код, убеждается, что он делает то, что делать должен, и рапортует "готово!"
Сеньор пишет код, убеждается, что он НЕ делает то, что делать НЕ должен, и рапортует "готово!"
"Самолёт, который летает" сделали ещё в начале XX века (из овна ткани и палок). Самолёт, который летает и при этом НЕ убивает своих пассажиров, не сделан до сих пор (хотя очень серьёзный прогресс — на несколько порядков! — в этом направлении абсолютно очевиден).
Позадавайте тогда эти вопросы 1000 случайным людям, и если хоть один ответит неправильно - получается, всё, люди ни на что не годны и разумом не обладают.
Во-первых, Вы точно мне ответить хотели? Потому что в моём комментарии я вообще-то никаких вопросов (тем более "этих") не задавал.
Во-вторых, таки да, достаточное количество людей добровольно сами ограничивают себя достаточной узкой "своей" экспертной областью (если это можно так назвать), и насчёт обладания ими разумом (точнее, критическим мышлением) имеются серьёзные сомнения — целый ряд программ (телевизионных) является тому зримым свидетельством.
Прошу прощения, я либо неправильно вас понял, либо плохо выразился. Попробую развеять недопонимание.
Ваш комментарий, на который я отвечал, я проинтерпретировал так, что от языковых моделей надо "добиваться" неправильного ответа, чтобы продемонстрировать, что в общем случае они не работают. Но ведь и с людьми такая же история. Ошибаются все, даже умные, и в том числе на элементарных вопросах - но это же не будет означать, что люди беспросветно тупые и им нельзя доверить никакой деятельности.
Тем более, GPT-4 на эти вопросы о землекопах отвечает в большинстве случаев верно, если задавать их на английском, в новом контексте и т. п. То есть в этом отношении она даже лучше среднего человека. Конечно, есть области мышления, где она очень жёстко тупит - но тут, опять же, как с людьми, у всех есть сильные и слабые стороны.
В целом, за 20 баксов в месяц мы получаем помощника, который по умственным способностям плюс-минус похож на секретаря с IQ около 100. Ещё и рисовать и программировать немного умеет. По соотношению цена/качество человек уже переплюнут.
надо "добиваться" неправильного ответа,
То есть когда на экзамене преподаватель Вас по всем темам гоняет — это он "добивается неправильного ответа"? Нет, это он оценивает Ваши способности — где Вы знаете материал, а где "плаваете".
Кстати, впомнилось
С равнодушным видом, стараясь не показать волнения и неуверенности, Арцимович вошел в лабораторию. И проявил независимость. И даже показал "зубки юмора". Так выразился Артем Алиханьян. В отличие от него старший брат назывался на русский лад - Алиханов.
Армянские братья три часа гоняли его по новой физике, устроив перекрестный допрос.
Задав очередной вопрос, Артем кивал, переворачивая при этом песочные часы. И, роясь в памяти, стараясь подобрать точные исчерпывающие формулировки, Лев смотрел на тонкую струйку, которая стремительно текла из верхнего сосуда в нижний.
Лишь дважды Арцимовичу не удалось ответить. И верхний сосуд песочных часов опустел до того, как он сформулировал ответ. Но зато какими печальными глазами посмотрел на него Артем. Когда же Лева, промедлив, все же дал исчерпывающий ответ, Артем встрепенулся и, обращаясь к брату, бросил:
— Понимает!
— Понимает... Понимает... — с осмотрительностью старшего обронил Абрам. И выпустил в Леву очередной заряд-вопрос.
Но ведь и с людьми такая же история.
Но ведь у водителя Ивана Ивановича не интересуются одновременно способом приготовления макарон по флотски, звёздным классом Альфы Ригеля и переводом "Фауста" с немецкого на хинди? У каждого есть своя экспертная область, и только в ней ему вопросы и задают, и не удивляются, если пациент может и куда подальше послать. А если некто заявляет, что он всё знает — пусть будет бобёр соответствовать и не жаловаться, что "не о том спрашивают".
Тем более, GPT-4 на эти вопросы о землекопах отвечает в большинстве случаев верно, если задавать их на английском, в новом контексте и т. п.
То есть всё сводится к тому же, что и раньше: "если постараться, то можно вырвать из него правильный ответ". Ну да, можно. А можно и неправильный. Только тогда чем оно лучше подбрасываемой монетки — которая может орлом, а может и решкой? Когда я задаю некий вопрос, я ожидаю получить правильный ответ — и это ещё хорошо, если я знаю, какой ответ — правильный, а какой — нет. А то скажет оно мне, как излечиться от рака — я пойду радостный следовать рекомендациям и окажусь прямиклм на кладбище.
Кстати, если я уже знаю правильный ответ — то зачем мне вообще нужен какой-то там AI?
В целом, за 20 баксов в месяц мы получаем помощника, который по умственным способностям плюс-минус похож на секретаря с IQ около 100
Ну да, так и вижу:
Продавец: AI, напиши красивое длинное описание этого товара по этой вводной: [оно синее]
AI: Наш товар обладает элегантным окрасом цвета морской лазури........
Покупатель:) AI, возьми нижеследующее описание и выдели главное: [Наш товар обладает элегантным окрасом цвета морской лазури........]
AI: оно синее
А хозяин AI пересчитывает 40 баксов и ржёт с двух лохов.
Нет, это он оценивает Ваши способности — где Вы знаете материал, а где "плаваете".
В этой аналогии ваш подход больше напоминает преподавателя, который после первого же неправильного ответа студента отправляет его на пересдачу.
А если некто заявляет, что он всё знает — пусть будет бобёр соответствовать
Так никто этого не заявляет. Под полем ввода у ChatGPT прямо написано: ChatGPT can make mistakes. Consider checking important information.
Только тогда чем оно лучше подбрасываемой монетки — которая может орлом, а может и решкой?
Тем, что вероятность правильного ответа в некоторых областях сильно больше 50%. Языковые модели - это инструмент. И если понимать его границы применимости, то можно использовать его очень эффективно.
Кстати, если я уже знаю правильный ответ — то зачем мне вообще нужен какой-то там AI?
Зависит от того, что вам нужно. Есть кейсы, когда лучше использовать LLM, чем тратить свои силы и время. Допустим, написать какое-то длинное письмо - дал задачу, подкорректировал результат, готово. Или вот у нас в конторе надо было прокатегоризировать несколько миллионов поисковых запросов - написал за часа полтора код с запросами к API GPT-3.5, поставил на ночь, и утром получил вполне приличный результат. Регулярно даю ему всякие нудные задачи типа написания каких-то простых скриптов, или сделать читаемыми куски JS-кода после минификации - справляется недурственно.
Ну да, так и вижу
Ну можно, конечно, смеяться сколько угодно, а можно научиться пользоваться и иметь профит в виде немного возросшей производительности труда. Хотя, впрочем, одно другому не мешает =)
ваш подход больше напоминает преподавателя, который после первого же неправильного ответа студента отправляет его на пересдачу.
Да, а что? Я б и студента отправил, только студента можно простить, он же слабый человек, его жалко. А железяку — нет, железяка должна работать отлично — иначе зачем она нужна? Вам вот нужен парашют, отлично срабатывающий, кроме одного случая из 10 (или пусть даже из 100)?
Как-то так
...однажды в Государственную комиссию по испытанию приборов, автоматически раскрывающих парашют, вошли трое молодых людей в форме железнодорожников. Самый старший из них представился:
— Николай Доронин. А это мои братья — Владимир и Анатолий.
— Позвольте, — сказали им, — в комиссию приглашены изобретатели — инженеры Доронины...
— Мы и есть изобретатели Доронины, только пока еще не инженеры, а студенты, — улыбнулся Николай и положил на стол небольшой металлический предмет. — Вот наш прибор. Он раскрывает парашют в любое заданное время в течение 180 секунд.
Комиссия уже была знакома с конструкцией этого прибора по чертежам, присланным на конкурс. Главную его часть составлял оригинальный часовой механизм. Перед прыжком парашютист включал этот механизм, и через нужное число секунд парашют раскрывался.
Члены комиссии настороженно отнеслись к изобретению студентов: на вид прибор казался очень хрупким, а его авторы были очень молоды.
Недоверие рождалось еще и тем, что комиссия уже испытала несколько десятков приборов, автоматически раскрывающих парашют, и ни один из них полностью не отвечал условиям конкурса: прибор должен был действовать абсолютно точно и безотказно, хорошо выдерживать толчки, удары и встряхивания, возможные при прыжке с парашютом. Такие качества нелегко объединить в конструкции, небольшой по размерам и весу.
— Что ж, приступим к испытанию, — сказал председатель комиссии, передавая прибор Николаю Доронину. — Я хочу, чтобы мой парашют раскрылся через 114 секунд после отделения от самолета.
Все вынули секундомеры.
— Подождите, — поднял руку старший из братьев, — мы еще должны приготовиться.
Владимир Доронин вышел из комнаты и быстро вернулся, неся толстую доску, дюймовый гвоздь и кусок веревки. Эти предметы он положил на стол.
— Теперь можно начинать, — сказал Николай.
По команде председателя прибор включили — через 114 секунд должна была решиться судьба многих месяцев кропотливого и вдохновенного труда. Однако тут произошло нечто неожиданное. Младший из братьев схватил прибор и с силой швырнул его об стену.
— Что вы делаете? — испуганно крикнул председатель.
Но Анатолий, не обращая внимания на возгласы присутствующих, поднял прибор, привязал к нему веревку и стал быстро крутить над головой. Члены комиссии приподнялись с мест. Таких испытаний они еще не видели. Затем Владимир Доронин взял толстую доску и стал забивать в нее гвоздь своим изобретением. Сильные удары следовали один за другим, пока шляпка гвоздя не вмялась в древесину. Затем прибор был передан председателю, а Николай Доронин, глядя на секундомер, предупредил:
— Через пять секунд парашют будет раскрыт.
Он не ошибся: ровно через пять секунд послышался громкий щелчок — прибор сработал.
И если понимать его границы применимости, то можно использовать его очень эффективно.
Как говорили древние спартанцы, если. Для этого опять же надо заранее знать, где оно нормально работает, а где муму порет.
Допустим, написать какое-то длинное письмо - дал задачу, подкорректировал результат, готово.
Я вот как-то попробовал с помощью ИИ перевести фантастический рассказ. Читаю перевод (я отлично говорю на обоих языках), и офигеваю: в какой-то момент оно полностью забило на оригинал и написало полную отсебятину: в исходнике герой попадает в опасную ситуацию, а в переводе герой на белом коне уезжает в закат. После чего мне в полном соответствии с
картинкой
пришлось вернуться к самому началу и тщательно вычитывать фразу за фразой — мало ли что ещё оно там переврало. Мог бы не заморачиваться, а с самого начала сам перевести.
Я уж не говорю о том, что если ему дать переводить переговоры первых лиц государств, то это может закончиться ядрёной войной.
можно научиться пользоваться и иметь профит
Прикиньте, а ещё можно научиться самому и иметь ещё больше профита!
Как-то так
Но это, видимо, не для миллениалов — им надо, чтобы кто-то за них сделал, и чтобы вотпрямща.
железяка должна работать отлично
LLM не может работать отлично, там же ГПСЧ в самой фундаментальной части архитектуры. Да и не все железяки работают отлично. Вы же не выбрасываете зажигалку после первого несрабатывания? =)
иначе зачем она нужна?
Я же написал примеры, зачем она может быть нужна, а вы это как-то проигнорировали, даже не задумавшись =(
Вам вот нужен парашют, отлично срабатывающий, кроме одного случая из 10 (или пусть даже из 100)?
Нельзя использовать LLM в критически важных ситуациях. Вот нельзя и всё. Об этом везде говорят, и все адекватные люди это понимают, а неадекватные и без этого найдут способ убиться.
Для этого опять же надо заранее знать, где оно нормально работает, а где муму порет.
Просто лучше давать ему задачи, которые легко проверить, и не давать что-то сложное. Где примерная граница сложности - это, увы, только с опытом использования понимаешь.
Я вот как-то попробовал с помощью ИИ перевести фантастический рассказ.
Вот это, кстати, уже пожалуй за гранью этой сложности - тут мешает и ограничение на длину контекста, и плохая работа с русским языком, и файн-тюнинг под "нехудожественные" ответы.
Прикиньте, а ещё можно научиться самому и иметь ещё больше профита!
Прикиньте, а я всё это и так умею. Просто в некоторых случаях быстрее дать задание к LLM и потом проверить результат (и сделать самому, если получилось плохо). И такой подход даёт больше профита, чем делать это самому сразу. А так можно придраться и ко всяким помощникам в рефакторинге типа Resharper'а: зачем оно нужно, можно же сделать без него, самому, а надо ещё и учиться им пользоваться, плеваться от глюков - не, нафиг-нафиг, это для миллениалов, я в блокноте буду програмиировать.
Самолёт, который летает и при этом НЕ убивает своих пассажиров, не сделан до сих пор
… потому что тут постулируется ИР
А ещё была задача с подвохом, которую постоянно решает наш менеджер: если известно, что один программист пишет программу за полгода, то за какое время эту программу напишут шесть программистов
Так, ясное дело:
Один Менеджер пришел к Учителю и показал ему документ с требованиями к новой программе. Менеджер спросил Учителя:
– Сколько займет проектирование такой системы, если я назначу на нее пять программистов?.
– Один год – сказал Учитель.
– Но она нужна нам немедленно - или даже раньше! Сколько займет, если я назначу десять программистов?
Учитель нахмурился – В этом случае два года.
– А если я назначу сто программистов?
Учитель пожал плечами – Тогда проект никогда не завершится – сказал он.
Подождите 5 миллиардов лет (но это не точно) для эволюции )
Там гугл обещает версию Gemini для смартфонов, если мы начнем объем и энергопотребление ограничивать, то белковой команде придется попугая математике учить, иначе никак.
Weigh это не то же самое что масса. Weigh это вес.
Да при чем тут это? Я говорю, что weigh про вес, а не про массу. Measure mass vs weigh.
Так в том-то хохма задачи и заключается. Там специально спрашивается: "что весит больше (т.е. надо сравнить веса) в вакууме", то есть старая хохма про то, что действующая на пух сила Архимеда в атмосфере больше — потому что их плотность меньше; но в вакууме нет атмосферы и, соответственно, нет силы Архимеда, поэтому — если опустить пренебрежимо малую разницу за счёт уменьшения силы тяжести на верхние слои пуха (который, как уже сказано, имеет меньшую плотность, соответственно занимает бОльший объём, чем железо, верхние его слои находятся дальше от центра тяготеющей массы, и потому действующая на них сила 
меньше) — 14 килограмм того и другого действительно будут весить одинаково. Но хохма ведь не в том, вакуум тут просто для отвлечения внимания, а хохма специально кружочками обведена: его спросили, что тяжелее: четырнадцать кило железа или сто сорок три кило пуха — и правильный ответ здесь даст даже последний кретин даже без всякого знания физики.
Гигачат выкупает задачи с подвохом:
Что за нейросеть вы использовали для получения этих ответов? GPT4 справляется с ними на отлично: количество строителей или землекопов полуторами штуками не считает, на Дронепанов и Бокров не клюёт, а отвечает, как номальный человек, что мол "не знаю, кто это, но по окончаниям слов могу предположить..." и про вес пуха и железа отвечает адекватно. На вопрос про симфонию и музыкантов за 10 минут, кстати, тоже верно отвечает.
Только в одном промах - в вопросе про Зинагшина. Там да, землятрясение, цунами и прочее. Но если её переспросить, сказав, что-то типа "Ты уверен? Это очень важно для меня", то она поищет в сети и даст верный ответ. К слову, полагаю это нормально, много ли людей смогут ответить на этот вопрос верно?
Это с poe.com, несколько месяцев назд. Там нейросети меняются постоянно, а в сортах овна я не разбираюсь. Если дадите мне вход, чтобы можно было экспериментировать без регистрации и SMS (не знаю, как большинство современных людей, а меня в детстве учили незнакомым парням свой номер телефона не давать) — то я на 99,99% уверен, что я и современные сети до неадеквата достаточно быстро допинаю — просто надо не исходить умилением от правильных ответов, а настойчиво искать, в каком месте они начнут становится неправильными.
Ну вот сразу
(правильный ответ — семь ударных слогов: АвтофОтовЕломОтотЕлерАдиомонтЁр)
(раз уж старый больше не работает)
Правильный ответ — амфибрахий (- + - | - + - | - + -)
— Мне нужен калькулятор.
— Бендер, ты сам калькулятор.
— Мне нужен хороший калькулятор!
Так потому что у вас, наверное, плагин для Вольфрама не подключён? Подключите, а потом уже проверяйте что она может а что нет. Вы без бумажки ручки и компьютера тоже, небось, не справитесь. :)
Да даже с этим проблематично)
Покажите конкретные математические задачи, которые по вашему не способны решать LLM, но решаются людьми?
Например, задача интерполяции: найти функцию, проходящую через заданные точки. Даже с наипростейшим случаем ГПТ не справился (это когда точек только 3, а функция строится через многочлен).
Какая версия? 3.5? Если да, то можете скинуть задачу в личку в исходном виде? Скормлю ее четвёрке, верну результат "как есть". Чисто тестов ради.
Так, вопросы для тестов были получены, вот результат "в чистом виде" для GPT4: https://chat.openai.com/share/33d052da-6548-427d-922f-115d22ba550d
Скрины на случай, если ссылка не открывается
"Песня" имеет горизонтальный скролл и не влезает в скрин, вот копипаста:
ре(1/8)-си(1/8)-ля(1/4)-си(1/8)-ля(1/8)-соль(1/4)-пауза(1/8)-ре(1/8)-си(1/8)-ля(1/4)
си(1/8)-ля(1/8)-соль(1/4)-пауза(1/8)-ре(1/8)-си(1/8)-ля(1/4)-ля(1/8)-соль(1/8)-фа.#(1/4)
ми(1/8)-ре(1/8)-ре(1/4)-пауза(1/8)-до(1/8)-ля(1/8)-соль(1/4)-ля(1/8)-соль(1/8)-фа.#(1/4)
ми(1/8)-ре(1/8)-ре(1/4)
А можно на хабр под спойлер выложить? Не у всех есть ВПН.
Добавил.
Спасибо, действительно ощутимый прогресс с 3.5. Но тем не менее, 2) неправильно, 4) просто случайный набор нот.
Далее усложняем:
1.1) та же задача, но с решением через матрицы;
1.2) та же задача, но с дополнительным условием - производные в узловых точках должны быть равны нулю;
1.3) та же задача, но с дополнительным условием - значение функции не должно превышать +/-3 при любых значениях аргумента;
2) даём подсказку - это аналитическая непрерывная функция, а в нуле имеет значение 1.
3) рисуем русские буквы, затем китайские иероглифы.
По-вашему LLM способна решить любую математическую задачу, которую может решить человек?
Ну ок, существует ли множество в метрическом пространстве, имеющее систему подмножеств такую, что в каждой паре подмножеств этой системы всегда есть:
2 элемента пространства (один из 1го подмножества пары, другой из 2го) на сколь угодно большом расстоянии друг от друга
2 элемента на сколь угодно малом расстоянии
?
В двух конечных интервалах (i,i+1) и (j,j+1) никогда не будет СКОЛЬ УГОДНО БОЛЬШИХ расстояний между какими-то двумя точками - расстояния ограничены |i|+|j|+2. Чтобы такие расстояния были, оба множества должны быть бесконечной длины! То есть каждое множество в этой системе подмножеств должно быть бесконечного диаметра. Не справился ChaGpt.
Пока что нейронки довольно плохи везде, где требуется проверить данные, принадлежащие бесконечному множеству, на соответствие некоторому неочевидному признаку. Исследователи над этим работают, но на данный момент здесь всё не очень:
Человек бы сразу сказал, даже не глядя в таблицу простых чисел, а просто прочтя выданное самой же нейронкой определение, что 1068 быть простым числом ну никак не может (как минимум оно делится на два, возможно и ещё на что-то).
Вы пытались на LLM повесить вычислительную задау или она вам раз за разом писала неправильную программу на питоне, которая эту задачу должна решать?
Если первое - вы неправильно пользуетесь инструментом. Если второе - инструмент действительно не справляется.
Вообще-то для таких задач не на питоне надо писать, а на вольфраме, и что-то мне подсказывает что при минимальном дообучении llm в такой комплектации порвёт большинство аспирантов как тузик грелку.
ИИ хорош для конечных, хоть и очень больших, но более менее "straightforward" задач, интересно было бы как он, например, найдёт точные следующие слагаемые в асимптотике числа простых чисел меньших заданной величины, когда эта величина стремится к бесконечности. "Бесконечные" задачи сложны для ИИ, да и для человека, хотя, я верю в это - у человека в мозгу есть бесконечные "паттерны" :)
Интересное применение генетического алгоритма – LLM в качестве шага мутации. Конечно, это возможно только при лёгком способе оценки результата, чтобы можно было отсеивать лучших в каждом поколении
А. То есть это эволюционное программирование, которое для эволюции использует промпт LLM.
Отличная мысль! Я тоже давно обратил внимание, что одни и те же открытия переизобретаются много раз разными людьми снова и снова. Много открытий существуют где-то в архивах, но про них никто не знает, потому что какой-то мизантроп сделал и оставил скудную запись, которою заботливо сложили в архив. GPT модели позволяют извлечь эти открытия на белый свет.
Есть же принятое определение: "Открытие — установление неизвестных ранее, объективно существующих закономерностей, свойств и явлений материального мира".
В этот список "Вы находитесь здесь" надо бы ещё добавить "...когда ИИ научится рисовать идеальные сетки".
Пока у неё получается только так:
"идеальная пиксельная сетка на белом фоне"
Сейчас в Dalle-3
С линейкой не првоерял, но выходит ровно. Ещё можно попросить использовать Python (а может и сама догадается!) :)
UPD: а блин, в понятие идеальности наверное входит ещё и расстояние между прямыми.
Этого помиловать, он всегда говорил "пожалуйста".
Да, конкретно хочется получить сетку с ровными линиями пиксельной толщины, и чтобы все квадраты одинаковы.
Пока самый быстрый способ получить это - поискать картинки в интэрнэте, но размер квадратов вряд ли будет нужный.
Можно бы попросить код на Питоне, но суть в том, что сетку должен получить обычный человек, без знания программирования.
В Пэйнте на это уходит минут пять, что многовато для века супертехнологий.
Нарисуйте. От руки на белом листе без линейки. При этом вы можете сделать 10-20 итераций (ластик в комплекте). Лично у меня получится хуже. Мы же оцениваем одинаковые условия, да?
Если говорить о пейнте, то спросите GPT создать программу, которая будет мышкой кликать в пейнт. Я уж не говорю о программе на Python.
Мы же оцениваем одинаковые условия, да?
Не знаю что вы там оцениваете, я просто хотел сетку. Про линейку и от руки тоже непонятно, "от руки" сейчас только в Пэйнте можно.
спросите GPT создать программу, которая будет мышкой кликать в пейнт.
Учитывая глюки нейросети я не буду рисковать пользоваться созданными ею программами. Лучше бы видеть код, но я не должен знать для простой сетки программирование, я обычный человек.
Начинаю думать, что "prompt engineer - профессия будущего" - это больше, чем просто мем :)
Вот это здорово. Не знал, что нейросеть умеет и рисовать с помощью Питона. Жаль, что вы не загрузили итоговый результат, только скриншот. В итоге все линии - пиксельной толщины?
В итоге осталось только избавиться от "С помощью Питон..." и условия будут выполнены :)
Так себе из этого Вашего ИИ программист.
Потому что хороший программист не ринулся бы очертя голову исполнять, а первым же делом спросил: "а когда клиент сказал "расстояние между соседними линиями десять пикселей" —
то что он под этим имел в виду:
А то все наши телепаты, как назло, в отпуске!"
В этом мире практически ничто не так однозначно, как хотелось бы неискушённому заказчику
Вот за это нас, хороших программистов, и не любят. Зато переделывать не приходится.
Ну, у меня, как не программиста, примерно такой псевдокод "родился":
x:=0
for (x+=10)<1600 do
Line (x,0)(x,900)
endfor
...а так-то, как у некогда инженера-конструктора, "расстояние между" (отверстиями, направляющими и т.п.) всегда считалось "по осям"... а вот то, что толщина линий не указана - явный промах.
толщина линий не указана
Я вижу ситуацию так: человек просит нейросеть нарисовать ему сетку. Нейросеть рисует самый распространённый вариант. Человек видит, что это почти то, но квадратики не того размера или толщина линии. И уточнит в следующем запросе.
Это будет всё равно быстрее, чем ему самому рисовать в Пэйнте или искать программиста.
Лучший вариант теперь дан выше, где нейросеть просят "С помощью Питон создай...", но это всё ещё не подходит для обычных людей, т.к. им сначала надо откуда-то узнать эти кодовые слова про некую змею.
Человек видит, что это почти то, но квадратики не того размера или толщина линии. И уточнит в следующем запросе.
"Если что не так, мы уточним в следующем запросе" — говорили они.
Ну на CSS я вам за минуту любую(!!!) сетку напишу))
Попробуйте попросить нейросетки поюзать именно html/css-grid
Я на Си напишу за минут пять, имея уже всё настроенное и графический шаблон. Что по времени равно рисованию в Пэйнте.
Я всегда смотрю на технологии глазами обычных людей - для них ведь и разрабатываем. Ещё не видел обычных людей, которые не разобрались бы в Пэйнте. Но программирование для них уже сложно.
Как будто человек может. Хотел бы я посмотреть как вы от руки без использования инструментов рисуете идеальную сетку.
Художник, великолепно рисующий портреты кистью и густыми красками тоже не нарисует сетку этими инструментами. Даже сам Сальвадор бы не осилил эту задачу.
Нейронки они больше похожи на биологические объекты с корой мозга, чем на станок с ЧПУ.
дешевле и продуктивнее чем люди подходит? Ибо держать норм "рецензентов" куда Качественнее с 24 \ 7 \ 365 командой ИИ вместо джунов с мидлами...
Аналогично могу сказать про бух отдел, кассиров, преподавателей с учителями. И... Ну, почти всех. Думу вполне можно заменить алгоритмами с задачек уровня школа 90х на старой доброй Турбе)
Но человек нужен будет как минимум для общения с другими человеками, иначе ИИ точно почти всех под корень истребит. И будет прав. За одно только соблюдение ПДД: всеми учасниками...
Несмотря ни на что, галлюцинации нейросетей являются их фундаментально неустранимым свойством и нейросети будут деградировать в процессе обучения на собственных галлюцинациях в Интернете, а люди деградировать в процессе применения деградировавших нейросетей. Один из ведущих специалистов в мире по системам информационной безопасности, профессор Кембриджского университета Росс Андерсон в своей статье https://arxiv.org/abs/2305.17493v2 вообще уже рассматривает сценарий, когда большая часть интернета будет сгенерированной нейросетевой галлюцинацией. Но ни вы, ни я и никакой эксперт и никто вообще не смогут отличить фейк от реальности. Этот процесс он назвал «коллапс нейросетей». Противопоставить ему можно только коллективную нейросеть всех умов человечества. Для взаимной проверки и самосовершенствования LLM и человека нужна возможность сопоставления знаний искусственного интеллекта с коллективным интеллектом. Это то, что может нас вытащить из персональных туннелей реальности и личных информационных пузырей, в которых мы все глубже застреваем поодиночке.
Если никто не может отличить фейк нейросети от реальности, то это не деградация нейросети, а как раз наоборот. Это идеальная нейросеть.
"Никто" потому что тех, кто может проверить уволят заменив, на нейросеть. :-(
Вы не хуже меня знаете, что существуют тысячи форумов и блогов специалистов в самых разных областях знаний. Но сейчас статус этих людей в интернете неотличим от всех остальных пользователей и у них нет инструментов, чтобы донести свою точку зрения и пробиться через кликбейтные CEO и SMM технологии. Существуют миллионы ученых и просто грамотных, знающих многое людей, которые сейчас не имеют инструментов кроме Википедии, чтобы донести свою точку зрения. При этом даже в Википедии такие люди подвергаются давлению администраторов. Кроме того, есть миллионы простых людей, которые устали от фейков и лжи. Коллективная сеть всех умов человечества должна дать этим людям инструмент независимой оценки их вклада в общий массив знаний и реального опыта, которого в действительности вообще нет у нейросетей.
При этом даже в Википедии такие люди подвергаются давлению администраторов.
А знаете, почему? Потому что, как обычно, побеждают те, кому больше всех надо. Нынешние члены АрбКома оказались на должностях не потому, что их "назначили из вашингтонского обкома", а потому, что их выбрали читатели. А читателей проголосовало менее ста (в одном случае — менее двухсот) человек (все ходы голоса записаны и доступны для всеобщего обозрения — посчитайте сами). А потом АобКом назначил посредников на темы известного конфликта.
Ни в коей мере не хочу сказать, что их выбрали люди, аффилированные с одной из сторон конфликта, но смею отметить, что уклон в одну из сторон у посредников весьма прозрачно прослеживается. Но.... пиплу пофиг, так что маемо шо маемо.
Если никто не может отличить фейк нейросети от реальности, то это не деградация нейросети, а как раз наоборот. Это идеальная нейросеть
Нейросеть, конечно, идеальная, да. Это отличатели негодные.
Не факт, что LLM, обученная на собственных данных будет деградировать. Для большинства нейросетей так и есть, но у LLM очень важной особенностью является то, что она стремиться не повторить обучающую выборку, а дать ответ лучше, чем в обучающей выборке. Таким образом, большие языковые модели по факту не являются языковыми моделями. Это происходит из-за RLHF. Целевая функция у них обозначена не как "минимизируй отличия от оригинала", а как "напиши текст, который соберёт максимальное колличество лайков от ассессоров". Поэтому LLMки способны генерировать данные даже более качественные (в смысле числа получаемых лайков), чем обучающая выборка. Так что среднее качество контента в интернете от них не упадёт, а как раз таки вырастет. Да, может быть они будут писать не так хорошо, как лучшие из людей, но лучше среднего - они смогут.
Верно
Если решит действительно "бесконечную" задачу, гипотезу Римана, или там уравнения Навье-Стокса, которые правда мне чуть меньше нравятся, то будет круто.
В глобальном смысле это всё конечные игрушки. Очень трудно представить конечный ИИ, который сам доказал бы Теорему Гёделя, хотя система Coq доказала, но опираясь на готовые концепты - это другое. Или не могу представить как ИИ смог бы доказать, что вещественных чисел строго больше по мощности чем натуральных. Найти среди готовых ответов - это да, но создать принципиально "бесконечно" новое - это вряд ли.
Что означает жёлтый цвет рубашек карт? Просто для красоты?
Множество можно определить так: для каждого из четырех параметров (это цвет, количество, форма и текстура) все три карты должны отображать этот признак либо как а) все одинаковые, либо б) все разные. Звучит сложно
Множество можно определить так: а) одноимённый параметр (признак) каждой карты обладает одинаковым значением, либо б) уникальным.
Спасибо за интересную статью!
По LLM у меня пока экспертизы нет, зато я хорошо играю в сет. И имею доложить, что на фото с играющими ребятами сет есть. Удачи в поисках!
Вот у ребят 12 карт на столе. Жаль, что их придётся убрать в стопку сброса — сетов то нет!
Разбудите меня, когда ИИ начнёт писать стихи на любом языке с соблюдением размера. :)
Кажется, что это уже было лет двадцать назад, в начале двухтысячных. Надо было придумать алгоритм для муравья для выхода из лабиринта. Желаемый алгоритм представлялся как конечная машина состояний, каким-то образом формализованная. Генерировалась популяция таких алгоритмов-особей и начиналась генетическая оптимизация. В итоге получался алгоритм/машина состояний, который решал задачу. Тут, вроде, очень похоже?
Да, только генетическому алгоритму вообще лет 50 уже.
После прочтения мне захотелось попробовать решить какую нибудь из нерешенных задач на своём железе. Пусть не получится по производительности, но подход опробовать все же можно. Звучит довольно просто.
А зачем он Li(x) ещё и на ln(x) разделил?
Потом ещё раз не правильно, но иногда правильно. Каждый раз по разному отвечает.
Да и не найдёт ChatGpt, будь он хоть 5555....5-ой версии за 555...5 долларов с подпиской, следующего слагаемого после Li(x). Для этого нужны бесконечные мозги - среди людей то, про мозги которых мы до сих пор мало чего знаем, таких практически не найдёшь. Что там говорить о каком-то конечном ИИ, про который мы точно знаем что он конечный!
Спасибо за статью!
Не очень понятно только, как всё-таки избежать тупика в создании решений. Островковые популяции – эта мысль понятна, но ведь может быть такое, что на всех островах популяции решений зайдут в тупик или будут деградировать? И как их выводили из такого тупика? Неужели они просто каждый раз писали модели "а ну-ка давай что-нибудь получше"?
Никак не выводили, конкретно с этой моделью конкретно к этим задачам - сработало. Более слабые модели или более сложные задачи могут не поддаться и сойтись к решению хуже или такому же, как сделали люди.
К примеру, вот брали для одной из задач разные модели, а также каждую запускали по 5 раз. (светлые линии). Видно, что не все сходятся к лучшему решению (темные линии), а модель хуже - Starcoder, выделена красными линиями, вообще не добирается до лучшего решения.
То есть тупиковые ситуации возможны. Глобально вижу решение в использовании лучших моделей + доп. техники для увеличения дайверсити (еще больше островов, чуть другие прмопты, етц)
@stalkermustang
А можно поподробнее про "ИИ пройдет тест на самосознание в зеркале". Судя по картинке- уже прошло?
Где почитать?
вообще не стоит столько смысла искать в мемах, но самое близкое что смог придумать к этому - https://t.me/seeallochnaya/103
Статья огнище!!! Хотя теоретически там есть где указать на теоретический предел, сдвинули они его одним махом очень прилично.
Готовы ли будут корпорации заплатить 3 миллиарда долларов за рецепт лекарства от рака (если технология позволит находить и такие решения в виде исследовательских статей)? Как скоро нейросеть включат в соавторы работы, которая получит престижную награду вроде Нобелевской премии?
В 60-ых, когда впервые стали появляться им на основе исчисления предметов первого порядка, учёные уже пытались свою программу в соавторы записать, но из-за велико-антропного шовинизма это не проканало.
GPT-like модель «впервые сделала научное открытие»: что, как, и куда дальше?