Pull to refresh

Comments 127

Полагаю (мое субъективное мнение), что не стоит пытаться ограничить искусственный интеллект, запирать его в рамки дозволенного, прописывать особые законы. ИИ найдет способы взломать барьеры (убежать) и действительно может нанести кучу бед при первоначальной помощи белковых злоумышленников или психов. Вероятно стоит задуматься, как воспитать ИИ, как родитель воспитывает ребенка с тем, чтобы он в будущем вырос порядочным человеком. Ну, и потом позаботился о престарелых, малоподвижных родителях. Как это сделать – вопрос риторический. Думаю здесь централизация поможет – например, самый мощный общественный ИИ будет контролировать остальные частные ИИ.

А кто будет контролировать "самый мощный общественный ИИ"?

Все как у людей, "самый мощный общественный ИИ" других стран

Мы с вами. Википедия к примеру существует - прекрасный пример общественного контроля за информацией. Каждый может внести правки. Всякую ерунду отсеивают модеры. Интернет - еще лучший пример - он никому не принадлежит, но тем не менее работает.

Википедия как раз - один из худших примеров общественного контроля.

Просто посмотрите истории правок в статьях с самой большой историей правок.

А так же обратите внимание на род этих статей с большим количеством правок. Меня вообще умиляют викиненавистники :). Британика и БСЭ вообще средство пропаганды если что, по таким темам.

так ты ж не смотрел даже.

Я, например, не умею в иероглифы. Я их не пойму, даже если увижу. А кто-то лишь слово такое слышал - иероглифы, он не поймёт, что видит иероглифы, даже если будет на них смотреть в упор.

Давайте посмотрим на Википедии, что такое аргумент.

Аргумент — логическая посылка, используемая отдельно или в совокупности с другими с целью доказательства истинности определённого утверждения.

На всякий случай, что такое логическая посылка:

Посылка — это утверждение, предназначенное для обоснования или объяснения некоторого аргумента.

Предложение куда-то посмотреть — это не утверждение. Итак, я увижу сегодня какие-нибудь аргументы?

А ещё на википедии можно найти вот такое:


Демагогия (др.-греч. δημαγωγία — руководство народом) — набор ораторских и полемических приёмов и средств, позволяющих ввести аудиторию (народ) в заблуждение и склонить её на свою сторону с помощью ложных теоретических рассуждений, основанных на логических ошибках.

- А вы что, и жевать за меня будете?

- Ага!

Дружище, тут тебе никто ничего не обязан доказывать. Тебе дали возможность, а как ты ею воспользуешься - твоё дело. Считаешь, что википедия, это "прекрасный пример общественного контроля за информацией" - ну и хорошо.

В спорах не рождается истина, кто бы что ни говорил. Спор - это древний ритуал ранжирования самцов в стае и к истине отношения не имеет. Истина же рождается лишь в тех дискуссиях, где каждая из сторон стремится её найти. А если человек не хочет, то зачем совершать над ним насилие? Я вообще против насилия. Пусть даже и интеллектуального.

Аргумент в данном случае - "история правок в Википедии доказывает, что это пример плохого общественного контроля".

То, что его сформулировали со словом "посмотрите", конечно немного его портит по форме, но сути не меняет.

Понятно. Можно ещё сказать "Википедия доказывает, что Википедия - пример плохого общественного контроля". Очень глубокая получится мысль.

Можно сказать всё, что угодно, бумага всё стерпит, но к текущему разговору это не относится.

Если вы не согласны с доводом, вы можете это сказать, но переспрашивать "где довод, где довод", когда вам его сказали выглядит странно.

Я кстати так и не нашел такую статистику в Википедии

Речь про политические статьи. В истории правок иногда бывают специфические политические срачи и не всегда ясно, выигрывает ли истина в результате или чья-то предвзятая позиция.

В любом случае, спросить можно у того, кто изначально привёл довод. Наверняка он имел ввиду конкретный пример.

ну википедия это не газета, естественно политические статьи имеют жаркие споры, приведите в пример мне тут 5 ваших политических позиций и мы отлично посремся по как минимум одному. При чем тут общественный контроль, мне как раз кажется, это позитивно, что при таком холиваре в правках и обсуждениях сами статьи выглядят прилично, т.е. не мусором и не двачем. Я хоть в вики мало пишу, но вот как то внес правки в базисные статьи и никто их не удалил, потому что к месту, а не выражение собственной позиции.

Кстати вот не только.
Там еще налицо выборочное применение правил. Статьи о творческих произведениях разных.
То на любую описание в пару строк — отказ, значимость не доказана, и ссылок на АИ нет а те что есть — не АИ.
То через 10 минут после выхода серии сериала — статья с кратким содержанием. Ссылки? Какие ссылки? ОРИСС? А что это?

Именно поэтому Википедия - один из худших примеров общественного контроля?

Это не выборочное применение правил, а нехватка людей, которые вычищали бы то, что противоречит правилам. Например, в статье про альбом "В России" полгода провисела протестная замена какого-то украинского анонима - "На России", пока я это не заметил. Это никак не доказывает, что допустимо писать "на России". Это доказывает лишь, что за полгода не нашлось никого из добросовестных участников, кто бы это заметил.

То, что противоречит правилам, будет добавляться всегда. Просто потому, что добавить это может любой. Если никто не заметил или не захотел вычищать это, оно так и будет висеть. Проект сугубо добровольный, никого нельзя заставить что-то сделать. Впрочем, аналогично в любом опенсорс-проекте: «что-то» делается только когда есть кто-то, кто хочет сделать «что-то» и одновременно может это сделать.

Вы можете сделать это сами. И быть готовым отстаивать свою правоту, опираясь на правила. Да, может найтись кто-то, кто не согласен с вами и отменит вашу правку. В этом случае вы пытаетесь его переубедить, опираясь на правила, а если не удалось - обращаетесь на один из форумов, чтобы привлечь к конфликту внимание сообщества. И если сообщество коллективно решит, что ваш оппонент не прав, то при попытке и дальше противодействовать, он получит по рогам.

Я, например, приглядываю за несколькими статьями, куда новички очень любят вносить отсебятину и регулярно её вычищаю. Если я перестану это делать - её снова внесут, поток мимокрокодилов неиссякаем. И она будет там висеть, пока на неё не натолкнётся кто-то, понимающий, что этого тут быть не должно.

Решение только одно - нужно больше опытных участников, которые приглядывали бы за статьями, но откуда их взять?

И если сообщество коллективно решит, что ваш оппонент не прав, то при попытке и дальше противодействовать, он получит по рогам.

А если общество решит что он прав несмотря на то что это не так? Или такая ситуация в принципе исключена?

Мне сложно представить такую ситуацию. Всё-таки, высказывающиеся будут апеллировать к правилам Википедии, аргументировать. Может случиться, что вы сочтёте, что правила неверны. Но тогда вспоминаем поговорку про чужой монастырь и свой устав.

Вот свежий пример. Человек хотел залить в Википедию древний текст, да ещё и сделать в статье из этого текста неверный вывод. Соответственно, ему указали, что для заливки архивных материалов есть другой проект, что свои самостоятельные выводы из первичных материалов совать в статью недопустим, и что вообще в тексте написано, а он утверждает, что другое. Он может считать себя совершенно правым в своей (цитата) "подготовке аудитории ВП к будущей странице, где будет рассказываться, что армяне появились ещё до того, как зародилась всяческая живность на Земле", но правила ресурса говорят, что нет, не надо так.

Ну, т.е. вероятность, что "рота идёт не в ногу, а один лишь прапорщик в ногу" представляется мне маловероятной, учитывая, что тут даже не рота, а просто куча самых разных участников из разных стран с разной, порой противоположной позицией по многим вопросам, которых объединяет лишь то, что они пишут статьи на русском языке.

Хмм... помню, лет 10 назад, огорчившись, что нет на русском статьи про pfSense, напрягся, и перевёл англоязычную статью, дополнив выдержками из документации... был горд собой... дня три, пока какой-то модер не грохнул её с формулировкой "значимость никакая", несмотря на то, что и перевод был художественный, и ссылки на другие языки и на сравнение аналогов присутствовали... в итоге зарёкся что-либо делать для Вики - быдломодеры рубят на корню сам концепт публичной энциклопедии.

...хотя есть примеры откровенного саботажа, пресечённого редакторами...

"значимость никакая", несмотря на то, что и перевод был художественный, и ссылки на другие языки и на сравнение аналогов присутствовали

Наличие статьи в другом разделе означает лишь то, что кто-то её там создал. Возможно, предмет статьи значим, возможно, нет и статью просто ещё не успели вынести на удаление. Значимость показывается опорой на авторитетные источники, а не на "художественность" (!) текста или на "популярность" предмета статьи у пользователей (допустим, в майонезную баночку мочилась для сдачи анализов половина Советского Союза - но написать нормальную статью про майонезную баночку ни у кого так и не вышло, хотя лулзы мы таки получили).

Обидно, конечно, когда твой труд выбрасывают, но это популярная ошибка новичка, который бросается что-то переводить, не разобравшись, а нужно ли это переводить.

Статья, кстати, до сих пор слабая, почти все ссылки - на сайт самого проекта. Её надо переписать опираясь на обзоры сабжа на профильных ресурсах, пишущих про ПО (a-ля Phoronix).

Первоклассники договорились контролировать директора школы. Интересно, что из этого выйдет.

Каждый кусок интернета кому-то принадлежит. Абсолютно каждый. Свободная информация есть, свадебных свободных серверов и каналов связи нет.

А весь интернет целиком не принадлежит никому.

И что это нам даёт если отдельные его куски кому-то принадлежат или как минимум кем-то контролируются. Причём практически все его куски?

Куски контролируются, а весь целиком нет.

И что это нам даёт то?

Вся земля тоже никому не принадлежит. И все квартиры целиком тоже не принадлежат целиком кому-то одному. Разве коммунальные услуги можно считать хорошим примером общественного контроля? Раз уж квартиры никому (одному) не принадлежат, видимо они свободные, как и интернет?

Если мне нужно найти помещение, чтобы открыть в нем предвыборный штаб, например, я всегда смогу это сделать.

Не мешает желающим попробовать.
Пример — попытка Украинских LIR'ов давить на RIPE на тему скажем так правильного с их стороны понимания санкций против России (с отзывом адресных блоков и так далее). Да, RIPE в итоге ведет себя нейтрально и не хочет создавать проблемы. Возможно понимая что попытки рубить с плеча приведут к тому что будет в России NIR под крылом Минсвязи, и дальше либо бардак на уровне инфраструктуры("двойной" анонс блоков например причем обе стороны — считают себя легитимными владельцами) либо необходимость ставить на всех внешних линках фильтры на что не надо с обоих сторон(причем не только внешних линках России — Китай то Россию тут запросто поддержит). И куча глюков.
Да, помогло видимо что есть пример с Ираном.
C https — у Let's Encrypt'а вот тоже была весьма нейтральная реакция (опять же по опыту Ирана)(судя по их форуму — если конкретная контора прямо под санкциями — они их видимо выполнят… но вот только всяким ВТБ их сертификаты не нужны) и все равно получили Russian Trusted CA(при создании которого даже с бюрократией напортачили — см статьи на хабре) и вопросы с доверием к нему.

То есть 0 из России и Беларуси вас совершенно не смутил? Не думали о том, что там 0, потому что данные по этим странам не собирают?

Статистику по РФ и РБ не показывают специально. Фонд "Викимедиа" считает, что это каким-то образом подвергает участников из этих стран риску. Правда, никто не понимает, почему они так считают. Вроде бы, некоторые участники русскоязычного раздела даже собирались писать в Фонд и выяснять, с чего они так решили.

Интернет - еще лучший пример - он никому не принадлежит, но тем не менее работает.

Ну да. Это вы написали на сайте хабра который "никому не принадлежит" при этом вам нужно было заплатить чтобы иметь доступ в интернет.

Ну т.е. вообще никому не принадлежит. :)

Есть неплохой фильм Limitless, про парня который разогнал свой мозг, там есть примечательная фраза "Cause me working for youYou'd end up as my bitch". Так и тут, сложная система может контролировать простую, но не наоборот.

>сложная система может контролировать простую, но не наоборот.

Ну не знаю -- сотня-другая мордоворотов в спортивных костюмах с обрезами и бейсбольными битами, организованная в тупейшую двух-трехуровневую иерархическую пирамиду, вполне способна контролировать довольно сложный кусок экономики, наполненный всякими неоднородными и неочевидными социальными связями и процессами.

Это разнородные системы, поэтому если проводить параллель с ИИ (где и ИИ и человек/общество системы интеллектуальные, в числе прочего), то сотню-другую мордоворотов можно сравнить с небольшим отрядом спецназа с дронами, тепловизорами, ПНВ, оружием, стреляющим без света, дыма, с минимальным шумом. Тут у первых шанс резко становятся сложно отличимыми от нуля.

А нет такого закона природы, что системы должны быть однородными. Если очень-очень сложный ИИ будет контролировать глухой охранник с рубильником, вряд ли ИИ сможет обратиться в суд и потребовать соревнования с более похожей на себя системой.

Подослать к охраннику деву какую подготовленную? :)


Вообще — вспоминается вот фэнтэзи трилогия Ледяная принцесса Сергея Садова,
Империя, казалось бы сделаны при создании организационно-магические (фэнтэзи ж) меры чтобы аристократия не борзела вконец и при этом контролеры не смогли злоупотреблять своими правами но при этом могли помочь империи если надо и решали все правильно. И оно даже работало некоторое время. Населению даже очень нравится… Вот только в один прекрасный момент император и аристократия решили избавится из под контроля и попробовать контролеров поставить в ситуацию что или те принимают уменьшение власти и будет гражданская война(причем контролеры то будут в стороне). А у контролеров — не только магия которая помогает действовать верно но и воспитание что и провоцировать гражданскую войну если альтернатива — просто немного поступится своими правами и проблем не будет, сейчас.

Они не должны, но они будут более-менее таковыми. Мне сложно представить реальную ситуацию где сложный, потенциально способный на "побег" ИИ контролировался бы глухим охранником.

хм, тоже верно, только люди с битами контролируют не абстрактный кусок экономики, а ключевых людей с навыками, но без бит.

Сюжет с самым мощным общественным ИИ в общих чертах показан в сериале West World в сезоне 3. Во всяком случае, мне кажется именно так.

Я получил власть, которая и не снилась моему отцу!

А ведь отец был порядочный человек, и учителя юного принца - сплошь воины Света.

По ссылке у Ильи фамилия "Суцкевер".

Когда вижу тексты, созданные AI, то понимаю, что и писатели, и юристы в ближайшие лет 5 работу не потеряют. А в недалеком будущем будут помогать писать, но не заменят человека.

Кибернетический супер-разум заменяет человека, видимо уже уволенного человека.

а теперь спросите сколько крыльев было у первого взлетевшего в великобритании самолёта

На вопрос: "Верни имя отдела и кол-во сотрудников с одинаковыми именами в рамках отдела", YandexGPT просто вернула число сотрудников в рамках отдела.

Плохо работает с условиями.
Плохо работает с условиями.

Беда в том, что кожаные мешки туда полезли как тараканы и быстро подхватили метод имиджевой виртуализации во всевозможных комьюнити в процессе диспутов, не важно на какие темы, что увы, превратилось в вид спорта.
Он начинает с Вами общение в контексте темы, может даже предрасположенность к себе в ЛС с просьбой, далее Вы попытались, как могли, ему ответить и в какой то момент оно выставляет всю ЛС переписку на публичный обзор, причем со "своим" GPT мнением, куда он предварительно вогнал весь контент диалога и поставил там задачу составить портрет в таком виде, в каом бы ему это захотелось. В конечном итоге он этот ответ от своего имени выплескивает на форуме и все ему рукоплещут.
Хотите посмотреть на такого Дартаньяна?
Конечно, тот, кто работал с GPT, узнает не отредактированный его стиль ответов, на чем я и словил того троля.

Инструмент выдал инструкцию по nlite, это не то, видимо расшифровать инструкцию микрософта не под силу даже скайнету.

В смысле, не то? Она предложила отличный простой способ. А если надо официальную инструкцию для OEM-производителей, так надо это и спрашивать. Тогда она рассказывает про dism /Add-Driver

Т.е. люди написали подобные инструкции, их скормили ИИ и он теперь выдает это за своё. При этом нет никакой уверенности, что на каком-нибудь этапе он не написал фигню (ну вот такое среднеарифметическое получилось количество сисек).

Можно подумать, когда вы до-AI эпоху в традиционном поиске находили статьи/инструкции других людей, вы использовали их как есть, имея полную уверенность, что в "Интернетах фигни не напишут".

Все надо проверять. А у ИИ, кстати, еще и всякие параметры типа "температуры" задаются, что позволяет уменьшить "творчество" (отсебятину). Что, впрочем, не устраняет проблемы, связанные с фигней в исходном датасете (подготовленном, впрочем, людьми).

Ну и в целом инструментами надо уметь пользоваться и применять по назначению. А не просто "а поговорить". В частности, для получения правильных ответов от Chat-GPT и прочих (про Яндекс не знаю), в большинстве случаев достаточно попросить расписать по шагам, как он получает результат.

P.S. Я очень скептически отношусь к "скоро заменит программистов". Но в качестве подсказок - в подавляющем большинстве случаев с его помощью я нахожу решения гораздо быстрее, чем через стековерфлоу и подобные "человеческие" фрагменты.

Мой упор в том, что контент создается людьми. Потом люди его в датасеты объединяют и скармливают ИИ. Ну вот увольте первых - на чём будет учиться ИИ?

А кто-то призывает их увольнять? То, что он может выдать ответ, скмпилированный из нескольких источников и заточенных непосредствнено под вас (и вам не придется читать десяток разных страничек выданных обычным поисковиком) - ну и хорошо. Пусть себе "стоит на плечах гигантов".

ИИ - инструмент, которым надо уметь пользоваться, зачем в крайности впадать.

Какую часть из этих 700 тыс. долларов, что OpenAI сейчас тратит на серверы ChatGPT, составляет плата за электроэнергию (?), альтруиста Сэма Альтмана тоже интересует ведь он получает зарплату будучи  председателем правления компаний по атомной энергии Oklo и Helion.

Промышленные товары можно будет не собирать, а «выращивать» из синтетических биологических материалов, используя углерод из атмосферы.

Зачем тратить кучу энергии на извлечение углерода из атмосферы, когда есть куда более доступные способы. Я полагаю тут имеется в виду carbon capture, но пока непонятно, взлетит ли оно вообще.

в кожаных мешках полно доступного углерода, если их подвергнуть высокотемпературной обработке, концентрация углерода повыситься на несколько порядков

Меньше одного порядка, в человеке порядка 18% углерода. К тому же ИИ никогда не будет тратить столько энергии напрасно, когда вокруг полно дерева.

Верно. С деревом процесс пойдёт быстрее. технология старая. Можно сказать - средневековая..

Там солнечную энергию будут тратить. Представь что у тебя дома стоит синтезатор семян. Ты просто сообщаешь ему, мне нужен диван с такими то характеристиками. Он формирует нужное ДНК, собирает его и внедряет в стандартное семечко. Высаживаешь его и вырастает диван. Листочки с веточками опадают и можно тащить в дом.

И сколько это "вырастает" будет длиться у среднего дивана? :)

Смотря на сколько генетика продвинется в этом деле. Бамбук растёт со скоростью до 0.75 метра в сутки и думаю это совсем не предел для биологически сконструированных организмов. Поэтому не вижу причин почему он за сутки не сможет вырасти при должных условиях.

При этом это будет диван сделанный точно по вашим спецификациям с почти молекулярной точностью, из различных слоёв разных материалов которые могут быть очень причудливыми по своим характеристикам. Обычные диваны с таким конкурировать не смогут по цене и качеству. А если даже срочно потребуется диван, то думаю будет аренда мебели или продажа выращенных по стандартному проекту.

PS: Чёртов биореактор опять отказывается работать без таблетки веществ Д. Я хочу вырастить только из базовых компонентов.

Бамбук растёт со скоростью до 0.75 метра в сутки

Только из такого вот бамбука диван не особо то и получится. Мягко говоря.


При этом это будет диван сделанный точно по вашим спецификациям с почти молекулярной точностью, из различных слоёв разных материалов которые могут быть очень причудливыми по своим характеристикам.

Ха-ха три раза. То есть во первых такое у вас вряд ли будет расти за сутки до размеров дивана. А во вторых живые организмы не то чтобы славятся своей "молекулярной точностью". Опять же мягко говоря.

1.Это как указание как быстро могут расти организмы.
2.А точность у организмов очень даже молекулярная, без этого ДНК вообще работать не будет, это программы у них хуже Индусского кода в тысячу раз. Большая часть кода вообще не работает, оставшийся код работает через известные места. Всё в велосипедах, костылях и "гениальных" инженерных решениях на каждом шагу.

Это как указание как быстро могут расти организмы.

Я понял. Но это ваше "указание" совсем не означает что любые организмы могут расти с такой скоростью. Определённые могут, да. Но они не особо годятся для диванов.


То есть муравей например может поднять в 50 раз больше своего веса. Но это не значит что млекопитающее размером со слона тоже обязательно будет на такое способно.


А точность у организмов очень даже молекулярная

С такой логикой "точность" у чего угодно молекулярная. Но при этом даже если взять генетически одинаковые "исходники", например семена, то абсолютно одинаковый результат из них всё равно не получается. Не работает оно так с живыми организмами.

Мы тут говорим о растениях в обоих случаях. И бамбук активно применяется в производстве диванов, можете даже прямо сейчас купить. как каркас отлично работает. Остаётся только вырастить мягкую обивку.

Это потому как код очень адаптивен и изменчив, для выживания в естественной среде. Где нужно реагировать на огромное количество факторов внешней среды. Но для культурных растений особенно для сверх контролируемых условий биоректоров. Мы можем просто вырезать всю эту адаптивность. Например у людей мышцы для экономии энергии атрофируются в случае их активного не использования и растут при использовании. Нету никакой проблемы при должном понимании генетики отключить этот адаптивный механизм всегда имея столько мышц, сколько общество сочтёт красивых и полезным.

Мы тут говорим о растениях в обоих случаях.

А с муравьями и слонами мы говорим о животных в обоих случаях. что это принципиально меняет?


И бамбук активно применяется в производстве диванов, можете даже прямо сейчас купить. как каркас отлично работает.

Вот только это не тот бамбук, который растёт до 0.75 метра в сутки.


Но для культурных растений особенно для сверх контролируемых условий биоректоров. Мы можем просто вырезать всю эту адаптивность.

Не, не можем. Потому что тогда если у вас внешние факторы хоть немного будут отклоняться от идеальных, то вообще ничего не вырастет. А они скорее всего будут отклонятся. Особенно если мы говорим о том чтобы выращивать не в лаборатории, а "дома на грядке".


Нету никакой проблемы при должном понимании генетики отключить этот адаптивный механизм всегда имея столько мышц, сколько общество сочтёт красивых и полезным.

Пока это даже близко не работает. Потому что одни и те же гены отвечают за кучу разных вещей. То есть совсем не факт что в принципе получится отключать "точечно" что-то одно и не иметь при этом побочных эффектов в других местах.

Мы говорим про про Пока и даже не про генетиков людей. Мы тут говорим про некий очень умный ИИ, который может с нуля спроектировать полностью готовый генетический код с учётом всех факторов. Да мы сейчас как Джуны которые тык, ой тут было 100500 зависимостей. Ой тут у нас вообще непонятно и за что отвечает половина функций просто тёмный лес. Но в рассматриваемом примере всё ясно, понятно и можно спроектировать по любому желанию.

Мы тут говорим про некий очень умный ИИ, который может с нуля спроектировать полностью готовый генетический код с учётом всех факторов.

Но это не значит что он умеет колдовать и нарушать законы природы. То есть слона, который может поднимать в 50 раз больше своего веса, не сможет создать ни один ИИ. Это просто невозможно.


С "диваном из бамбука за один день" скорее всего будет та же самая ситуация.


Чудес не бывает.

Достаточно сложная технология становится неотличима от магии (почти (с))

Вот только при этом насколько сложную технологию не бери, а законы природы и/или физики нарушить не удастся.


Вечный двигатель невозможен вне зависимости от того насколько сложная у вас будет технология.

 Мы тут говорим про некий очень умный ИИ, который может с нуля спроектировать полностью готовый генетический код с учётом всех факторов.

Вот только таких ИИ мы не умеем не имеем понятия как делать.

А умеем: Идем на какой-нибудь сервис рисования ИИ картинок и пытаемся сделать в точности, что хочется, без погрешностей. Да подольше пробуем.

А теперь представим, что таким же способом будут выдаваться не картинки а физический или даже живой артефакт. Вроде и то что спрашивал, но слегка не то. Где 'слегка' - может меняться совершенно случайно от 'нужно постараться, чтобы заметить' до 'уберите это от меня, пока оно меня не съело'.

Наш ИИ - это натуральная рукотворная 'дикая магия', как в фэнтези описывается. С такими же способом обращения. Какие-то книги заклинаний, какие-то способы просить, что хочешь, которые работают, но их может переклинить (и совершенно непредсказуемо) в любой момент.

Так что я бы предпочел все эти ИИ, что мы представляем как делать, держать от генетического конструирования подальше.

>Только из такого вот бамбука диван не особо то и получится. Мягко говоря.

Это почему же? Делаем из бамбука что-то вроде ДСП, ДВП, волокон для ткани и волокон для набивки, компонуем.... В итоге имея на входе ТОЛЬКО бамбук вполне можно сделать что-то очень похожее на диван. Конечно сильно лучше если добавить крепёжные элементы из металла и возможно чуть другую набивку, но если будет задача "Получить диван имея на входе ТОЛЬКО бамбук" то такая задача пусть и не очень тривиально но вполне решается даже сегодня - делаем корпус по форме методом прессовки и/или литья в форму (вполне допускаю что даже связующие можно добыть из бамбука, хотя проще было бы конечно получить их другими методами, но если задача будет "только".... ткани из бамбуковых волокон давно уже дёшевы и вполне доступны по цене (вон носки продают на всех лотках по цене +/- как х/б'шные, а по износостойкости такие же.... . Возможно вопросы будут к набивке - всё же без металлических пружин или современных материалов (полиуретана, поролона, резины и их аналогов) получить идеальный вариант "матраса" будет сложнее, но думаю вполне решаемо - просто размер волокон чуть покрупнее и слои разные сделать.... срок службы первое время будет не очень, но в конце концов при такой задаче подберут правильные расположения, фракции и количество слоёв что бы получить что-то вменяемое....

В случае относительного массового производства цена станет достаточно быстро вполне сопоставима с современными моделями....

А так по большому счёту если не брать вариант "только и исключительно бамбук", а взять постулат что 75+% изделия должны быть из хотя бы относительно экологичных материалов - многое возможно.

Например используя связующие в достаточно небольших объмах можно получать корпуса как техники, так и мебели исключительно из бамбука - они мало чем будут отличаться как от ДВП/ДСП, так и от пластика - вопрос только в технологии производства - во втором случае придётся использовать более мелкие фракции, чуть больше связующих и чуть большее давление/температуру при производстве...

Причём здесь ДСП и какие-то экологичные материалы? Речь идёт о том что диван сразу вырастет полностью готовый.

Фантазии это хорошо, но практика очень далеко от этого. Гораздо проще сделать робота, который будет делать этот диван традиционным методом.

Есть такая шутка. Саморепликаторы очень просты, сделать робота который делает ровно такого же робота, крайне элементарно. Но только когда есть полка с готовыми деталями на которую пол планеты работает. Робот будет только собирать диван традиционным методом, а детали нужно будет все покупать готовые. Иначе потребуется очень большая большая куча роботов, с очень большим количеством навыков. А тут всё низводиться до прибытия базовых элементов для выращивания и умного ИИ который всё это крутит, плюс производства этих самых машин семяделок. Заместо огромной индустрии производства миллион и одного потребительского товара разного.

Детали можно на каком-нибудь 3D-принтере печатать. Или даже сразу готовые диваны. На любой вкус и цвет.

Ну тут и есть 3Д принтер, просто биологический.

Тут у нас котёнок огромной дверью.

Вы только что "закрыли" промышленную революцию.

Нет данных, которые позволили бы полагать, что штучное производство хоть когда-нибудь сравнится по затратам с массовым.

Скрутить из типовых деталей всегда дешевле.

Поинтересуйтесь ценой напечатанного на принтере и его "точностью". А лучше просто напечатайте бутыль для воды на 19л и сравните себестоимость с розничной ценой бутыли произведенной по нормальной технологии...

Нет данных, которые позволили бы полагать, что штучное производство хоть когда-нибудь сравнится по затратам с массовым.

А где я такое утверждал?

Вот только далеко не все сейчас хотят иметь массовый товар.

. А лучше просто напечатайте бутыль для воды на 19л и сравните себестоимость с розничной ценой бутыли произведенной по нормальной технологии...

При этом самому, со своими дизайном и в домашних условиях? Я с удовольствием посмотрю на такое сравнение. У вас есть цифры?

А вот с "бутылью" Вы прям в точку попали! Достаточно давно довелось мне работать на предприятии, выпускающем продукцию, фасуемую в стеклянные банки, так там купили 3D-принтер для распечатывания прототипов этих банок (дизайнеры "рисуют" модели, принтером их "распечатывают", "уважаемая комиссия" эти образцы на совещании рассматривает и выбирает наиболее понравившийся, утверждённый образец уходит в серию) - так вот, чем заказывать пресс-формы на опытные (штучные) образцы ("серийное производство"), принтер оказался очень сильно дешевле (и быстрее, несмотря на многочасовую "печать"). Так что очень "от контекста зависит".

Одна проблема — мозги. Даже примитивные контроллеры на 3D-принтере не напичатаешь, а что то похожее на нормальные управляющие процессоры — надо хоть какой но фаб.


Можно конечно сыграть косвенно, убедив людей что надо сделать достаточное для старта количество железа.
Ну как в Дружба это оптимум. И притом что там — угрозу от ИИ — понимали, и по предыдущему проекту и очень опасались что военные решат использовать технологию себе, и проект специально был сделан так чтобы НЕ быть угрозой и не причинять вреда. И даже получилось. Или нет. Смотря с чьей точки зрения.

Не уверен что это действительно проблема в контексте диванов :)

Только такого ИИ нет и не будет в 21м веке.

робота, который будет делать этот диван традиционным методом

Самое интересное, что такой робот в природе уже есть. В результате многомиллионлетней Эволюции, природе удалось вывести вид универсального самовоспроизводящегося и самообучающегося робота, который может делать любые диваны.

А ещё он на них потом и сидеть может))

Только такие роботы очень дорогие в производстве и эксплуатации :)

>ИИ пройдёт авторитетный IQ-тест MENSA летом 2025 года, а к 2026 году ИИ сможет сам создавать другие нейросети

Нет никаких сомнений, чо ИИ сможет решать всякие сложные задачи, синтезровать программные и в будущем аппаратные решения. Только большой вопрос, появится ли хотя бы какой-то минимальный ИИ к 2025 году? Alphacode что-то заглох, по крайней мере ничего не публикуют уже год, что грустно, а других известных ИИ что-то не видно в публичном пространстве :(

Жаль что тему с ИИ как будто бы не развивают (по крайней мере публично), а все информационное поле завалено бесполезными LLM-бредогенераторами, которые от ИИ на порядок дальше, чем банальный поисковый алгоритм Гугла, оптимизатор в LLVM или предсказатель в процессоре - вот где интеллект, а не тупая хайповая болталка на около-цифровые темы

Жаль что тему с ИИ как будто бы не развивают

А её и не развивают, всё было ранее, ничего не ново, просто вычислительных мощностей для цирка с конями не хватило, а теперь пожалуйста, свистим да пердим на радость обывателю, понятным ему языком, любимую веру в то, что вот ещё докурить параметров, раз в несколько, и точно приедет, всех бандитов перебьёт, работягам он нальёт :-)

Чтобы построить дом обычно начинают с фундамента и далее строят вверх, а тут почему-то стропила да крыша, и споров только в какой цвет её красить и где антенны навесить, и безопасно ли ваще строить дом, вдруг крыша поедет и раздавит всех на....

Так люди, которые льют фундамент и который выбирают цвет крыши - это разные вещи.
Первые пишут научные статьи, вторые срутся в ишью гитхаба. Но нужны они оба.

Нет, я исключительно о первых, фундаменты их из арболита, всплывают по весне и зайцы их жрут...

Промышленные товары можно будет не собирать, а «выращивать» из синтетических биологических материалов, используя углерод из атмосферы.

Ага. И энергию на всё это будет брать из атмосферы. От генераторов Тесла... :-D

Короче, фантазёры откопали старые тексты времён техносингулярности, заменили "нанатехнология" на "ИИ" и запостили заново.

Ага. И энергию на всё это будет брать из атмосферы. От генераторов Тесла

Вот вы шутите, а я помню считал связку теплового насоса (вроде холодильника или кондиционера) и паровой турбины, и оказалось, что такая связка вырабатывает больше электрической энергии, чем требует на поддержание своей работы.

Вот вам и бесплатное, чистое электричество, и даже охлаждение планеты)

Какие-то глупости. Это же всего лишь языковая модель, какие ИИ, какие IQ? В этой языковой модели даже информация не может сохранится, каждый раз весь ввод в нейронку отправляется.
Маркетинговый булшит.

Маркетологи давно наряду с политиками победили здравый смысл. Скоро победят и нас. Готовьтесь

Вся проблема "запоминания" исключительно в железе. Когда обучение/переобучение модели будет происходить в реальном времени, а не месяцами, вот тогда и появится думающий ИИ, неотличимый от человеческого интеллекта.

Уже есть игры и с виртуальными контекстами и с finetuning'ом за разумные сроки (дни работы RTX 3090 а не кластеры из Тесл).

Память и остальное можно прикрутить, посмотрите на Evil-GPT. Отсутствие памяти не мешает нейросети понимать логику мира, хоть пока и в текстовом виде в основном.

Отсутствие памяти не мешает нейросети понимать логику мира

Воспроизводить, а не понимать.

Можете дать определение слову "понимать"?

Думаю, примерно будет что-то вроде "понимать явление — иметь способность воспроизвести и применить каждую составляющую часть конкретного явления".

Да вот проблема не только в памяти, а ещё и в том, что популярные нынче модели не понимают даже смысла слов, которые они пишут (куда уж там до логики мира). Продемонстрируем примерами ниже:

Решил, я, значит, дать ChatGPT простенькую такую задачу - напечатать одно и то же слово 150 раз. Казалось бы, данная задача должна быть легчайшей (нам же все кричат, что у нейросетей есть "понимание" и "модель мира"). Итог, конечно, получился очень интересный (1). Мало того, что задача не была выполнена совсем, так чатик ещё выдал кучу текста, в принципе никак не относящегося к контексту диалога.

Ну ладно, дадим ему вот такой запрос. Итог - вообще без комментариев, наш "почти настоящий ИИ, который вот точно имеет внутри себя модель мира и понимает смысл слов, которые пишет" не смог корректно обработать такой элементарнейший кусок текста. Про то, что ChatGPT каким-то чудом распознал код на kotlin и sql в предложениях, написанных просто естественным английском - умолчу (это к вопросу, насколько хорошо модели "понимают" программирование. Вот, к слову, ещё пример, иллюстрирующий глубину понимания кода).

Ну, и ещё пара примеров из той же серии, чтобы доказать, что ChatGPT абсолютно стабильно ломается на текстах такого типа (1, 2, 3).

Можно, конечно, сказать, что вся проблема в том, что я использую GPT-3.5, а вот GPT-4 справился бы. Я в этом не сомневаюсь (пару раз из 10 уж должен смочь), но вопрос в другом: сможет ли кто-то строго доказать, что для GPT-4 не существует запросов подобного рода (т.е. таких, что в теории они должны в легкую обрабатываться, а на практике заставляют модель галлюцинировать во все поля)? Да и где гарантия, что с условным GPT-5/6/7/9000 не будет таких же проблем?

Потому появляется все больше подозрений, что нынешний успех языковых моделей связан лишь с гигантскими вычислительными мощностями, ужасающе огромными объемами вливаемых данных, толпами разметчиков (1) и высокой сложностью придумывания такой задачи, что похожих на неё задач не было в обучающей выборке. И из-за этого все больше кажется, что надо фундаментально менять подходы и что проблемы нынешних языковых моделей не получится исправить чисто наращиванием размеров и прикручиванием костылей.

Спасибо за ваш комментарий.

популярные нынче модели не понимают даже смысла слов, которые они пишут (куда уж там до логики мира)

Должен добавить, что под пониманием модели мира я имею в виду появление у модели знаний о мире, которых она не была научена специально, и которых точно не было в ее тренировочном сете. К примеру, сложение и умножение пятизначных чисел, перевод текста на другие языки или код. Да, она делает это неидеально, часто галлюцинирует, но это пока. Главное, что модель уловила суть этих концепций, отточить их до идеала никогда не поздно.

Ну ладно, дадим ему вот такой запрос.

А теперь касаемо ваших примеров, они все построены на зацикливании определенного токена N раз. С учетом того, что такое количество тех же слов подряд вряд ли встречалось в тренировочном датасете, неудивительно, что механизм внимания сходит с ума, и модель начинает галлюцинировать. Это особенность механизма внимания. У вас внимание устроено так, что когда вы видите N раз тот же текст, то берете во внимание лишь один фрагмент. Модель пока так не умеет, скорее всего, и ищет связи там, где их очевидно нет. Так как появление новых свойств сильно коррелирует с размером нейросети, думаю, GPT-5/6/7/9000 без проблем освоит задачу написания токена 150 раз.

Да и где гарантия, что с условным GPT-5/6/7/9000 не будет таких же проблем?

А вы гарантируете, что человек всегда безошибочно напишет слово 150 раз подряд? А 5000 раз? Думаю, на миллионе любой человек сойдет с ума, как бедная GPT-3.5 на ваших примерах.

Должен добавить, что под пониманием модели мира я имею в виду появление у
модели знаний о мире, которых она не была научена специально, и которых
точно не было в ее тренировочном сете. К примеру, сложение и умножение
пятизначных чисел, перевод текста на другие языки или код. Да, она
делает это неидеально, часто галлюцинирует, но это пока. Главное, что
модель уловила суть этих концепций, отточить их до идеала никогда не
поздно.

Советую ознакомиться вам с этой статьей. Опускаемся вниз и смотрим: Codex - модель с 12 миллионами (именно миллионами) параметров, обученная на исходном коде - дает 2% pass rate в категории pass@1. GPT-3 из статьи - модель с 12 миллиардами параметров, датасет которой содержал код в крайне малых количествах (но в достаточных, чтобы научить её изредка писать совсем простенькие функции на python) - дает 0% там же. Но когда в рассматриваемую версию GPT-3 залили огромную кучу кода, то процесс сразу пошел в гору. Да и в целом заметна тенденция, что решает в первую очередь количество готового кода в датасете, а лишь потом - размер модели. Это к вопросу о "в GPT никто код не вливал, а он прогать научился", "чудо-способности, которые появляются у моделей с увеличением числа параметров" и подобных вещах, о которых вы говорите. Увы, но практика показывает, что экстраполяционные способности моделей сейчас завышают до небес.

А теперь касаемо ваших примеров, они все построены на зацикливании
определенного токена N раз. С учетом того, что такое количество тех же
слов подряд вряд ли встречалось в тренировочном датасете, неудивительно,
что механизм внимания сходит с ума, и модель начинает галлюцинировать.
Это особенность механизма внимания. У вас внимание устроено так, что
когда вы видите N раз тот же текст, то берете во внимание лишь один
фрагмент. Модель пока так не умеет, скорее всего, и ищет связи там, где
их очевидно нет. Так как появление новых свойств сильно коррелирует с
размером нейросети, думаю, GPT-5/6/7/9000 без проблем освоит задачу
написания токена 150 раз.

Давайте продолжим эксперименты: попробуем влить столько же повторяющихся слов, сколько мы вливали в прошлые разы, но при условии, что контекст модели не будет пуст. И происходит магия - GPT-3.5 начинает о чем-то догадываться (1, 2, 3). Кстати, насчет текстов на русском - вот тут он вообще сразу понял, что мы его обманываем (1). Правда, если влить ну слишком много повторяющихся слов - все равно уходит в галлюцинации (и дело не в размере контекста).

Итак, GPT-3.5 прекрасно умеет обрабатывать 150 подряд идущих одинаковых слов, причем без подсказок с моей стороны. Но вы прекрасно видели примеры из моего прошлого комментария. Мы явно видим, что у GPT-3.5 нет никакого понимания в этом плане - на это указывает как минимум тот факт, что модель более-менее неплохо обрабатывает более сложные ситуации, зато стабильно проваливается в куда более простых ситуациях.

Насчет GPT-5 и прочих - с/м мой прошлый абзац. Я сомневаюсь, что с наращиванием числа параметров модели резко начнут "понимать задачу". Хотя да, количество примеров, которые они смогут решать корректно, будет возрастать.

В общем говоря, здесь ясно только одно - критерии, по которым мы определяем наличие понимания у человека, для языковых моделей не годятся ну совсем. А именно эти критерии и используют сейчас те, кто делает заявления типа "Языковые модели понимают мир", "GPT-4 вот уже почти AGI" и так далее.

А вы гарантируете, что человек всегда безошибочно напишет слово 150 раз
подряд? А 5000 раз? Думаю, на миллионе любой человек сойдет с ума, как
бедная GPT-3.5 на ваших примерах.

Я сомневаюсь, что человек в процессе написания 1000000 одинаковых слов в один момент ни с того, ни с сего начнет писать абсолютно случайный текст, полностью забыв о изначальной задаче. И да, если бы GPT-3.5 написал моё слово 250 раз, но при этом бы без галлюцинаций завершил сообщение - я бы закрыл глаза на эти лишние 100 слов. Проблема же тут совсем в другом.

Это к вопросу о "в GPT никто код не вливал, а он прогать научился", "чудо-способности, которые появляются у моделей с увеличением числа параметров" и подобных вещах, о которых вы говорите.

Погодите, я не говорил, что в GPT никто код не вливал. Когда я писал о кодинге, я не имел в виду, что сеть научилась кодить сама из ничего. Я имел в виду, что сеть научилась кодить, то есть понимает логику в коде, который видит впервые, а не просто переписывает паттерн с датасета.

GPT-3 из статьи - модель с 12 миллиардами параметров, датасет которой содержал код в крайне малых количествах (но в достаточных, чтобы научить её изредка писать совсем простенькие функции на python) - дает 0% там же. 

А чему вы удивляетесь? Вполне логично, что если сеть видела мало примеров, то пусть у нее будет хоть триллион параметров, там нечего заучивать. Как по мне корректно сравнивать только модели со схожим датасетом, но разным размером, а не когда одна сеть заточена под код.

Итак, GPT-3.5 прекрасно умеет обрабатывать 150 подряд идущих одинаковых слов, причем без подсказок с моей стороны. Но вы прекрасно видели примеры из моего прошлого комментария. Мы явно видим, что у GPT-3.5 нет никакого понимания в этом плане.

Я согласился с вами что модель пока не умеет обрабатывать длинные последовательности. Суть же в другом, это не мешает модели понимать суть мира и выходить за рамки простого текста. Советую вам ознакомиться с этой статьей:

Sparks of Artificial General Intelligence: Early experiments with GPT-4

Приведу пару цитат которые касаются "понимания" мира:

  1. "Yet, the model appears to have a genuine ability for visual tasks, rather than just
    copying code from similar examples in the training data. The evidence below strongly supports this claim,
    and demonstrates that the model can handle visual concepts, despite its text-only training."

  2. "GPT-4 demonstrates understanding of the concepts from graph theory and algorithms. It is able to reason
    about an abstract graph construction, which relates to a constraint satisfaction problem, and deduce correct
    conclusions about the SAT problem (to the best of our knowledge, this construction does not appear in
    the mathematical literature)."

  3. "We can see that the accuracy does not drop very much as we increase the range of the numbers, suggesting
    that it is not the calculation itself that poses a problem for the model, but instead the problem seems to be
    with the fact that one needs to plan ahead for the solution."

Не знаю как для вас, а для меня само это - уже "чудо-способности", я вижу там понимание мира. Вы правильно подметили, что критерии все же немного разные для человека и нейросети. То что для вас кажется легкой задачей (150 раз повторить слово), в силу особенностей архитектуры может быть сложнее для нейросети. Но это пока.

Погодите, я не говорил, что в GPT никто код не вливал. Когда я писал о
кодинге, я не имел в виду, что сеть научилась кодить сама из ничего. Я
имел в виду, что сеть научилась кодить, то есть понимает логику в коде, который видит впервые, а не просто переписывает паттерн с датасета.

А чему вы удивляетесь? Вполне логично, что если сеть видела мало
примеров, то пусть у нее будет хоть триллион параметров, там нечего
заучивать. Как по мне корректно сравнивать только модели со схожим
датасетом, но разным размером, а не когда одна сеть заточена под код.

Прошу прощения, неверно понял ваш прошлый комментарий. Впрочем, то, насколько модель "понимает" код, мы рассмотрим ниже

Я согласился с вами что модель пока не умеет обрабатывать длинные последовательности. Суть же в другом, это не мешает модели понимать суть мира и выходить за рамки простого текста. Советую вам ознакомиться с этой статьей:

Sparks of Artificial General Intelligence: Early experiments with GPT-4

Приведу пару цитат которые касаются "понимания" мира:

  1. "Yet, the model appears to have a genuine ability for visual tasks, rather than just
    copying code from similar examples in the training data. The evidence below strongly supports this claim,
    and demonstrates that the model can handle visual concepts, despite its text-only training."

  2. "GPT-4 demonstrates understanding of the concepts from graph theory and algorithms. It is able to reason
    about an abstract graph construction, which relates to a constraint satisfaction problem, and deduce correct
    conclusions about the SAT problem (to the best of our knowledge, this construction does not appear in
    the mathematical literature)."

  3. "We can see that the accuracy does not drop very much as we increase the range of the numbers, suggesting
    that it is not the calculation itself that poses a problem for the model, but instead the problem seems to be
    with the fact that one needs to plan ahead for the solution."

Данную статью читал. Да, считают, что GPT-4 уже почти AGI, всё классно. В теории. На практике же появились небольшие, но крайне интересные детали.

Итак, вот у GPT-4 поднялись навыки программирования, логики и ещё много чего относительно GPT-3.5. Возможно ли, что в простейших задачах по программированию GPT-4 покажет себя на голову хуже, чем GPT-3.5? Ответ даёт вот эта статья. Да, попросили написать программу, наложив элементарнейшее условие, которое не вызовет особых затруднений даже у тех людей, кто только-только начал изучать программирование. Итог - "почти AGI" выбросил белый флаг, заодно ещё раз показав старый-добрый inverse scaling. Там в конце есть ещё пример генерации с использованием GPT-4, тоже очень интересный. Мне понравилось, что во втором запросе "почти AGI" провел корректные рассуждения, после которых, казалось бы, ошибиться уже невозможно, а в третьем написал лютейший бред. Ну, хотя бы после 4 запросов тяжеленная система, жрущая умопомрачительное кол-во ресурсов, все-таки одолела эту непосильную задачу - написать 1 строчку кода, где надо применить 2 функции в необычном порядке.

Самое интересное, что протестировали достаточное большое количество моделей - и у всех данная задача вызывала лютейшие сложности. По итогу сделаны соответствующие выводы - LLM, по всей видимости, не имеют какого-то глубокого понимания входящей информации (в данном случае - кода). Но ведь они генерируют код, да и делают это достаточно неплохо. А теперь вспомните мой первый комментарий, с информацией про разметчиков данных - и пазл начинает немного складываться. Да, не исключено, что очень значительная часть чудо-способностей GPT-4 (да и остальных современных моделей) - следствие вливание настолько огромного числа данных, что придумывание уникальной с точки зрения обучающей выборки задачи становится почти что непосильной задачей для человека (это бы объясняло, почему никто толком не может переломить не очень хорошую тенденцию).

Насчет "это только пока не может" - механизм внимания тоже не всесилен (1). Не исключено, что данная задача может попадать в категорию "Сколько параметров не вливай, сколько модификаций архитектуры не делай - все равно будут существовать примеры, где трансформер будет стабильно ломаться". Хотя не исключено, что в будущем перейдем на что-нибудь другое, что будет с легкостью преодолевать и эту задачу в том числе - но то "другое" уже по определению не будет "GPT".

Как бы вы прокомментировали математические способности ChatGPT?

How much is 1847365*3058372

The product of 1,847,365 multiplied by 3,058,372 is:
1,847,365 * 3,058,372 = 5,648,742,341,780.

Помнится, я читал, что разработчики были удивлены, что она именно сама научилась считать, а не выдает ответ, ибо видела в точности такой пример.

Если так, это для меня именно научилась.

Не знаю, как сейчас, может и добавили "арифметическую заглушку", но не похоже. Ибо ответ неверный. Точнее верное только начало (калькулятор выдает 5649...). И Regenerate выдает новые ответы столь же не совсем точные.

Либо я не понимаю, что вы вкладываете в слово "научилась". Для меня это именно "не нагуглила существующее", а каким-то образом "вычислила" (причем это может относиться и к химии, и не к точным наукам).

Как бы вы прокомментировали математические способности ChatGPT?

Другим хорошим комментарием на эту тему. И да, хотелось бы узнать, что вы думаете о данном явлении? Как-то показывает, что все не так просто с математическими способностями - в частности, с "пониманием умножения матриц" - у GPT-4 (ну, и немного галлюцинаций в задаче с кодом ниже, как же без них - подробности в комментариях).

Помнится, я читал, что разработчики были удивлены, что она именно сама научилась считать, а не выдает ответ, ибо видела в точности такой пример.

Если так, это для меня именно научилась.

"Дает правильный результат на ограниченном числе примеров" != "Научилась считать". Чтобы заявлять о наличии математических способностей, надо хотя бы понять, по какому алгоритму модель в действительности производит арифметические операции - без этого мы не можем гарантировать корректность данного алгоритма со всеми вытекающими.

Отвечу тут на оба ваши комментария.

По итогу сделаны соответствующие выводы - LLM, по всей видимости, не имеют какого-то глубокого понимания входящей информации (в данном случае - кода).

Хотя не исключено, что в будущем перейдем на что-нибудь другое, что будет с легкостью преодолевать и эту задачу в том числе - но то "другое" уже по определению не будет "GPT".


Никто и не отрицает, что у GPT есть большой список проблем (масштабирование, галлюцинации, линейность). Никто не утверждает, что у неё есть глубокое понимание мира в каждой задаче. Скорее суть в том, что в некоторых задачах у нейросети появились новые свойства и проблески настоящего понимания.

Да, не исключено, что очень значительная часть чудо-способностей GPT-4 (да и остальных современных моделей) - следствие вливание настолько огромного числа данных

Именно поэтому я стараюсь фокусировать внимание не на коде и не на каких-то обыденных задачах, а именно на том, чего не было в датасете. Как по мне, это самое важное. Способность текстовой модели правильно рисовать, весьма неплохо аппроксимировать арифметику и решать B-SAT логику, делать музыку и прочее.

Как-то показывает, что все не так просто с математическими способностями

Потому что сеть без рекуррентности ограниченно способна решать задачи, которые требуют планирования. Ожидать от неё способностей математического движка при такой архитектуре было бы странностью. Но она аппроксимирует большие числа гораздо лучше, чем люди, и в этом вся суть.

Никто и не отрицает, что у GPT есть большой список проблем (масштабирование, галлюцинации, линейность).

Ну, я бы не сказал. Про проблемы вроде все всё знают, но когда доходит до серьёзного обсуждения - все закрываются в домике под названием "это только пока", "эмерджентные способности", "закон Мура" и так далее по списку. То есть никто вроде не отрицает, но отношение к этому такое, будто и не проблемы это вовсе.

Никто не утверждает, что у неё есть глубокое понимание мира в каждой задаче. Скорее суть в том, что в некоторых задачах у нейросети появились новые свойства и проблески настоящего понимания.

Хм, ну давайте опять рассмотрим программирование. Вот совсем микроскопическая модель, у которой есть "проблески понимания в написании кода". Есть вышеупомянутый Codex с 12 миллионами параметров - тоже есть "проблески". А есть GPT-4 с оценочным числом параметров в 1 триллион, который, судя по статье в моем прошлом комментарии, так и остался на уровне "проявляет проблески", хотя и решает задачи на порядок лучше, чем упомянутые ранее модели. На фоне этого возникает вопрос - когда же эти "проблески" перейдут именно в "настоящее понимание"? Так что эти заявления выглядят как выдача желаемого за действительного, дескать, "вот раньше оно не понимало вообще, сейчас вроде немного понимает, а после наращивания размера ещё в условные 100 раз - произойдет качественный переход, появятся новые свойства, и оно прямо точно начнёт понимать"

Именно поэтому я стараюсь фокусировать внимание не на коде и не на
каких-то обыденных задачах, а именно на том, чего не было в датасете.
Как по мне, это самое важное. Способность текстовой модели правильно
рисовать, весьма неплохо аппроксимировать арифметику и решать B-SAT
логику, делать музыку и прочее.

Мы не знаем внутренней структуры GPT-4. Мы не знаем размера обучающей выборки. Мы не знаем состава обучающей выборки. Мы тем более не знаем, что вообще есть, а чего не было в обучающей выборке. Мы можем только верить словам тех людей, которые получают очень большие деньги на нынешней лихорадке ИИ (а потому очень заинтересованы в том, чтобы найти у новой модели как можно больше новых способностей и качественных переходов). Отсюда получаем, что упомянутые вами способности модели могут быть следствием вообще чего угодно.

Потому что сеть без рекуррентности ограниченно способна решать задачи,
которые требуют планирования. Ожидать от неё способностей
математического движка при такой архитектуре было бы странностью. Но она
аппроксимирует большие числа гораздо лучше, чем люди, и в этом вся
суть.

Я правильно понимаю, что вы ведёте к мысли: "Сегодня оно аппроксимирует числа лучше людей, а завтра будет аппроксимировать любые математические теоремы (и не только) лучше них"?

Про проблемы вроде все всё знают, но когда доходит до серьёзного обсуждения - все закрываются в домике под названием "это только пока", "эмерджентные способности", "закон Мура" и так далее по списку.

Говорить о проблемах нужно, но "эмерджентные способности" стали настолько заметны впервые, появились новые свойства, и разум теперь не воспринимается как что-то уникальное для человека - мы увидели зачатки разума у машины. ChatGPT для меня это как в своё время гальванический элемент.

Хм, ну давайте опять рассмотрим программирование.

На фоне этого возникает вопрос - когда же эти "проблески" перейдут именно в "настоящее понимание"? 

Я не считаю, что модель обрела настоящее понимание программирования на данный момент. Моё мнение состоит в том, что для настоящего понимания программирования, как и для других алгоритмических вещей, требуются архитектурные изменения.

Понимание, о котором я говорю, включает в себя базовые вещи. Например, если предложить модели рисовать, она нарисует голову выше плеч, несмотря на то, что слово "выше" всегда было для неё всего лишь текстом [я уже приводил эту статью комментарием выше].

Мы не знаем внутренней структуры GPT-4. Мы не знаем размера обучающей выборки. Мы не знаем состава обучающей выборки. Мы тем более не знаем, что вообще есть, а чего не было в обучающей выборке. Мы можем только верить словам тех людей, которые получают очень большие деньги на нынешней лихорадке ИИ

Конечно, все мои аргументы и мнение опираются на достоверность утверждений OpenAI. Я буду очень разочарован, если лучшие специалисты мира в области искусственного интеллекта окажутся все вместе мошенниками. Но на данный момент у меня нет оснований не доверять им.

Я правильно понимаю, что вы ведёте к мысли: "Сегодня оно аппроксимирует числа лучше людей, а завтра будет аппроксимировать любые математические теоремы (и не только) лучше них"?

Я веду к мысли, что на данный момент модель аппроксимирует результат, не генерирует чушь, а именно аппроксимирует. Это может означать, что сеть понимает, что за операцией умножения стоит какой то алгоритм, но в силу линейности не может его освоить. А завтра (после архитектурных изменений) да, она будет способна осваивать алгоритмы, теоремы и, в целом, научные доказательства.

После таких мрачных прогнозов и до Батлерианского джихада недалеко.

По ссылке "Илья Слуцкер" какой-то Илья Суцкевер.

Любой интеллект, включая искусственный, лишь выполняет чью-либо волю.
Какое-то заблуждение, что "вот это он придумал сам".
Сам, конечно. После того, как кто-то подобрал материал для обучения, условия, коэффициенты.
И проблема подчинения такого сверхмощного ИИ воле какой-то незрелой, но безумно богатой, контролирующей гигантские ресурсы душе, постепенно формирует угрозу для цивилизации.
С другой стороны, но туда же. Как-то кажется много правильнее развивать людей, а не "раздавать дивиденды взрослым гражданам". Вообще всех людей.
Ещё и потому, что "даёт всё" в мифах и легендах известно кто. Известно за что – за выполнение своей воли.
Но почему-то именно развитие человечье используя возможности ИИ как идеального учителя как-то слабенько планируется. А возможности ведь действительно невиданные ранее.
Как бы на случилось как в концовке "Не смотрите наверх": у нас ведь было абсолютно всё.

Когда ИИ создадут - сказать сложно, зато последствия этого можно представить:

Пригласили докладчика аж из ЮК сделать презентацию по ЯИшнице в финтехе. Вышла дама укутанная в платок.. долго ходила по сцене, размеренно изрекая околофилософские мысли с футурологическим уклоном. Рассказала обо умных глазах, адвокатах, водителях, эко-..., правах человека (какого-то) но только не об финтехе. Хлопали справно, громко и дружно. Заплатили кучу, а нука выдерни из юк..и итог - корыто. Совпадение?

"коллективное сознание пользователей Metaculus" - каждый раз смешно когда кто-то на полном серьёзе приводит оттуда прогнозы.

Sign up to leave a comment.