Комментарии 28
НЛО прилетело и опубликовало эту надпись здесь
А как подтвердить, что тексты не подвергались корректировке человеком?
“ Это одна из причин, почему GPT-3 не выпускают в открытый доступ. ”
После этого, стало уже как то не сильно интересно.
Сначала шахматы, потом го и вот теперь литература.
Про осмысленность: сколько средний человек прочитает, увидит, чтобы начать писать.
Здесь на таком объеме железо завалило Homo sapiens/
Про осмысленность: сколько средний человек прочитает, увидит, чтобы начать писать.
Здесь на таком объеме железо завалило Homo sapiens/
Работники низкооплачиваемых профессий — О нет, компьютеризация всех нас лишит рабочих мест!
Тренеры личностного роста — Наша профессия слишком сложна для машины, мы точно в безопасности)))0
AI — human.holdMy(beer);
Вспомнила я,
Что моя голова есть.
Под этим смолою железной
Зажгу я, если он виноват,
Волненье там щек твоих
И в груди кипящей крови
Сердцу изменившую красоту.
Я вспомню тот ночной холод,
Он был мудрым — он умер, несчастный!
Бедный Аленька! Он умер! Бедный Аленька!
Ах, это такой молодчик! Он умер!
О, боже! Будь он проклят! Он умер!
Н-да… Хотел посмеяться…
Но деепричастные обороты расставляет, на удивление, правильно.
Про смысл речи пока нет, но более-менее связанно.
В общем, есть над чем работать.
Второе начал как «мой дядя» — больше ожидал, что из Онегина повторит, т.к. наверняка на Евгении Онегине тоже учили. Но дядя превратился в Аленьку.
Если вчитаться в сами статьи, складывается впечатление, что они реально написаны каким-нибудь мотивационным тренером или коучем.
Ну, то что сетку научили писать статьи где «ноль смысла, один словесный понос» — это говорит не о крутости сетки, это скорее говорит о том что коучи, тренеры, политики и прочие подобные бредогенераторы настолько примитивные существа, что за них запросто может писать сетка…
Да уж, видно, что нейросеть смотрит в устье Пряжки.
Кто не понял эту петербургскую фишечку — на Пряжке знаменитая дурка.
Нейросеть GPT-3 вела мотивационный блог на английскомИМХО, это не столько показатель «крутости» нейросети, сколько того, что «мотивационные блоги» — это бессистемное нагромождение бессодержательных лозунгов, которые можно воспроизвести с помощью рандома, и никто особо не заметит разницы.
Просто у коучей и прочих "тренеров" тексты шаблонные и неадекватные, как и многих копирайтеров. Но для инженеров создававших технологию это повод для гордости, она действительно крута :)
Она работает с вероятностью появления определенной последовательности слов.
Это неправильный подход. Текст это отражение действительности, как, скажем, фото и видео. Но пропущенное через индивидуальный фильтр. Чтобы машина могла создавать осмысленный текст она должна уметь работать с моделями реальности, в том числе и с искусственными или виртуальными.
Можно начать с простого. Допустим, генератора футбольного комментатора. Идет случайная игра, и электронный комментатор ее просто описывает, естественно, с искусственными восторгами («го-о-о-о-о-л!!!!!»). Т.е., это не вероятностная генерация слов, а отражение в текстовом (или даже голосовом виде) реального случайного процесса.
На Хабре много программистов, которым вполне по силам создать: а) простейшую случайную имитацию некоторой командной игры, типа футбола и б) дать ее отражение в тексте, а может быть даже в виде эмоционально окрашенной речи.
А дальше развивать подобную технологию в этом направлении.
Чтобы машина могла создавать осмысленный текст она должна уметь работать с моделями реальности, в том числе и с искусственными или виртуальными.
GPT-3 с ней и работает. Моделью реальности для этого алгоритма выступают вероятности появления последовательности слов. Последовательность слов сама по себе обозначает некое явление реальности и алгоритм знает с какой вероятность оно встречается. Так что тут все честно. Другое дело что модель может быть так себе и можно придумать что-то получше. Но это что-то надо обучать, думаю тут самые больше проблемы.
Вообще-то имелось в виду от, что модель оперирует словами, а не смыслами. Всё зашибись, пока требуется сделать текст, похожий на настоящий при беглом чтении. Но если вы захотите в этот текст вложить какой-то осмысленный посыл, и построить на его основе логически связанное повествование, то эта модель не подходит принципиально, в ней просто нет отвечающих за это механизмов.
Количество вполне может перейти в качество. С ростом сложности модели набор вероятностей в ней все ближе и ближе отражает реальный мир. При достижении определенного предела может оказаться, что он уже адекватно его отражает. И тогда текст уже будет не просто похожим, он будет неотличим. Оперирует ли система в этом случае «смыслами» или чем-то еще не важно, если вы не можете отличить, значит оно думает.
Я даже больше скажу, совершенно не удивлюсь, если наш мозг аналогичный трюк использует для генерации предложений. Есть тема беседы и он выдает поток слов, которые вероятны для этой беседы. Наверное там еще пара хаков сверху, но основа нашей речи и письма вполне может быть такой.
Я даже больше скажу, совершенно не удивлюсь, если наш мозг аналогичный трюк использует для генерации предложений. Есть тема беседы и он выдает поток слов, которые вероятны для этой беседы. Наверное там еще пара хаков сверху, но основа нашей речи и письма вполне может быть такой.
А может и не перейти. Я допускаю, что можно, путем титанических усилий, сгенерировать какого-нибудь электронного собеседника на уровне «Эллочки – Людоедки», для беседы с такими же «Митрофанушками». Даже более того, я встречал еще ДОСовские программы (студенческие поделки) которые имитировали виртуального персонажа, с которым можно было вести некий элементарный диалог. Для того времени было очень круто.
А мозг это, прежде всего, «приемник» и только потом «генератор». И накапливает он уже осмысленную информацию, а не вообще любую доступную. Поэтому и демонстрирует высокое качество при умеренных ресурсах.
А мозг это, прежде всего, «приемник» и только потом «генератор». И накапливает он уже осмысленную информацию, а не вообще любую доступную. Поэтому и демонстрирует высокое качество при умеренных ресурсах.
А мозг это, прежде всего, «приемник» и только потом «генератор». И накапливает он уже осмысленную информацию, а не вообще любую доступную. Поэтому и демонстрирует высокое качество при умеренных ресурсах.
Попробую представить как это «осмысливание» происходит. Сенсорная информация проходит через фильтр-классификатор в виде сети нейронов нашего мозга. Выход этой сети является входом в другую сеть, которая изменяет свою структуру и/или веса, тем самым кодируя полученную информацию. Уверен, на практике все сильно сложнее, но как грубая модель сойдет. Почему вы думаете, что в искусственной нейронке из миллиардов нейронов не может быть похожего входного классификатора-осмысливателя?
Думаю мозг эффективен не потому, что он как-то по особому устроен, а потому, что каждый нейрон сам себе CPU и память. Такое железо пробовали делать и, наверное, делают, но оно все еще не распространено.
«Приемник», в смысле, принимает (воспринимает) отражение окружающей реальности В этом ключ – наличие внешней реальности. А алгоритмы, типа GPT-3, не работают с внешней реальностью, только с внутренней. Они, как бы, «вещь в себе», по Гегелю. Другими словами, пытаются из чужих мертвых отражений породить живую, неисчерпаемую действительность. Это трудно объяснить словами, но это философский тупик.
Те же философы для снятия некоторых логических ограничений предложили перейти от логики, как таковой, к дилогике, дуальной логике, логике диалога. Пример из политики, проблемы хорошо решаются в диалоге равных по силе и возможностям, за столом переговоров, и плохо решаются в одиночку, каким бы ты там «Царем Горы» ни был.
Также и здесь. Да, можно развивать искусственный интеллект в направлении переработки вторичного сырья (ранее полученного человеком, те же «полтора триллиона слов»), но это не перспективный вариант. А наш ведь Президент уже сказал, что: «Кто будет управлять искусственным интеллектом, тот будет управлять Миром!». А он знает, что говорит.
Поэтому, переходите к дуальности в алгоритмах искусственного интеллекта. Т.е., сначала создавайте модели окружающей реальности (простые, сложные, какие угодно, существуют уже игровые движки способные генерировать реалистические пейзажи, городские кварталы, людей с искусственными лицами и внешностью и много чего еще), а потом алгоритмы, сначала просто описывающие эти объекты и субъекты, а потом делающие некоторые логические умозаключения об отношениях между ними. Этот подход и проще и интересней, доступный даже индивидуальным программистам (если начинать с элементарных вещей).
По воробьям можно стрелять и из пушки, какой-то эффект обязательно будет. Но нужно ли? Тоже и с «большими данными», скажем, в распознавании текста. Не всегда в этом есть абсолютная необходимость, часто просто дань моде.
Те же философы для снятия некоторых логических ограничений предложили перейти от логики, как таковой, к дилогике, дуальной логике, логике диалога. Пример из политики, проблемы хорошо решаются в диалоге равных по силе и возможностям, за столом переговоров, и плохо решаются в одиночку, каким бы ты там «Царем Горы» ни был.
Также и здесь. Да, можно развивать искусственный интеллект в направлении переработки вторичного сырья (ранее полученного человеком, те же «полтора триллиона слов»), но это не перспективный вариант. А наш ведь Президент уже сказал, что: «Кто будет управлять искусственным интеллектом, тот будет управлять Миром!». А он знает, что говорит.
Поэтому, переходите к дуальности в алгоритмах искусственного интеллекта. Т.е., сначала создавайте модели окружающей реальности (простые, сложные, какие угодно, существуют уже игровые движки способные генерировать реалистические пейзажи, городские кварталы, людей с искусственными лицами и внешностью и много чего еще), а потом алгоритмы, сначала просто описывающие эти объекты и субъекты, а потом делающие некоторые логические умозаключения об отношениях между ними. Этот подход и проще и интересней, доступный даже индивидуальным программистам (если начинать с элементарных вещей).
Почему вы думаете, что в искусственной нейронке из миллиардов нейронов не может быть похожего входного классификатора-осмысливателя?
По воробьям можно стрелять и из пушки, какой-то эффект обязательно будет. Но нужно ли? Тоже и с «большими данными», скажем, в распознавании текста. Не всегда в этом есть абсолютная необходимость, часто просто дань моде.
Пожалуйста, работайте со словами, генерируйте спам, создавайте псевдо информацию. Где-то это даже может быть востребовано. Но не всем это интересно, тем более, что для генерации простого осмысленного текста (типа футбольного комментария для случайной игры) вполне достаточно усилий одного квалифицированного программиста, без использования всего лишь «полутора триллионов слов».
Т.е., GPT-3 не отражает реальность, она работает с уже отраженной реальностью, которая получена человеком. Другими словами, не создает нового смысла, только комбинирует чужой смысл, полученный другим интеллектом.
Кстати, смысл это есть часть реальности. В этом его объективная сущность. А субъективная – проекция этой части реальности, в т.ч., и в осмысленный текст.
Так что, не уверен, что «честно». Этот алгоритм пытается сгенерировать наиболее вероятный шаблон из известной ему информации. Примерно, как в шахматах, путем перебора огромного количества вариантов и выбора из них наиболее подходящего по формальному критерию. Это не интеллект, это простая выборка из больших данных.
Я ведь привел пример. Делаете: а) модель реальности с элементами непредсказуемости и случайности и б) строите систему, отражающую поведение этой модели в виде осмысленного текста (или речи). Причем о смысле можно особо не беспокоиться, поскольку этот текст будет отражать реально существующий прототип, а раз прототип работает, то тем самым способен порождать смысл. При этом самое интересное будет в индивидуальных фильтрах, когда алгоритм сможет общаться со своей копией, но другими настройками, обсуждая какую-нибудь общую для них реальность.
Кстати, смысл это есть часть реальности. В этом его объективная сущность. А субъективная – проекция этой части реальности, в т.ч., и в осмысленный текст.
Так что, не уверен, что «честно». Этот алгоритм пытается сгенерировать наиболее вероятный шаблон из известной ему информации. Примерно, как в шахматах, путем перебора огромного количества вариантов и выбора из них наиболее подходящего по формальному критерию. Это не интеллект, это простая выборка из больших данных.
Я ведь привел пример. Делаете: а) модель реальности с элементами непредсказуемости и случайности и б) строите систему, отражающую поведение этой модели в виде осмысленного текста (или речи). Причем о смысле можно особо не беспокоиться, поскольку этот текст будет отражать реально существующий прототип, а раз прототип работает, то тем самым способен порождать смысл. При этом самое интересное будет в индивидуальных фильтрах, когда алгоритм сможет общаться со своей копией, но другими настройками, обсуждая какую-нибудь общую для них реальность.
Интересно было бы сравнить с марковскими моделями, обученными на том же объёме данных.
Потому что даже примитивные цепи Маркова при наличии достаточно большого объёма однородных данных (например, порядка 100Мб текста фанфиков о Поттере, сграбленных с соответствующих ресурсов) показывают достаточно неплохие результаты.
Потому что даже примитивные цепи Маркова при наличии достаточно большого объёма однородных данных (например, порядка 100Мб текста фанфиков о Поттере, сграбленных с соответствующих ресурсов) показывают достаточно неплохие результаты.
xxx: Мечтаю, чтобы гугл выпустил новый сервис — Google Water
xxx: Ты вводишь три абзаца из введения своего диплома, гугл выдает три с половиной страницы связанного по смыслу текста.
xxx: Ты вводишь три абзаца из введения своего диплома, гугл выдает три с половиной страницы связанного по смыслу текста.
Философский зомби — это оно получилось?
Странно что AI Dungeon вообще не упоминается.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейросеть GPT-3 вела мотивационный блог на английском и всем понравилось. Чем это грозит копирайтерам и писателям