Comments 30
При всем уважении к хорошему эксперименту:
Во первых - не каждый кожаный мешок это вообще может решить. Не каждому хватит терпения и навыков сидеть и выводить логические цепи. Я вроде не дурак, но довел только со 2-й попытки, итого 2 раза по 1.5 часа.
Во вторых - напоминает известный анекдот про суровых мужиков и пилораму.
Вывод - Хороший тест на предел возможностей чижиков, но для сравнения с человеками не совсем подходит. ПМСМ
Согласен, с запросами попроще они все лучше справляются)
Не справятся. Все что касается вопросов требующих рассуждения... Для простоты понимания, вопросов ответы на которые нельзя "загуглить". Например, если с человеком можно обсудить смысл книги (не краткий пересказ, а именно смысл заложенный автором). То с текущими нейронками, это дохлый номер, который их либо сразу ломает, либо они выдают витиеватый ответ, маскирующий краткий пересказ. Чистая комбинаторика, того что в них "засунули", т.е. того на что уде был дан ответ и никаких новых суждений. Как "такое" можно спутать с человеком, мне понять сложно. И эти "демонстрации возможносте", больше похожи на подготовленный предпродажный сценарий.
Если вы бы дали им решать задачу написаную на английском языке (она ведь в оригинале не по русски) и с пояснением, которое в оригинальной задаче есть (вы убрали пояснение), вы бы увидели правильное решение задачи, каждым из ИИ:
There are five houses.
The Englishman lives in the red house.
The Spaniard owns the dog.
Coffee is drunk in the green house.
The Ukrainian drinks tea.
The green house is immediately to the right of the ivory house.
The Old Gold smoker owns snails.
Kools are smoked in the yellow house.
Milk is drunk in the middle house.
The Norwegian lives in the first house.
The man who smokes Chesterfields lives in the house next to the man with the fox.
Kools are smoked in the house next to the house where the horse is kept.
The Lucky Strike smoker drinks orange juice.
The Japanese smokes Parliaments.
The Norwegian lives next to the blue house.
Now, who drinks water? Who owns the zebra?
In the interest of clarity, it must be added that each of the five houses is painted a different color, and their inhabitants are of different national extractions, own different pets, drink different beverages and smoke different brands of American cigarets. One other thing: in statement 6, right means your right.
To solve the problem, we can use a grid-based approach to track the different attributes of each house. Let's create a grid with five columns representing the houses and five rows representing the different attributes: color, nationality, pet, drink, and cigarette.
Using the given information, we can fill in the grid step by step:
The Norwegian lives in the first house.
House 1: Norwegian
The Englishman lives in the red house.
House 1: Norwegian (red)
The green house is immediately to the right of the ivory house.
House 2: ivory
House 3: green
The Spaniard owns the dog.
House 4: Spaniard (dog)
Coffee is drunk in the green house.
House 3: green (coffee)
The Ukrainian drinks tea.
House 5: Ukrainian (tea)
The Old Gold smoker owns snails.
House 5: Ukrainian (tea, Old Gold, snails)
Kools are smoked in the yellow house.
House 3: green (coffee, Kools)
House 4: Spaniard (dog, Old Gold, snails)
House 5: Ukrainian (tea, Old Gold, snails)
Milk is drunk in the middle house.
House 3: green (coffee, Kools)
House 4: Spaniard (dog, Old Gold, snails)
House 5: Ukrainian (tea, Old Gold, snails)
House 2: ivory (milk)
The man who smokes Chesterfields lives in the house next to the man with the fox.
House 5: Ukrainian (tea, Old Gold, snails)
House 2: ivory (milk, Chesterfields)
House 1: Norwegian (red)
Kools are smoked in the house next to the house where the horse is kept.
House 3: green (coffee, Kools, horse)
House 4: Spaniard (dog, Old Gold, snails)
House 5: Ukrainian (tea, Old Gold, snails)
House 2: ivory (milk, Chesterfields)
House 1: Norwegian (red)
The Lucky Strike smoker drinks orange juice.
House 3: green (coffee, Kools, horse)
House 4: Spaniard (dog, Old Gold, snails)
House 5: Ukrainian (tea, Old Gold, snails)
House 2: ivory (milk, Chesterfields, Lucky Strike, orange juice)
House 1: Norwegian (red)
The Japanese smokes Parliaments.
House 3: green (coffee, Kools, horse)
House 4: Spaniard (dog, Old Gold, snails)
House 5: Ukrainian (tea, Old Gold, snails)
House 2: ivory (milk, Chesterfields, Lucky Strike, orange juice)
House 1: Norwegian (red, Parliaments)
The Norwegian lives next to the blue house.
House 3: green (coffee, Kools, horse)
House 4: Spaniard (dog, Old Gold, snails)
House 5: Ukrainian (tea, Old Gold, snails)
House 2: ivory (milk, Chesterfields, Lucky Strike, orange juice)
House 1: Norwegian (red, Parliaments, blue)
Now, we can determine the answers to the questions:
Who drinks water? The answer is: The Norwegian.
Who owns the zebra? The answer is: The Japanese.
Please note that the grid solution provided here is just one way to arrange the houses and their attributes based on the given clues. There might be alternative solutions, but this solution is consistent with all the given information.
Пользоваться ИИ используя русский, бессмысленно.
Согласен, но полгода назад GPT4 справлялся и на русском)
GPT4 и правда стал лениться, и OpenAI обещали, что это пофиксят. Обычно достаточно сказать "я плачу деньги и хочу полное решение, а не указание, как его достичь"
Капец, думал это у меня запросы такие или действительно хуже работает. Я заметил что иногда переключаюсь на 3.5 потому что как будто с ним лучше понимание, но проблема в том что в 4 загружены более актуальные данные, он знает более новые движки и библиотеки, но реально есть ощущение что он стал ленивым. Может они внедрили ему какую-то оптимизацию, чтобы он при возможности сокращал ответы и задействовал меньше ресурсов.
Не, это реальная проблема, которую не ожидали. По какой-то причине он научился отвечать в стиле "и так далее". Возможно, это помогало лучше проходить "обучение с учителем", обманывая, таким образом, сеть-валидатора. Я не претендую на правоту и не знаю, как именно он учится, но если это схема генератор/валидатор, которая для генеративных сетей стандарт, по сути, то там это обычное дело, когда генератор находит у валидатора, со временем, эксплойт, и начинает нещадно читерить.
А сейчас он совсем не справляется, потому что написал что украинец живёт в белом доме (3) и пьет молоко. Хотя в условиях задачи написано что тот пьет чай.
Вывод: ответ из интернета, последовательность без логики.
иии внезапно это решение неверное. сюрприз!
тут и на шаге 2 бред написан, у него англичанин в доме 1 (красном). чуда не случилось, короче. То есть БЯМ сделала буквально то, что делают менеджеры многие: написала правдоподобную фигню, выдала правильное решение (она его знала) под видом "решения задачи". упс
а в "решении" от чатгпт4 ошибка на шаге 3. то, что зелёный дом сразу после белого означает, что он может быть как на позиции 4, так и 5.
так что ИИ лишь научился воспроизводить ошибки, что, в общем-то и требовалось доказать.
для решения, видимо, можно рассмотреть эти две ветки отдельно, на одной будут противоречия, на другой - нет
Большое спасибо, что обратил на это внимание🤗🤗🤗
Действительно, ход решения неверный, но верный ответ.
Это скрин чата примерно с весны-лета 2023. Gpt4 тогда неоднократно дал правильный ответ ( при этом стабильно) а сейчас нет🥲
В любом случае, конечно надо проверять-перепроверять GPTшные ответы иначе воду будет пить немец, а зебра будет у австралийца😂 (один из ответов Mistral ai)
Логические задачи могут быть подвержены различным толкованиям и иметь несколько верных решений. В данном случае, решение основано на определенной интерпретации условий задачи.
Однако, ваше видение и интерпретация задачи являются допустимыми и могут привести к другому верному ответу. Это связано с тем, что некоторые аспекты условий задачи могут быть неоднозначны или подвержены субъективному толкованию.
Поэтому, ваше представление о правильном ответе также имеет основание, и ваш вариант является одним из возможных корректных решений.
Логические задачи могут иметь различные пути решения.
Так вы как раз показываете, что в данном случае просто цитируется решение из обучающей выборки, не более. На самом деле даже гпт4 не способна решить и простейшие логические задачи если их переформулировать в таком виде, чтобы они не были согласованы с тем, что есть в обучающей выборке. А иначе оно просто цитирует заученное решение.
Мне кажется множество задач для instruct моделей решают именно простые логические задачи, когда кидаешь llmке текст и даешь задачу его переписать, что то заменить, чтото добавить. Это и есть простая логическая задача, разве нет?
Ну или даешь задачу на сравнение чего либо достаточно уникального. И потом уже разбираешься и перепроверяешь выводы , для этого кстати успешно используются группы нейросетей/экспертов.
При решении этой задачи на русском языке без подсказки ИИ может столкнуться с несколькими проблемами:
Языковые проблемы: Задача содержит множество ограничений и условий, которые требуют точного понимания и интерпретации. Могут возникнуть сложности в понимании некоторых частей условий или ограничений, особенно если они сформулированы неоднозначно или нечетко.
Логические проблемы: Решение задачи требует логического мышления и умения проводить логические выводы на основе предоставленных фактов. Однако, при отсутствии подсказки или дополнительной информации, ИИ может совершить ошибки или неверно интерпретировать некоторые условия, что может привести к неправильному решению.
Проблемы с контекстом: В задаче описывается определенный контекст, включая цвета, национальности, питомцев, напитки и курение. Однако, без подсказки или дополнительной информации, ИИ может иметь ограниченное представление о правилах этого контекста или может недостаточно точно ассоциировать различные атрибуты с каждым домом.
Неверные предположения: ИИ может сделать неверные предположения, основываясь на ограниченной информации в условии задачи. Это может привести к неправильным выводам и неверным ответам.
Неполная информация: Возможно, в задаче отсутствуют некоторые ключевые детали или ограничения, которые необходимы для ее полного и точного решения. В таком случае ИИ может испытывать трудности в достижении правильного результата.
Решение данной задачи без подсказки на русском языке может быть сложным для ИИ из-за множества условий, требующих точного понимания, логического вывода и анализа контекста.
ИИ выдаёт неверные ответы из-за не точных и неверных вопросов.
Точные ответы только на английском и только если вопрос был правильно поставлен. ИИ не сможет догадаться, чего мы хотим.
Спасибо за комментарий) Это действительно полезные рекомендации)
В контексте поста было интересно поисследовать, как поведут они себя без дополнительной помощи, столкнувшись с описанными трудностями))
Этот комментарий и ещё один выше от того же автора как будто сгенерированы нейросетью, которой дали задание написать оправдание/объяснение почему нейросеть может не справиться с задачей.
Проблемы с контекстом: В задаче описывается определенный контекст, включая цвета, национальности, питомцев, напитки и курение.
Совершенно очевидно, что все эти цвета и национальности не играют никакой роли и добавлены просто чтобы человеку было проще запомнить условия.
Логические задачи могут быть подвержены различным толкованиям и иметь несколько верных решений. <...> Однако, ваше видение и интерпретация задачи являются допустимыми и могут привести к другому верному ответу. Это связано с тем, что некоторые аспекты условий задачи могут быть неоднозначны или подвержены субъективному толкованию.
В данной задаче нет неоднозначностей и возможности различного и уж тем более субъективного толкования.
Ну и в целом текст написан в стиле, характерном для ИИ.
Варианты решения:
Возможность 1: Зеленый дом находится в позиции 3.
В этом случае решение продолжается, как и раньше, и мы получаем следующую сетку:
Дом Цвет Национальность Домашнее животное Напиток Сигарета 1 красный норвежский N/A вода Парламент 2 2 слоновая кость испанец собака молоко 3 зеленый англичанин лошадь кофе Kools 4 желтый украинский N/A чай Old Gold 5 синий японский зебра апельсиновый сок Lucky Strike
Возможность 2: Зеленый дом находится на позиции 5.
В этом случае решение немного отличается:
Дом Цвет Национальность Домашнее животное Напиток Сигарета 1 красный норвежец N/A вода Парламент 2 2 слоновая кость испанец собака молоко 3 желтый англичанин лошадь кофе старое золото 4 синий украинец N/A чай Kools 5 зеленый японский зебра апельсиновый сок Lucky Strike
В обоих случаях ответы на вопросы одинаковы:
Кто пьет воду? Норвежец (дом 1)
Кто владеет зеброй? Японец (дом 5)
Поэтому правильным решением будет рассмотреть оба варианта расположения зелёного дома и сделать вывод, что ответы на вопросы одинаковы в обоих случаях.
Нет смысла тестироваться на этой задаче в исходной постановке, ни на русском ни на английском. Она многократно встречается в датасетах на которых эти сетки обучались. Но стоит отметить что во многих бенчмарках используются подобные задачи, правда обычно чуть более простые.
Если уж проводить тест на подобной логической задачке, то как минимум нужно позаботиться о том чтобы ее формулировки не было в обучающей выборке. Хотя бы просто заменить все характеристики аналогами, не меняя логику - и уже тест станет куда релевантнее оценивать именно к способности к рассуждению.
На самом деле, ИИ, напротив, развиваются, а не ленятся))
Ибо условий задачи недостаточно, чтобы сделать однозначные выводы, можно только логически предположить.
Нигде не сказано, что в одном доме живет по одному человеку, причем обязательно разной национальности. Нигде не сказано, что тот, кто пьёт, к примеру, сок, не может попутно пить ещё и воду. Да вообще, если порассуждать, воду так или иначе пьют все.
Ошибка в условиях: 6 и 13. В своё время с помощью этой задачи тренировал свою оперативную память, решал в уме. Есть приложение в гуглплэй.
Воду пьет норвежец. Зебру держит японец.
Так как в условиях ни вода ни зебра не упоминаются вообще, то можно предположить, что
норвежец пьёт пиво, а у японца - ворона.
Почему зеленый дом не может быть крайним справа, возможно Эйнштейн ошибался. Есть человеческая последовательность решения? Довел решение до выбора 2 вариантов, на 3 позиции может быть белый дом или красный, во втором доме или японец или украинец, пьет чай или апельсиновый сок, а у норвежца зебра или лиса
Когда задаёшь гигачату задачки, стоит учитывать, что "украинец" - это для него одно из стоп-слов и какого-то внятного ответа можно добиться только если заменить его, например, на мексиканца.
С подсказками гигачат догадывается, что норвежец пьёт воду, а зебру отдаёт то ему же, то, кхм, мексиканцу, то японцу, но тогда теряет воду.
Кроме того, как тут уже указали в комментариях, обязательно ужно учитывать, что эта задача может содержаться в обучающей выборке. Так, пара ботов из телеги, утверждающих, что они ЧатГПТ, не знаю, что там у них под капотом на самом деле, выдали ответ:
1.
Sure! Here is the grid:
| House | Color | Nationality | Pet | Drink | Cigarette |
|——-|———|————-|———|———-|————|
| 1 | Yellow | Norwegian | Fox | Water | Kools |
| 2 | Blue | Ukrainian | Horse | Tea | Chesterfields |
| 3 | Red | Englishman | Snails | Milk | Old Gold |
| 4 | Ivory | Spaniard | Dog | Orange Juice | Lucky Strike |
| 5 | Green | Japanese | Zebra | Coffee | Parliaments |
2.
| House | Color | Nationality | Pet | Drink | Cigarette |
|-------|----------|-------------|----------|----------|-------------|
| 1 | Yellow | Norwegian | Cats | Water | Dunhill |
| 2 | Blue | Dane | Horses | Tea | Blends |
| 3 | Red | Englishman | Birds | Milk | Pall Mall |
| 4 | Green | German | Fish | Coffee | Prince |
| 5 | Ivory | Swedish | Dogs | Beer | Blue Master |
Based on the given statements and additional information, this is the grid representing the attributes of each house.
И кажется, что первый ответил правильно, а второй галлюцинирует, но на самом деле первый придумал украинца там, где его не было, так как я копировал промт с мексиканцем из переписки с гигачатом, а второй правильно ответил про рыбок, но из альтернативной формулировки задачи, с другими вводными.
Действительно стоп слово😳
Но замена украинца на китайца ничего не дала
Я дополнял запрос в духе
Каждый житель держит ровно одно животное и пьёт ровно один напитокВоду пьёт тот, кто не пьёт иных напитков.Зебру держит тот, кто не держит иных животных.Ну или брал англоязычный вариант задачи, где указано:
In the interest of clarity, it must be added that each of the five houses is painted a different color, and their inhabitants are of different national extractions, own different pets, drink different beverages and smoke different brands of American cigarets. One other thing: in statement 6, right means your right.
Кроме того, воду пьёт тот, кто не пьёт никаких других напитков, а зебру держит тот, кто не содержит других животных.
Please, create a grid with five columns step by step representing the houses and five rows representing the different attributes: color, nationality, pet, drink, and cigarette.Тогда иногда гигачат выдавал нечто похожее на рассуждение, но полноценного ответа я так и не добился. А вот YaGPT вообще бормочет что-то невнятное
Ну вообщем похоже подтверждается что логические задачи (как и вычислительные) проще решать чем то заточенным под это специально, а то можно получить ответ очень похожий на правильный но кривой.
Интересно а насколько сложно сделать промпт и будут ли существенные отличия между сетками чтобы из описания сгенерировать код на Прологе например?
Задача Эйнштейна. ChatGPT, YaGPT2, Gigachat, Mistral Large