Comments 11
Спасибо, труда в статью вы вложили много.
Мне кажется, что основная проблема промпт-инжиниринга в том, что модели настолько быстро, что методы устаоевают мгновенно.
Да, я часто отдаю модели опубликованные страницы в ноушене и прошу проанализировать и что-то сделать. Можете попробовать даже скормить ей статью с Хабра :)
Про пост-анализ — техника точно полезная, но надо быть аккуратным с так называемыми вторичными галлюцинациями. Т.е. модель может изменить верные токены на неверные, потому что мы триггернули новую генерацию.
Библиотеки промптов, конечно же, есть, плюс многие техники модель умеет применять сама.
У Anthropic, например, есть библиотека промптов.
Спасибо за статью, очень информативно, полезно. Единственное, возникает вопрос, какие источники использовать для изучения промтингу? Исходя из нынешних реальностей, когда крупные компании(и не только) выпускают новые версии ИИ(например GPT 4o), да и ещё бесплатно для всех пользователей(хоть и с ограничениями), людей нужно готовить для взаимодействия с ИИ, учить их правильному взаимодействию с моделями, чтобы у них не было мыслей о том, что это своего рода панацея... Так, приведя пример жизни, из компании моих друзей, знакомых, родственников многие считают то, что ИИ - это всезнающий интеллект, который способен на всё, исключительно на всё, что ты ему скажешь. При правильном применении этого, по сути, инструмента можно действительно делать хорошие вещи, но учить правильному взаимодействию с ним - это правильное решение.
Привет инженеринг напрямую вытекает из несовершенства созданного ии на основе gpt. Т.е. это буквально набор лайфхаков по обходу багов.
Проблема в том что с каждой новой версией, некоторые старые баги уже не появляются или видоизменяются и появляются новые.
Можно собрать свой бенчмарк и тестировать его на каждой новой версии...
Квк составить правильный промпт, не зная заранее ответа на интересующий вопрос?
Все то же самое что с обычными людьми. Промт должен содержать информацию, которая может помочь решить задачу. И главное, не надо что ии догадается, все о чем ты умолчишь, будет сгаллюценировано случайно.
"Правильный вопрос должен содержать половину ответа."
С людьми не всегда тоже самое. Умный человек нужное переспросит, погуглит, почитает литературу, а не кинется сразу галлюцинировать. А вот как понять что ИИ ответил верно, а не нафантазировал, даже если ты знаешь половину ответа (но не весь ответ)?
Да именно так можно сделать с gpt, первоначальный промпт должен определять, как именно ты хочешь чтобы ИИ вел себя. Если ты перед своим вопросом скажешь, переспрашивай если тебе нужно больше информаци, то он будет.
Например не шибко умная бесплатная claude sonnet
помогает мне читать исходные тексты интересуемой мною программы, т.е. я взял с github программу video duplicate detector на c# спросил ии, задал интересующие меня вопросы по методам и функционалу приложения, затем сказал вот список файлов, с какого файла начнем анализ, говори какой тебе нужен, он отвечал какой, я ему копировал содержимое этого файла, добавляя чтобы говорил если нужно еще файлы, так примерно в 5 итераций прошлись по нескольким файлам проекта, он по каждому описывал что происходит при чем в контексте заданных мной в начале вопросах (можно дублировать вопросы в процессе так как современные ии плохо работают с большим контекстом, забывая информацию) под конец я получил все ответы на свои вопросы
Я не видел ни одного проекта, который бы правильно работал с интернетом. Точнее видел, в прошлом году, летом, майкрософт выпустила bing chat, используя gpt4 в основе (он тогда был дорогим), где в процессе беседы он постоянно делал запросы в bing и читал найденные страницы в интернете (видно было какой запрос но не видно какие результаты он читает), каким то образом (скорее всего суммаризация но контекст беседы учитывался) он держал контекст беседы и найденную информацию, это давало потрясающий эффект. Но осенью в прошлом году майкрософт ухудшили работу, скорее всего в основу встал слабый gpt35, он даже говорил постоянно что основан на информации 2021 года, позже оказалось что openai выпустили слабую gpt4 как отмазка что нет это новая модель но на старых данных, в общем с тех пор я не видел такого высокого качества ответов как это было раньше. Сейчас bing copilot отвратителен, теряет контекст, самморизация текстов не работает как ожидается, и он тупо не может по документу по ссылке (или имени например статью по названию) разобрать содержимое.
Я понимаю, что использовать gpt4 (а тогда оно стоило раз в 4-8 дороже чем к примеру последняя gpt4-omni) на бесплатной основе очень дорого, но за ТОТ поиск я готов был бы платить разумные деньги. Chatgpt платный с плагином bing поиск по крайней мере в начале года работал так же плохо как оригинальный big chat. Попытки создать что то похожее лично для себя не увенчались успехом - нужна модель (finetuning), на основе умного gpt и большого количества вопросов и выверенных ответов, которая смогла бы работать с результатами поисковой системы а так же читать тексты в интернете. Есть coze, у них есть плагин но он отвратительно формирует поисковые запросы и плохо читает страницы (плагин чтения документов глючит)
Prompt engineering — путь к эффективной работе с ChatGPT