0a1a2a3a4a5 24 дек 2023 в 11:44

Как правильно файн-тюнить ChatGPT?

Простой

6 мин

12K

Машинное обучение*Natural Language Processing*

Туториал

+21

Комментарии 21

theurus 24 дек 2023 в 12:27

А ты пробовал не файнтьюнить а просто закинуть десяток вопросов и ответов в память чата?

0a1a2a3a4a5 24 дек 2023 в 12:35

Это не сработает с моделями от OpenAI, у них защита от эксплоитов и они не обращают внимания на информацию в своих ответах, то есть так нельзя даже стиль задать. И в данном случае были просто примеры того что с помощью файн-тюнинга можно сделать. В реальных условиях же лучше вообще не закидывать инфу в модель, а сделать подгрузку информации с сервера чтобы экономить токены.

Попробуй проверить свою теорию на практике и посмотри что выйдет.

apnix 24 дек 2023 в 13:24

и платить при каждом запросе за передачу лишних токенов. Наверное можно на как-то не экономно..

0a1a2a3a4a5 24 дек 2023 в 13:27

Это не сработает, я же писал выше. У моделей от OpenAI есть защита от этого. Я сам раньше думал что так можно, но оказывается их модели очень сильно отличаются от других и опенсорсных

Tschuess 24 дек 2023 в 13:40

Как задать вопрос, чтобы gtp наделал в штанишки

0a1a2a3a4a5 24 дек 2023 в 13:44

Видимо там небольшая ошибка в инструкции, ChatGPT ими перегружен и путается в них. Насчёт времени: Это делается через системное сообщение, отдельная программа сообщает модели какое сегодня число

egl85 24 дек 2023 в 13:45

Для того, чтобы самостоятельно указать кол-во эпох, необходимо делать это через API.

Можно для полных нубов, какое число эпох следует указывать, от чего зависит этот параметр и на что влияет?

0a1a2a3a4a5 24 дек 2023 в 13:48

Одна эпоха — полная пробежка по всему датасету.

Для хороших и простых датасетов хватит 8 эпох, для сложных и нелогичных нужно от 12 до 24.

Если эпох слишком мало, их не хватит чтобы настроить веса модели.

Maestro227 25 дек 2023 в 09:49

Если вы из России, то через что пополняете баланс аккаунта? Все что я нашел, имеет просто невменяемую комиссию.

0a1a2a3a4a5 25 дек 2023 в 09:52

На авито можно карту Казахстана купить

vova_sam 25 дек 2023 в 14:25

"заместо" - давно такого слова не слышал в использовании.

Вы не обижайтесь, ваши статьи я читаю, но вам бы обучить GTP, чтобы она исправляла грамматику, добавляла знаки препинания и обогащала текст Ваших статей.
Просто Вы же публичные статьи пишете. А так, конечно, вы в полном праве писать и говорить как считает нужным

а вот эта Ваша тяга к информации о смерти, суицидам. Надо с ней что то делать

0a1a2a3a4a5 25 дек 2023 в 15:11

Заместо

Насчёт запятых, они стоят правильно. Я учитываю все возможные правила и если запятую даже в теории можно не ставить — я её не ставлю.

Касательно обогащения текстов —"обогащённые" текста выводят меня из себя, я считаю текст способом для передачи информации. Вы же не едите обогащённый уран? У меня есть некоторые псих. расстройства из-за которых я неправильно воспринимаю речь, поэтому мне нужен стандарт написания статей.

Про информации о смерти и о суицидах — я просто считаю это смешным. У меня нет суицидальных мыслей.

vova_sam 25 дек 2023 в 17:26

смерть это безусловно часть жизни. Суицид - очень плохо как для материалистов, так и для духовных людей, т.к. нарушает общий принцип живого.

Оба эти явления я бы не назвал "смешными". Но Ваше право воспринимать все по своему.
Удачи Вам!

А по теме интересно узнать, как обучающие данные обрабатываются: что там "под капотом" у модели

0a1a2a3a4a5 26 дек 2023 в 05:39

У OpenAI модели не опенсорсные, не известно. Известно только то, что GPT-4 "переписывает" датасет перед запуском алгоритма для подбора весов, а что именно это за алгоритм они не говорят, поскольку они разработали свою альтернативу для backpropagation