Комментарии 7
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Не-не, не убегайте. В бесплатном гугл колабе отлично работает модель на 2.7B параметров. В статье пишут, что люди одинаково оценили качество моделей 2.7B и 9.4B параметров, т.е. для человека вроде как нет ощутимой разницы. Вот блокнот
colab.research.google.com/drive/1JxuWRZCV0C7bfCR6gvrju8noagIUj0oi?usp=sharing
Нужно скопировать себе (или открыть в Playground), потом выбрать в меню рантайм GPU, потом выпросить у гугла больше памяти: они дают 12Гб оперативы по-умолчанию, но их мало для запуска, поэтому там в первой ячейке код, который крешится через пару минут по нехватке памяти — внизу появляется кнопка «Get more RAM», с чем нужно согласиться. После этого уже можно запускать следующую ячейку чат-бота. 5 минут установки и можно чатиться.
Сколько сейчас дадено памяти можно посмотреть сверху справа, наведя мышку на отображатор ресурсов.
Вот парочка примеров моих диалогов.
colab.research.google.com/drive/1JxuWRZCV0C7bfCR6gvrju8noagIUj0oi?usp=sharing
Нужно скопировать себе (или открыть в Playground), потом выбрать в меню рантайм GPU, потом выпросить у гугла больше памяти: они дают 12Гб оперативы по-умолчанию, но их мало для запуска, поэтому там в первой ячейке код, который крешится через пару минут по нехватке памяти — внизу появляется кнопка «Get more RAM», с чем нужно согласиться. После этого уже можно запускать следующую ячейку чат-бота. 5 минут установки и можно чатиться.
Сколько сейчас дадено памяти можно посмотреть сверху справа, наведя мышку на отображатор ресурсов.
Вот парочка примеров моих диалогов.
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Facebook создала чат-бота на основе переписки на Reddit