Llama 3-70b в своем Телеграм боте — бесплатно, безлимитно и всего 20 строк кода

Существует много вариантов доступа к Llama3 и другим открытым моделям через браузер. Но Телеграм намного удобнее и для него есть простое решение как получить безлимитный и бесплатный доступ к диалогу с AI.

Да, всего 20 строк кода и этот бот:

1) по качеству ответов будет соизмерим с ChatGPT-4;
2) будет отвечать очень быстро т.к. подключим мы его через Groq, который в среднем в 10 раз быстрее других аналогичных сервисов;
3) будет поддерживать диалог и запоминать последние сообщения.

Что нужно

1. Создать Телеграм бота и получить его токен (как это сделать, смотрите инструкции на просторах интернета, например здесь).

2. Зарегистрироваться на Groq и получить api key (нужен VPN).
   Заходим по этой ссылке, регистрируем аккаунт, генерим ключ. Платежная карта не требуется.

Код

# pip install pyTelegramBotAPI groq
import telebot
from groq import Groq

client = Groq(api_key="GROQ_API_KEY")
bot = telebot.TeleBot("TELEGRAM_BOT_TOKEN")
messages = []

@ bot.message_handler(content_types=['text'])
def get_text_messages(message):
    global messages
    messages.append({"role": 'user', "content": message.text})
    if len(messages) > 6:
        messages = messages[-6:]
    response = client.chat.completions.create(model='llama3-70b-8192', messages=messages, temperature=0)
    bot.send_message(message.from_user.id, response.choices[0].message.content)
    messages.append({"role": 'assistant', "content": response.choices[0].message.content})

while True:
    bot.polling(none_stop=True, interval=0, timeout=0)

Замените в коде GROQ_API_KEY на api ключ полученный в Groq и TELEGRAM_BOT_TOKEN на токен телеграм бота, все должно быть в кавычках. В 13 и 14 строках цифра 6 - это количество последних сообщений, которые запоминает бот.

Ограничения

1. Бот работает только через VPN, но лучше запустить скрипт на минимальном виртуальном сервере с европейским IP.

2. Бот не различает пользователей. Эта версия рассчитана на одного пользователя.

3. Есть ограничения со стороны Groq, но запас такой, что для одного пользователя эти ограничения не имеют значения.

Моя версия бота

Я сделал НашGPT - более продвинутую версию такого бота. Он доступен, им можно пользоваться.

НашGPT прокачен двумя дополнительными функциями. Он умеет искать в интернете и понимает голосовые сообщения.

Поиск в интернете реализован через DuckDuckGo API, а голосовые сообщения распознает Whisper.

Сейчас НашGPT учится работать с документами и картинками...