Комментарии 7
как-то в конце скомкано. "дорисуем остаток совы".
в какой момент модель понимает, что нужно черпать ответы из набора ПДФок?
если в момент подсовывания RAG модели, то какие затраты ресурсов в этот момент? хватит ли ЦПУ или обязательно видюху?
как мне потом задать этому комбайну вопрос, ответ на который точно чодержится в предоставленных ПДФках и получить ответ?
А как сделать локальную версию без интернета?
В том-то и фишка langchain, что многие его компоненты легко заменяются)
Вот документация по запуску локальной llm, а вот список всех llm интеграций
К всезнающему "ИИ" есть у меня общий вопрос. Возможна ли на современном уровне техники машинная энциклопедизация знаний? Хотя бы отраслевая, для начала. А также вменяемый патентный поиск.
И один частный вопрос. Лежит на сервере 1 миллион страниц пдф технической документации. Или миллион страниц научных работ. Возможно ли обучить LLM до такого уровня "чата", чтобы эта нежить давала мало-мальски вменяемые ответы по темам статей? Хотя бы на уровне студента-троечника с хорошей памятью?
Здравствуйте! У меня есть датасет из 268 маленьких txt файлов, общий вес не доходит до 90 мб. Я тоже использую FAISS, но embedding OpenAI слишком медленный. Когда я тестировал с embedding-ими OpenAI показал лучший результат, в то время как другие даже близко не нашли. Как можно ускорить, или же посоветуйте другой хороший embedding?
Пишем чат-бот для работы с PDF