Тут скорее проще переводить сначала сформированный запрос на английский, отдавать его в LLM и ответ ее тоже переводить в желаемый язык. Может быть получится этого добиться тюнингом, но здесь тоже будут нужны огромные ресурсы, вот нашел статью про finetuning https://www.turing.com/resources/finetuning-large-language-models
Есть свои минусы у no code платформ. Тут конечно надо поглядеть, возможно случайно поставили где-то лишний пробел или порт не тот, перепроверьте в самом flowise настройки подключения у Embeddings и LLM, вдруг они на других портах стартанули
Если делать нейросеть с нуля то нужны просто космические ресурсы. Если делать например 7B потребуется около 100gb видеопамяти которые будут всегда доступны. Ну и огромное количество данных для обучения. Вообще существует большое множество моделей которые говорят на разных языках
Добрый день, рад, что вам понравилось) Какого характера эти запросы? Если требуется узнать, например, тему обращения то нужно больше копать в сторону семантического анализа, это тема на целую отдельную статью) по инструментам flowise могу порекомендовать вот этот плейлист https://www.youtube.com/playlist?list=PL4HikwTaYE0HDOuXMm5sU6DH6_ZrHBLSJ Для анализа и подбивки такого рода информации скорее всего потребуется пилить собственную модель и обучать ее. Либо делать fine tunning уже существующих Советую поглядеть на hugginface модели из этой секции, может что-то подойдет https://huggingface.co/models?pipeline_tag=text-classification&sort=trending
Это как правило модель, которая выстраивает ассоциации/сходства, например слово "привет" можно ассоциировать со словом "здарова" или "здравствуйте", "hello" (если она мультиязычна) и т.д. Как раз за счет этого работает семантика. Она генерирует вектора, которые как раз и будут отражать эти сходства, условно все эти слова мы запаковываем в некоторые множество коэфицентов. Условно приветствие будет "001", "002" и т.д. Это мы храним в векторной базе данных, чтобы потом проще было находить семантически то, что нас интересует. Это нам в первую очередь необходимо чтобы искать сходства с нашим запросом, текст из базы данных на который мы будем опираться. Чанк этого текста будет отдан нашей LLM модели как контекст, а уже на основе промпта и этого контекста сгенерируется ответ. Надеюсь так понятнее)
Рад, что вам понравилась моя статья, взял за основу именно эту модель, потому что ее в 2 клика можно поставить на рельсы LocalAI, но на самом деле лучше использовать что-то более универсальное например intfloat/multilingual-e5-large или если мы говорим про русский язык, по тестам себя очень недурно показывает cointegrated/rubert-tiny2
Как говориться, интернет помнит все) Видимо спарсили с какого-то форума или сайта, или на основе алгоритма генерации этих ключей предположил. Думаю тут и фактор везения имеется. Честно говоря досконального описания, откуда они там взялись я не видел.
Приветствую, 6 gb - маловато для LLM 7b, попробуйте что-нибудь поменьше, например google/gemma-2b, возможно она запустится
Спасибо за теплые слова, буду стараться больше писать)
Тут скорее проще переводить сначала сформированный запрос на английский, отдавать его в LLM и ответ ее тоже переводить в желаемый язык. Может быть получится этого добиться тюнингом, но здесь тоже будут нужны огромные ресурсы, вот нашел статью про finetuning https://www.turing.com/resources/finetuning-large-language-models
Есть свои минусы у no code платформ. Тут конечно надо поглядеть, возможно случайно поставили где-то лишний пробел или порт не тот, перепроверьте в самом flowise настройки подключения у Embeddings и LLM, вдруг они на других портах стартанули
Тут как мне кажется задача не для LLM, а просто семантика, если я правильно понимаю
Если делать нейросеть с нуля то нужны просто космические ресурсы. Если делать например 7B потребуется около 100gb видеопамяти которые будут всегда доступны. Ну и огромное количество данных для обучения. Вообще существует большое множество моделей которые говорят на разных языках
Добрый день, рад, что вам понравилось)
Какого характера эти запросы? Если требуется узнать, например, тему обращения то нужно больше копать в сторону семантического анализа, это тема на целую отдельную статью)
по инструментам flowise могу порекомендовать вот этот плейлист https://www.youtube.com/playlist?list=PL4HikwTaYE0HDOuXMm5sU6DH6_ZrHBLSJ
Для анализа и подбивки такого рода информации скорее всего потребуется пилить собственную модель и обучать ее. Либо делать fine tunning уже существующих
Советую поглядеть на hugginface модели из этой секции, может что-то подойдет https://huggingface.co/models?pipeline_tag=text-classification&sort=trending
Например https://huggingface.co/SamLowe/roberta-base-go_emotions
Это как правило модель, которая выстраивает ассоциации/сходства, например слово "привет" можно ассоциировать со словом "здарова" или "здравствуйте", "hello" (если она мультиязычна) и т.д. Как раз за счет этого работает семантика. Она генерирует вектора, которые как раз и будут отражать эти сходства, условно все эти слова мы запаковываем в некоторые множество коэфицентов. Условно приветствие будет "001", "002" и т.д. Это мы храним в векторной базе данных, чтобы потом проще было находить семантически то, что нас интересует. Это нам в первую очередь необходимо чтобы искать сходства с нашим запросом, текст из базы данных на который мы будем опираться. Чанк этого текста будет отдан нашей LLM модели как контекст, а уже на основе промпта и этого контекста сгенерируется ответ.
Надеюсь так понятнее)
Рад, что вам понравилась моя статья, взял за основу именно эту модель, потому что ее в 2 клика можно поставить на рельсы LocalAI, но на самом деле лучше использовать что-то более универсальное например intfloat/multilingual-e5-large или если мы говорим про русский язык, по тестам себя очень недурно показывает cointegrated/rubert-tiny2
Такое тоже очень вероятно, у них тоже есть определенная логика генерации, да и в открытую их часто можно встретить, на раздачах, конкурсах и т.д.
Экранизации я не могу обещать, но планирую в ближайшее время написать практический материал, где будет делать умный поиск по базе знаний)
Как говориться, интернет помнит все)
Видимо спарсили с какого-то форума или сайта, или на основе алгоритма генерации этих ключей предположил. Думаю тут и фактор везения имеется.
Честно говоря досконального описания, откуда они там взялись я не видел.
Спасибо за дополнение)
Действительно есть определенные риски, особенно в рамках интеллектуальной собственности