Согласны, в некоторых примерах мы достаточно подробно расписывали, что хотим получить на выходе для демонстрации работы моделей, на то они и примеры. Рассмотренные инструменты и не должны заменить ручное написание кода, а только дополнить его.
Спасибо за комментарий, глянем обязательно репозитории, про которые говорите. Надеемся, что наша статья вам чем-то пригодится)) На счет Lora, наверняка можно как-то использовать с DiT моделями.
В статье я рассматривал функционал «из коробки», который предоставляет библиотеки для соответствующих языков программирования , так как возможность тонкой настройки Tesseract разнится.
Год выпуска BeautifulSoup никак не влияет на популярность использования. А данный пост носит обзорный характер и была разработан новичков, которые только начинают свой путь в мире данных.
Что касается bigdata, вы правы: в публикации не было применения парсинга именно для больших данных. Но, даже на примере извлечения небольшого количества данных, можно оценить огромную разницу в скорости работы библиотек, и применять полученные знания опыт для работы с bigdata .
Пост носит больше обзорный характер. Многие новички все ещё используют BS4 и не знают о таком мощном инструменте, как scrapy. Что же касается использования aiohttp вместо requests, соглашусь, что это действительно более эффективное решение, но, как уже говорилось, пост изначально задумывался для начинающих специалистов, поэтому использовалась наиболее известная и простая библиотека.
Весь код, который использовался для создания вопросно-ответной системы, приведён в посте, поэтому файл с полным кодом не сохранился, да и не имеет смысла. Сам код я испытывал на компьютере с 32 Гб ОЗУ и туда все тексты влезали сразу, как-то не учёл, что могут быть проблемы с памятью. Можно попробовать сократить текст, почистив его от стоп-слов или проведя лемматизацию слов, и уже после токенизировать и передать модели, тут однозначного решения дать не могу, так как не сталкивался с такой проблемой. Что касается ответов, то они могут сильно искажается, если подавать текст частями и в текущей части не оказалось ответа на вопрос, плюс система лучше даёт короткие ответы, поэтому плохо справляется с вопросами, предполагающие длинный и развёрнутый ответ.
Добрый день!
Согласны, в некоторых примерах мы достаточно подробно расписывали, что хотим получить на выходе для демонстрации работы моделей, на то они и примеры. Рассмотренные инструменты и не должны заменить ручное написание кода, а только дополнить его.
Добрый день!
Спасибо за комментарий, глянем обязательно репозитории, про которые говорите. Надеемся, что наша статья вам чем-то пригодится)) На счет Lora, наверняка можно как-то использовать с DiT моделями.
Спасибо большое за комментарии! Учту их при дальнейшей работой над проектом.
Добрый день!
Спасибо за отзыв и предложения (особенно первое) – использую их в дальнейшей работе над картой.
Добрый день.
Read the Docs был приведён исключительно как пример того, где используется Sphinx, а так же ни коем образом не влияет на его работу .
Добрый день!
Да, пришлось с ней повозиться)
Добрый день!
Простите за задержку с ответом!
В статье я рассматривал функционал «из коробки», который предоставляет библиотеки для соответствующих языков программирования , так как возможность тонкой настройки Tesseract разнится.
Добрый день!
Действительно можно было связать реакцию кнопок с получением результата (или ошибки). Отлично, что обратили на это внимание!
Добрый день! Спасибо, нужно будет попробовать.
Добрый день!
Простите за задержку с ответом.
Аугментация не производилась, т.к. я не обучал собственную модель, а использовал готовые модели для русского и английского языка.
Извиняюсь за опечатку, пост конечно же "был разработан для новичков", отредактировать комментарий не удалось
Спасибо за интерес.
Год выпуска BeautifulSoup никак не влияет на популярность использования. А данный пост носит обзорный характер и была разработан новичков, которые только начинают свой путь в мире данных.
Что касается bigdata, вы правы: в публикации не было применения парсинга именно для больших данных. Но, даже на примере извлечения небольшого количества данных, можно оценить огромную разницу в скорости работы библиотек, и применять полученные знания опыт для работы с bigdata .
Добрый день!
Пост носит больше обзорный характер. Многие новички все ещё используют BS4 и не знают о таком мощном инструменте, как scrapy. Что же касается использования aiohttp вместо requests, соглашусь, что это действительно более эффективное решение, но, как уже говорилось, пост изначально задумывался для начинающих специалистов, поэтому использовалась наиболее известная и простая библиотека.
Добрый день!
Весь код, который использовался для создания вопросно-ответной системы, приведён в посте, поэтому файл с полным кодом не сохранился, да и не имеет смысла. Сам код я испытывал на компьютере с 32 Гб ОЗУ и туда все тексты влезали сразу, как-то не учёл, что могут быть проблемы с памятью. Можно попробовать сократить текст, почистив его от стоп-слов или проведя лемматизацию слов, и уже после токенизировать и передать модели, тут однозначного решения дать не могу, так как не сталкивался с такой проблемой. Что касается ответов, то они могут сильно искажается, если подавать текст частями и в текущей части не оказалось ответа на вопрос, плюс система лучше даёт короткие ответы, поэтому плохо справляется с вопросами, предполагающие длинный и развёрнутый ответ.
Спасибо большие! Попробую, возьму)
Добрый день!
Интересно было бы посмотреть ваш вариант и сравнит его с моим.
Спасибо за интерес к посту!
Спасибо! Интересно!
Добрый день!
Спасибо большое за помощь. Внесли исправления и добавили ссылку на статью о статическом анализе на Википедии.
Добрый день!
Буду иметь в виду и опробую библиотеку на предложенной задаче. Спасибо за комментарий.
Добрый день!
Классно что вы делитесь своим опытом использования библиотеки, буду иметь ввиду при ей использовании.
Согласен, библиотека мегаполезная.
Спасибо!