Каждый год Google отбирает open source проекты для участия в этой программе. Обычно они размещают новости о том, когда стоит подавать заявление — например тут есть блог пост на эту тему.
Здесь вам только к нашему руководителю — Михаилу Бурцеву. Вы попробуйте подготовить pre-proposal (черновик заявки) c вашими идеями, а мы обязательно дадим обратную связь.
DeepPavlov.ai — это лаборатория с фокусом не просто на статистику и математику, а в первую очередь на Conversational AI и NLP. Расскажите, что именно в этих двух смежных областях вас наиболее всего интересует?
Мы про NLP в первую очередь
Очевидно, что на данный момент PyTorch более популярен как в научной среде так и в индустрии, поэтому мы не можем проигнорировать этот факт, и тоже переведем ряд моделей на PyTorch. Да, и наверно здесь следует отметить, что не всех, а основных.
В 2020 году лаборатория нейронных систем и глубокого обучения МФТИ завершила проект «Нейроинтеллект iPavlov», реализуемый в рамках НТИ. Основным технологическим продуктом которого, стала библиотека с открытым кодом DeepPavlov.
По итогу из проекта iPavlov выделились два основных направления работы. Коммерциализацию технологии под брендом iPavlov продолжила другая команда в МФТИ под руководством Лорана Акопяна, а наша изначальная команда лаборатории нейронных систем и глубокого обучения под руководством Михаила Бурцева сосредоточилась на исследованиях, дальнейшем развитии технологий разговорного ИИ и библиотеке DeepPavlov.
Получается наша лаборатория (т.е. проект DeepPavlov) занимается только продвижением на Deeppavlov.ai, а к iPavlov.ai уже мы не имеем никакого отношения)
Смотрите, в техническом отчете команды DREAM указаны оценки пользователей в зависимости от времени. Под конец соревнования средняя оценка стремилась к 3.4.
К сожалению, я не могу вам описать здесь весь процесс. Да, у нас есть PM — он будет на праздновании 2летия библиотеки. Вы можете придти туда и задать ему все интересующие вас вопросы.
• squad — models trained on SQuAD v1.1 dataset (En)
• squad_ru* — models trained on SDSJ Task B dataset (Ru)
• squad_zh* — models trained on DRCD dataset (Zh)
• bert — model is based on BERT (En)
• rubert — model is based on RuBERT (Ru)
• bert_multilingual — model is based on Multilingual BERT
• *infer — models based on BERT that can be used for texts with more than 512 subtokens (BERT has limitation 512 tokens).
• Models with multi* prefix were trained to be used in multi-paragraph mode, when you feed several paragraphs to model and then select only one answer.
? — действительно влияет, так как модель во время обучения всегда видела вопросы со знаком? на конце. Эту проблему можно решить случайно выбрасывая знаки? во время обучения.
По confidence, который выдает модель корректно сравнивать только ответы внутри одного контекста.
Последнее наблюдение странное, так как мы проверяли качество модели обученной на русском языке на текстах на англ: 75.3 F-1 (обучена на русском, проверена на англ) vs 89.1 F-1 (обучена на англ, проверена на англ)
Привет! Для ответа на вопросы по контексту в DeepPavlov есть два типа моделей: основанные на R-Net и на BERT. Все конфиги моделей на основе BERT содержат в названии bert. Чтобы уменьшить потребление GPU памяти, можно уменьшить используемую длину контекста: context_limit для R-Net, max_seq_length для BERT.
ans_start_predicted — позиция ответа в символах.
logits — не нормированная уверенность модели в ответе.
Относительно score, какая именно модель/конфиг используется?
Мы про NLP в первую очередь
По итогу из проекта iPavlov выделились два основных направления работы. Коммерциализацию технологии под брендом iPavlov продолжила другая команда в МФТИ под руководством Лорана Акопяна, а наша изначальная команда лаборатории нейронных систем и глубокого обучения под руководством Михаила Бурцева сосредоточилась на исследованиях, дальнейшем развитии технологий разговорного ИИ и библиотеке DeepPavlov.
Получается наша лаборатория (т.е. проект DeepPavlov) занимается только продвижением на Deeppavlov.ai, а к iPavlov.ai уже мы не имеем никакого отношения)
Наша команда дошла только до полуфинала в прошлый раз.
Стараемся отталкиваться от того, что востребованно + последние модели с максимальным качеством.
к сожалению, нельзя.
habr.com/ru/company/mipt/blog/479056
А если коротко, то модели с noans в названии были обучены в том числе и на вопросах, на которых нет ответа в данном тексте)
• squad_ru* — models trained on SDSJ Task B dataset (Ru)
• squad_zh* — models trained on DRCD dataset (Zh)
• bert — model is based on BERT (En)
• rubert — model is based on RuBERT (Ru)
• bert_multilingual — model is based on Multilingual BERT
• *infer — models based on BERT that can be used for texts with more than 512 subtokens (BERT has limitation 512 tokens).
• Models with multi* prefix were trained to be used in multi-paragraph mode, when you feed several paragraphs to model and then select only one answer.
По confidence, который выдает модель корректно сравнивать только ответы внутри одного контекста.
Последнее наблюдение странное, так как мы проверяли качество модели обученной на русском языке на текстах на англ: 75.3 F-1 (обучена на русском, проверена на англ) vs 89.1 F-1 (обучена на англ, проверена на англ)
ans_start_predicted — позиция ответа в символах.
logits — не нормированная уверенность модели в ответе.
Относительно score, какая именно модель/конфиг используется?