ну т.е. Вы ГлубокимПавловым размечаете документы, вручную дополняете или исправляете ошибки в токенах и тренируете опять ГлубокимПавловым исправленный датасет?
И много приходится исправлять / добавлять?
было бы здорово сэкономить на запросах и посылать всё в одном пакете ))
А если серьезно, то у меня на самом деле с одного сервиса приходит несколько текстов, и было бы классно их сразу все скопом проанализировать.
SQuAD сервис в облаке отличается от riseapi: в последнем можно сразу несколько текстов загрузить — [context_raw], а в облаке text — только одно значение. Можно ли в облачный сервис сразу несколько текстов передать в одном запросе? Спасибо!
Разъясните пожалуйста, чем squad модели отличаются друг от друга?
multi (BERT ведь и так мульти)?
infer?
ru (SQUaD + SDSJ?)
без "ru" — только SQUaD?
немного запутался :)
Спасибо!
"Час быка" это же продолжение "Туманности Андромеды", вот там меньше "каменных морд", пугливый Вы какой ))
А "Час быка" — это не про развлекаловку, как бы...
я играюсь с бертом. Думал сортировать ответы по логитам, но эта "уверенность" для этого не очень подходит: очень часто "подходящие" ответы имеют меньшее значение.
Ещё заметил, что на результат часто влияет наличие "?" в конце вопроса.
И squad_ru_bert_infer выдает лучше результаты на иностранных текстах чем squad_bert_infer.
На счет 4г GPU — уменьшил max_seq_length до 4 :) — всё равно не влезает.
ПС: сейчас ответ по контексту в облаке что-то не работает
почему утка? Вот меня вчера Starlink минут на 10 зазомбировал — на вереницу спутников смотрел пока не замерз )
Я бы сразу сенатора минусил за его: "So, there is no research ongoing, we are flying blind here"
Если попадется — перешлите сенатору. Он тоже интересовался: https://youtu.be/vZ5soLrvXFg
Теперь понятно! Спасибо :)
П.С. скриншот "Интерфейса для проверки с маркировкой по сущностям" было бы интересно увидеть
ну т.е. Вы ГлубокимПавловым размечаете документы, вручную дополняете или исправляете ошибки в токенах и тренируете опять ГлубокимПавловым исправленный датасет?
И много приходится исправлять / добавлять?
Самое интересное — это подготовка датасета. Было бы интересно узнать как можно больше подробностей :)
было бы здорово сэкономить на запросах и посылать всё в одном пакете ))
А если серьезно, то у меня на самом деле с одного сервиса приходит несколько текстов, и было бы классно их сразу все скопом проанализировать.
а можно будет?
SQuAD сервис в облаке отличается от
riseapi
: в последнем можно сразу несколько текстов загрузить —[context_raw]
, а в облакеtext
— только одно значение. Можно ли в облачный сервис сразу несколько текстов передать в одном запросе? Спасибо!Спасибо! Жду продолжение про обучение )
а! я значит не первый https://forum.deeppavlov.ai/t/differences-between-squad-models/209
Спасибо!
А там еще "noans" есть :) Что это означает?
del
Разъясните пожалуйста, чем squad модели отличаются друг от друга?
multi (BERT ведь и так мульти)?
infer?
ru (SQUaD + SDSJ?)
без "ru" — только SQUaD?
немного запутался :)
Спасибо!
"Час быка" это же продолжение "Туманности Андромеды", вот там меньше "каменных морд", пугливый Вы какой ))
А "Час быка" — это не про развлекаловку, как бы...
не нравится слово "коммунизм"? Ну замените на "справедлизм". Само хоть описанное общество нравится?
я играюсь с бертом. Думал сортировать ответы по логитам, но эта "уверенность" для этого не очень подходит: очень часто "подходящие" ответы имеют меньшее значение.
Ещё заметил, что на результат часто влияет наличие "?" в конце вопроса.
И
squad_ru_bert_infer
выдает лучше результаты на иностранных текстах чемsquad_bert_infer
.На счет 4г GPU — уменьшил max_seq_length до 4 :) — всё равно не влезает.
ПС: сейчас ответ по контексту в облаке что-то не работает
со
"ans_start_predicted"
,"logits"
вроде разобрался )"ans_start_predicted", "logits"
?score
в вывод?"batch_size": 1
в конфиге не помогаетСпасибо!