Comments 8
Не освещён вопрос расширения словаря. Я так понимаю, токеном перевода является слово, а если нужно добавить ещё слов, то сеть нужно снова обучать с нуля?
0
У гугла буква во всяком случае в английском.
0
не совсем. у них есть фиксированный набор достаточно частых слов, а незнакомые слова разбиваются на n-gramm-ы. отдельные символы тоже нормальный вариант, но n-gramm-ы лучше работают. какого размера у них n, я не знаю. было бы логичным иметь что-то более-менее гибкое.
0
Может мы говорим о разных версиях.
Ту что я читал работала так
первый слой аналог wordbag для букв — передаются в lstm + дополнительное значение конец слова.
далее сжимается полученное в фиксированный вектор передающийся далее в многослойную lstm с возвратами. Позволяет игнорировать ошибки в написании слов.
С учетом того как они все клипают за полгода все будет вверх ногами.
Ту что я читал работала так
первый слой аналог wordbag для букв — передаются в lstm + дополнительное значение конец слова.
далее сжимается полученное в фиксированный вектор передающийся далее в многослойную lstm с возвратами. Позволяет игнорировать ошибки в написании слов.
С учетом того как они все клипают за полгода все будет вверх ногами.
0
Я говорил об этой статье — [1]. Я пролистал ее еще раз и там делается что-то такое — есть фиксированный словарь, который обучается перед обучением непосредственно модели перевода. Как формируется словарь — не суть на данный момент. В этот словарь можно положить n-gramm-ы разного размера, которые вполне могут оказаться словами, вроде «the». В этой статье они показывают, что во-первых, для разных языков надо брать разный размер словаря, во-вторых в общем вроде как чем словарь больше, тем лучше.
[1] https://arxiv.org/pdf/1609.08144.pdf
[1] https://arxiv.org/pdf/1609.08144.pdf
0
Гугловский поисковик работает на 7 n-gramm, для «исследователей» они дают скачать, но не для коммерческого использования. Возможно и в переводе они используют такие же модели.
0
Уж не нейроны ли виноваты, в том, что у Гугла такие косяки вылезают в переводе:
https://translate.google.com/#ru/en/%D0%A3%D0%9A%D0%A0%D0%90%D0%A1%D0%A2%D0%AC
https://translate.google.com/#ru/en/%D0%A3%D0%9A%D0%A0%D0%90%D0%A1%D0%A2%D0%AC
0
Sign up to leave a comment.
Как работает нейронный машинный перевод?