Комментарии 5
Понимаю что это перевод, но всё же спрошу: этот алгоритм может использоваться в каких-то вариантах поисковые машины?
Что-то они скрывают вот в этом аспекте «Извлечение из всех доступных слов (переменных) всех их возможных отношений является вторым принципом.» Т.к. если пытаться реально обрабатывать все возможные варианты, память кончится очень быстро, т.к. получается «комбинаторный взрыв» даже в пределах одного предложения.
При обработке текстов создается словарь. Как правило на 200 Gb текста словарь составляет всего 1-2 M слов во всех словоформах. После устранения всех ошибок, и лемматизации и т.д. словарь уменьшается до 70-150 К. Полная матрица отношений займет примерно 30 Gb. Но для расчетов ее не применяют т.к. она практически пустая. Поэтому «комбинаторный взрыв» не происходит.
У них прямо на официальном сайте выложена научная статья, хотя к сожалению она мало добавляет к вашему рассказу:
coseer.com/wp-content/uploads/2019/09/NLS-Using-CQM.pdf
coseer.com/wp-content/uploads/2019/09/NLS-Using-CQM.pdf
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
CQM — другой взгляд в глубоком обучении для оптимизации поиска на естественном языке