Комментарии 4
Сравнение на Mobilenet + CPU выглядит подозрительным: я верю, что вы крутые, но не может pytorch отставать в 10-20 раз. Допускаю, что тест не вполне корректный.
Было бы интересно еще увидеть сравнение по скорости инференса с openvino/tensorrt/onnxruntime.
Наконец, есть вопрос — как у вас дела с конвертерами? Например, можно ли натренировать модель на торче, сконвертить в onnx и инферить на neoml?
Было бы интересно еще увидеть сравнение по скорости инференса с openvino/tensorrt/onnxruntime.
Наконец, есть вопрос — как у вас дела с конвертерами? Например, можно ли натренировать модель на торче, сконвертить в onnx и инферить на neoml?
Да, у pytorch результат странный. Но ответы совпадают, плюс та же сборка дает адекватные результаты на GPU и других архитектурах сетей.
Да, у нас есть ограниченная поддержка ONNX.
Да, у нас есть ограниченная поддержка ONNX.
Совпадение ответов — недостаточный критерий качества. Например, я однажды тоже намерял, что торч в N раз медленнее, чем onnxruntime, а потом обнаружил, что с настойкой трединга накосячил.
А где можно почитать про ONNX? neoml.readthedocs.io/en/latest/search.html?q=onnx ничего не находит.
А где можно почитать про ONNX? neoml.readthedocs.io/en/latest/search.html?q=onnx ничего не находит.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ABBYY NeoML 2.0: Python и многое другое