Если уж речь про заведение модели в продакшен, то наверно неправильно при каждом запросе загружать модель с диска. Нужно переписать код server.py так чтобы при инициализации сразу загружалась модель, а уже при запросе только делались предикшены от нее.
Руководство по развертыванию моделей машинного обучения в рабочей среде в качестве API с помощью Flask