Новая функциональность без багов, на примере биллинга для мобильного оператора

Вот как раз ситуация, когда баги пропали после того, как их тестовый набор стал совпадать с вашим, это не очень радует. Вашему же коду не с историческими данными работать, а с новыми, так что гэп между вашими данными и данными приёмки как раз позволяет вслепую проверить ваш код. Если в слепом тесте баги не выплывут, можно надеяться, что они не выплывут и в будущем. А если у вас баги в слепом тестировании, а после синхронизации модели для обучения и контрольной модели багов 0, то это называется overfitting, и ни к чему хорошему не приводит.