Комментарии 4
В вашем примере наилучшее решение выдало F~0,69, действительно ли это устраивает заказчика?
Кажется, что сама по себе метрика для бизнеса не важна. Важно сколько денег это решение принесло. А это зависит от того, что будут делать с прогнозами. И тут огромный выбор дальнейших сценариев.
Так что где-то 69% мало, а где-то и 30 будет супер сделкой.
Нужно учитывать, что модель, которая приведена в статье, незаконченная (поскольку будет еще финальная статья) и, к тому же демонстрационная.
Актуальная версия системы предсказывает диагнозы и уже на основе них оценивается стоимость. Точность по конкретному диагнозу колеблется в пределах 70-90%, причем ~40% верно предсказанных диагнозов ранее не были отмечены у рассматриваемых пациентов. К сожалению, поделиться этой версией мы не можем в связи с NDA, но F1 score там в районе 80+%.
Что касается граничного приемлемого для бизнеса значения, то Abyasov сказал совершенно верно. Оценка должна производиться из расчета конкретного случая. В зависимости от потерь от FP и FN и профита с TP и TN, F~0.69 может быть очень хорошим результатом для одной задачи и совершенно недопустимым для другой.
Машинное обучение для страховой компании: Исследуем алгоритмы