Как стать автором
Обновить

Комментарии 4

Очень интересно, по-видимому, методы машинного обучения уже в полной мере дополняют, а-то и вытесняют все, что ранее звалось статистикой. Вот и в одноименном программном пакете теперь есть инструменты для конструирования и обучения нейронных сетей (имею ввиду пакет «Statistica»).
Интересует мнение авторов, какие значения F-score, исходя из вашего опыта, сейчас считаются приемлемыми для бизнеса, для того чтобы использовать ML-решение?
В вашем примере наилучшее решение выдало F~0,69, действительно ли это устраивает заказчика?

Кажется, что сама по себе метрика для бизнеса не важна. Важно сколько денег это решение принесло. А это зависит от того, что будут делать с прогнозами. И тут огромный выбор дальнейших сценариев.
Так что где-то 69% мало, а где-то и 30 будет супер сделкой.

Нужно учитывать, что модель, которая приведена в статье, незаконченная (поскольку будет еще финальная статья) и, к тому же демонстрационная.
Актуальная версия системы предсказывает диагнозы и уже на основе них оценивается стоимость. Точность по конкретному диагнозу колеблется в пределах 70-90%, причем ~40% верно предсказанных диагнозов ранее не были отмечены у рассматриваемых пациентов. К сожалению, поделиться этой версией мы не можем в связи с NDA, но F1 score там в районе 80+%.


Что касается граничного приемлемого для бизнеса значения, то Abyasov сказал совершенно верно. Оценка должна производиться из расчета конкретного случая. В зависимости от потерь от FP и FN и профита с TP и TN, F~0.69 может быть очень хорошим результатом для одной задачи и совершенно недопустимым для другой.

Зарегистрируйтесь на Хабре , чтобы оставить комментарий