Pull to refresh

Comments 11

Очень не понятно, если примеры выдуманные, то почему
Не будем сейчас задаваться вопросом о необходимом размере выборки для тестирования.
Если можно сразу выдумать пару сотен кейсов и убрать данную фразу, от которой сильно веет негативом.
Этот вопрос нетривиальный. Профессор, который вел у меня курс статистики, рассказывал, что когда у него спрашивают, сколько ему нужно времени, чтобы оценить размер выборки, он говорит от 1 минуты до 3-х лет.

Для того, чтобы оценить необходимый размер выборки, нужно поставить гипотезу. Например, что чувствительность более 90%. Всегда нужно что-то сравнивать. Надеюсь, что данные статьи вызовут интерес, и я еще об этом напишу.

Надеюсь, что данные статьи вызовут интерес, и я еще об этом напишу.
Еще как вызовут!
А так — вопрос действительно нетривиальный. Но для себя я нижнюю грань установил таким образом: в литературе говорится, что т-тест показывает значимые различия при сравнении двух выборок от 30 кейсов. Соответственно выборка в 30 кейсов — для меня тот минимум, при котором можно говорить о статистически обоснованных результатах. Тут не идет речь о репрезентативности и прочем.

И в дальнейшем было бы очень интересно почитать Ваш цикл статей и подискутировать с Вами в комментариях под ними.
И в дальнейшем было бы очень интересно почитать Ваш цикл статей и подискутировать с Вами в комментариях под ними.
Спасибо!

в литературе говорится, что т-тест показывает значимые различия при сравнении двух выборок от 30 кейсов.
Оценка размера выборки основана на связи 4-х параметров: ошибок первого и второго рода, размера эффекта (отношение разности средних значений к стандартному отклонению) и собственно размера выборки. Зная 3 параметра, можно вычислить 4-й. Большой эффект доказать гораздо проще, чем маленький.
В интернете есть информация, если загуглить power analysis.
С этим поспорить трудно, но в жизни обычно происходит так: клиент говорит, почему вот здесь конкретно нету значимых различий, и если на каждый такой запрос отвечать академически, то можно не работать, а только отвечать.

И, если можно пожелание, хотелось бы видеть в статьях не дихотомию, а какое нибудь дискретное распределение.
Да, в этом вы правы.

По поводу статей, у меня есть желание написать на следующие топики: хи-квадрат тест, t-тест, определение размера выборки, согласие случайных величин (agreement), а также ANOVA модели. Две из них уже практически готовы. Сложных распределений, к сожалению, не могу обещать, т.к. стараюсь писать о том, в чем разбираюсь.
Спасибо, интересно, полезно!
Замечания:
Отношение правдоподобия (Likelihood quotient). Важная характеристика для оценки теста.

Не хватает определения?
В литературе тест считается хорошим, если LR+ и LR- больше 3 (относится к медицинским тестам).

Приведите пожалуйста ссылки на источники. На вики и здесь приводят другое объяснение.

Сам тоже имею некоторый опыт оценки бинарных классификаторов. Вообще, на основе confusion matrix гораздо больше метрик основано, многое можно добавить. Есть примечательная работа (pdf) на тему. Что ещё интересно — на википедии на русском языке статей практиески нет, зато английская ими изобилует.

P.S. Интересно было бы реалиовать возможность коллективного доведения туториалов до ума. Первый TC инициализирует неплохой черновик. Затем с помощью коллективного разума получается первоклассный туториал. Таким образом можно было бы делиться опытом не одному человеку, а группе.
Спасибо за различную информацию, здорово, что людям интересны похожие темы.

Насчет Likelyhood rate, я читал это в курсе лекций, ссылка на источник Sackett, D. L. et al. Evidence-based medicine: How to practice and teach EBP (2000). Сам оригинал не читал и найти в бесплатном электронном виде не смог.

Насчет коллективного разума всеми руками за! Единственный вопрос как это реализовать, т.к. формат вообще вики. Я писал изначально в гугл докс, могу расшарить общую папку всем желающим. Открыт для всех предложений!

Готов предложить помощь в доведения туториалов до ума.
Предлагаю оформить материалы в формате SMW (Semantic Media Wiki) и разместить на хостинге, для пользования всеми желающими.
Хорошая идея, написал Вам в личку!
Дорогой автор, Вы имели возможность изучить следующий обзор: ссылка? Там написано чуть-чуть больше, чем Вы затрагиваете в своей статье.
Все-таки бинарных классификаторов много, а вы являете «с потолка» один из них без явного указания, вроде бы, на то какой именно.
Sign up to leave a comment.

Articles