Открыть список
Как стать автором
Обновить

Погрешности, толпы, измерения, или где-то я это всё слышал.

Краудсорсинг

Написать этот пост меня побудил пост про орешки. К сожалению, я не читал книгу на которую ссылается автор, но всё-таки позволю себе некоторым образом по-обсуждать данную тему.

Предлагается эксперимент, в котором люди измеряют количество орешков в посуде. Орешков много и лежат они не аккуратно, поэтому измерить точно их количество представляется довольно затруднительным. И вот тут начинается особая магия.



Задача эта решалась начиная с XVII века и решается до сих пор по миллион раз в день, а именно определение степени достоверности измерения. Почему пример с орешками хорош? Потому что именно на нём можно показать все виды погрешностей измерений и проанализировать из появление, а также указать способы уменьшения погрешности.

Итак, погрешности делятся на три типа:

1. Случайная погрешность — погрешность, меняющаяся (по величине и по знаку) от измерения к измерению. Она может быть вызвана как несовершенством прибора, так и несовершенством самой измеряемой системы. В нашем случае: понятно, что трудно посчитать большое количество орешков на экране, легко ошибиться (несовершенство мозга) или вариант, что картинок несколько и они случайным образом меняются, тогда разные люди считают разное реальное количество орешков.
2. Систематическая погрешность — погрешность, изменяющаяся во времени по определенному закону (частным случаем является постоянная погрешность, не изменяющаяся с течением времени (меньше деления прибора не измеришь)). Систематические погрешности могут быть связаны с ошибками приборов (неправильная шкала, калибровка и т.п.), неучтёнными экспериментатором. В нашем случае это предположение некоторыми хабрапользователями того что на самом деле это не тарелка, а ваза, где ещё уйма сколько орешков.
3. Грубая погрешность — погрешность, возникшая вследствие нарушения методологии эксперимента. На научном жаргоне: выбросы, это как раз есть те 99999999 или вопрос про человекоподбных роботов Президенту.

Но погрешности это, конечно, очень хорошо, но нам же нужно всегда знать точную измеряемую величину. Так вот, знать точно сколько чего в континиумной системе не возможно. Орешков либо 100, либо 101, а вот 100см не бывает. Поэтому всё к чему мы должны стремится это уменьшить погрешность, а чтобы её уменьшить надо знать врага в лицо :)

Начнём устранять погрешности в обратном порядке. Грубые погрешности с одной стороны самые простые, с другой самые сложные в рассмотрении. Видя на графике какой-то величины в одной точке странное поведение с огромной вероятностью исследователь выбросит её и спишет на ошибку (напряжение скакнуло, переписал неправильно с прибора и тп). Однако тут есть тонкий момент, что можно пропустить какой-нибудь неизвестный эффект. В нашем случае мы не ожидаем аномалий в количестве орешков и отбрасываем заранее ложные ответы.

Систематические погрешности устранять труднее, нужно получить дополнительную информацию о системе. В данном эксперименте информация была получена, тарелка плоская, значит сюрприза быть не может.

Ну и теперь самое интересное, случайная погрешность. Казалось бы она неустранима. Ну как можно повлиять на случайность? На самом деле можно. К нам на помощь приходит закон больших чисел, открытый великим русским математиком Чебышевым. Он утверждает, что:

Всегда найдётся такое количество испытаний, при котором с любой заданной наперёд вероятностью частота появления некоторого события будет сколь угодно мало отличаться от его вероятности.

Немного заумно и не понятно, но для нас это означает то, что если ошибка измерений действительно случайна и эта случайность (мера случайности — распределение выходит за рамки этой заметки) не меняется со временем, то сделав множество измерений можно прийти к заранее заданной погрешности. Ещё проще, чем больше измерений — тем ближе среднее арифметическое к измеряемой величине.

То есть никакой магии с орешками нет, как говорилось, что и требовалось доказать.

Интересен ещё один факт. Теорема Чебышева-Бернулли ничего не говорит о том, как распределена ошибка и насколько каждое измерение «врёт», она требует только чтобы измерения не зависели друг от друга и от количества испытаний. Однако экспериментально выяснено, что обычно ошибки распределены по закону Гаусса. Поэтому погрешность следует искать по формуле:



Предлагаю автору поста посчитать погрешность и посмотреть укладываются ли хабрапользователи в закон Гаусса и какой у них класс точности :)

PS. Это мой ППНХ.
Теги:измерениятеория вероятностейвероятность
Хабы: Краудсорсинг
Всего голосов 122: ↑95 и ↓27 +68
Просмотры1.5K

Комментарии 80

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Похожие публикации

Middle/Senior ML Engineer
от 250 000 ₽GradientМоскваМожно удаленно
Analyst (Junior To Middle)
от 1 300 до 2 200 €BETBYМожно удаленно
Middle Ruby on Rails разработчик
от 100 000 до 150 000 ₽DaturumМожно удаленно
Deep Learning engineer (NLP Model)
от 150 000 ₽IvolutionМожно удаленно
Backend developer
от 100 000 до 250 000 ₽TravelLineМожно удаленно

Лучшие публикации за сутки