Закон больших чисел и то, чем он не является

Если 5 раз подряд выпала решка, то вероятность того, что у нас монета с двумя решками, больше 0,5 :)

Но это уже бета-распределение…

Привет, спасибо за фидбэк! Действительно, я сократил текст до минимума — без примеров или формул, сухо, но, я надеялся, по существу. Судя по опросу, большинству текст не понравился по тем или иным причинам. У меня на подходе аналогичная статья про центральную предельную теорему, сделаю его более развернутым.

А все потому что «черные лебеди» это не гауссовское распределение. Это, скорее, Пуассона, которое, как и гауссовское, является одной из предельных форм распределения Бернулли (но при других пределах).

Поэтому, знание сходимости нам мало что дает. Это как при игре в русскую рулетку — нельзя играть в нее бесконечно — только до первого проигрыша. Поэтому, закон больших чисел здесь неприменим.

hodus это очень интересная тема о границах применимости статистики и теории вероятностей. Например, мы строим модель процесса, скажем, нормальную модель, на основании данных. Это может быть бизнес-процесс (пользователи что-то покупают), может быть природный процесс (та же урожайность). Действительно, с точки зрения описания или прогнозирования, все хорошо до тех пор, пока не происходит совершенно непредсказуемое явление. Окей, наша модель этого не предусмотрела, но может процесс изменился? То есть модель верна для старого процесса, а тут произошло его изменение. Как продвинутая курица Юма, которая знает, что ее кормят, скажем, в среднем каждые 6 часов с дисперсией 10 минут. В какой-то момент, скорее непредсказуемый для курицы, придут откручивать ей голову, но разве она могла эта предсказать? Ее модель была и остается верна, но уже не для нее. Можно пытаться строить композитные модели, с тяжелыми хвостами, с несколькими режимами и вероятностями переключений между режимами. Это интересно!

Очень хороший вопрос. 

Если точно, то усиленный закон больших чисел утверждает, что сходимости нет на множестве меры нуль, то есть все-таки нельзя утверждать, что есть сходимость для всех последовательностей. У этой «сходимости почти всюду» нет хорошей или внятной физической интерпретации, которую можно применить ко всем случаям жизни, по крайней мере мне такая не известна. Для слабого ЗБЧ такая интерпретация есть.

Есть, разумеется, случаи, когда «сходимость почти всюду» можно примерно понять. Рассмотрим, например, неограниченное подбрасывании симметричной монеты. Множество бесконечных последовательностей нулей и единиц имеет мощность континуум, так что в соответствии с усиленным ЗБЧ сходимости нет на множестве меры нуль, при условии что множество меры 1 это отрезок [0,1]. Например, ясно, что сходимости нет для любых последовательностей, состоящих из конечного числа нулей, и что таких последовательностей счетное число (то же верно и для единиц). Сходимости также нет для «неслучайных» последовательностей типа 001001001..., и что каким-то схожим образом построенных последовательностей тоже счетное число. Исчерпаем ли мы таким перебором все последовательности, для которых нет сходимости? Наверное нет. Вполне может быть, что для этого случая есть теоремы, описывающие структуру этого множества. По крайней мере ясно, что тут происходит в контексте усиленного закона.

Проблемы начинаются, когда мы пытаемся применить усиленный збч к реальным данным. Скажем, у меня есть выборка размера 1000. Обычный закон больших чисел наглядно говорит, что вероятность отклонения среднего от мат.ожидания мала, эту вероятность в некоторых случаях можно оценить. Что же усиленный закон? Мне надо представить последовательности испытаний с выборками размера 1, 2,…, 1000, ..., в одной из которых получается моя выборка, и что по некоторой мере сходимость есть всегда. Что это за мера — конкретно неясно, наверняка какая-то непрерывная вероятностная мера на множестве вещественных последовательностей. Допустим так, но что если моя выборка как раз из той самой «неудачной» последовательности? Эти последовательности же существуют? Как я буду это проверять? Или если эти последовательности не существуют, то почему нет збч в форме сходящихся неслучайных последовательностей? Получаются сложности, с тем, чтобы придумать хорошую интерпретацию того, что усиленный закон говорит. 

В некоторой, степени для меня тут вопрос в том, как утверждение «с вероятностью ноль» соотносится с реальностью. Например, случайно выбранная точка из отрезка рациональна с вероятностью ноль, но это же не отменяет то, что все числа, с которыми работаем на компьютере рациональны. Также неясен смысл предельного перехода, отчасти потому что он стоит под знаком вероятности. Мы же работаем с конечными последовательностями или выборками. Получается, предельный переход вообще нерелевантен?

Колмогоров, разумеется, был прав, но мой внутренний физик не может придумать, как это правильно применить.