Comments 25
Это значит, что любая случайная величина X с конечной дисперсией может быть аппроксимирована полиномиальной функцией от нормально распределенной случайной величины.
Кстати говоря, вот и интересный способ доказать (ну, почти, там, все-таки, не полиномы) тот факт, что глубокие генеративные модели, вроде GAN и VAE могут приблизить произвольное распределеные данных: они же как раз и ищут функцию f(x), x ~ N(0, 1), такую, что f(x) ~ P(Data).
Очень жду продолжение с описанием, что же можно делать с разложением этой f(x)!
Спасибо большое за статью. Не все детали смог понять, уж очень сумбурно кое-где и темп очень быстрый, без проработки мелочей, но в общем очень интересно.
Начиная с "Гауссовского процесса" стало непонятно.
UFO just landed and posted this here
Насколько я помню, заход к полиномам Эрмита. Они возникают в качестве решения уравнений Шредингера для гармонического осциллятора. Там же показывается их ортогональность. То есть в квадратичном поле. Если учесть, что энергия гармонического осциллятора E = m*v^2/2 + k*x^2/2. А вероятность состояния p ~ exp (-E/kT). Очень похожа на функцию нормального распределения свободных независимых частиц. То скорее всего в статье описана система свободно колеблющихся частиц в самосогласованном квадратичном поле. И скорее всего дальше вы придет к распределению Ферми-Дирака (сигмоидной функции) в качестве функций ядра нейронной сети, и методу градиентного спуска для обучения сети. Что в принципе и делается в любом учебнике по нейронным сетям. Но явно не обозначается.
Берем кучу случайных величин, устремляем их количество в бесконечность и получаем нормальное распределение. И совсем неважно как распределены эти величины, неважно, будь это подбрасывания монетки или капли дождя на стекле, вспышки на Солнце или остатки кофейной гущи, результат будет всегда один — их сумма всегда стремится к нормальности.
Непонятно как сумма может стремиться к нормальности. Сумма — это число, нормальное распределение — это функция. Как их можно сравнивать? Даже на примере подбрасывания монетки — два равновероятных (если не учитывать факторов типа царапин на монетке и тому подобного) варианта, где там взяться нормальному распределению? Да, я заглянул в Википедию, там так и написано, что «сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному», но не могу понять как это. Можно чуть более подробный пример для не-математиков?
Стандартный пример: вы случайно выбираете число от 0 до 1. С какой вероятностью вы ткнёте в рациональное число (привет, функция Дирихле)? Спойлер: 0. Ноль, Карл! Бесконечное множество не имеет никакой силы, если оно счетно. У вас бесконечное число вариантов, но вы не выберете ни один из них. Вы не выберете 0, или 1, или 1/2, или 1/4. Вы и не выберете 3/2
Тоже непонятно почему это нет? Прочитав «вы случайно выбираете число от 0 до 1» я подумал «0.72». Я что, реально не мог выбрать 0.5 и кого ни спрашивай — никто никогда не выберет? Что-то не верится.
Наверно для тех, кто всерьёз изучал эти темы вопросы идиотские, но всё же любопытно, так что позволю себе спросить.
В реальной жизни конечно вы можете выбрать и попасть в любой вариант, потому что количество разрядов счетно. Например, среди всего множества double вы можете выбрать 0.72 и попасть.Но при бесконечном множестве никогда не попадете.
Непонятно как сумма может стремиться к нормальности. Сумма — это число, нормальное распределение — это функция.
Случайная величина — это не число. Соответственно сумма случайных величин — тоже не число. Сумма случайных величин — это случайная величина.
Монетка может упасть либо орлом, либо решкой. Пусть орел у нас будет 0, а решка — 1. Тогда у случайной величины «бросок монетки» будет два возможных исхода: 0 и 1. А у суммы ста случайных величин «бросок монетки» — будет 100 возможных исходов: от 0 (выпали одни орлы) до 100 (выпали одни решки). Если мы построим график распределения этой случайной величины, то получим знакомый «колокол» с максимум в точке 50.
Для того чтобы построить такой график экспериментально, нам нужно провести например 1000 экспериментов. Каждый эксперимент будет состоять в следующем: мы 100 раз бросаем монетку (или бросаем 100 монеток один раз) и складываем результат бросков. Иногда будет получаться 13, иногда — 70, но чаще всего будет получаться что-то в диапазоне 45-55.
Тоже непонятно почему это нет? Прочитав «вы случайно выбираете число от 0 до 1» я подумал «0.72». Я что, реально не мог выбрать 0.5 и кого ни спрашивай — никто никогда не выберет? Что-то не верится.
Когда вы называете любое число — вы называете рациональное число. Потому что для записи иррационального вам понадобится бесконечное число знаков (если конечно не пользоваться обозначениями типа pi, e, sqrt(2) или sin(3)).
Дело в том, что количество рациональных чисел — бесконечно, но счетно. А количество иррациональных — бесконечно и несчетно. Грубо говоря их в бесконечность раз больше, чем рациональных (тут меня математики будут бить ногами).
Тоже непонятно почему это нет? Прочитав «вы случайно выбираете число от 0 до 1» я подумал «0.72». Я что, реально не мог выбрать 0.5 и кого ни спрашивай — никто никогда не выберет? Что-то не верится.
Возьмите метровую линейку и тыкните на ней в случайное место. Какая вероятность, что это будет приблизительно 0.5? А какая вероятность, что это будет точно 0.50000000?
а можно с конца начинать?
зачем это все надо?
зачем это все надо?
Хабр торт. Спасибо. Пошел гуглить исчисление Ито.
Пожалуй по интересу к рассказчикам первое место я отдам математику, с упоением рассказывающему о своем деле. Что-то в этом есть, пусть даже я и не совсем все понял (сильно залип на 3 "вау-эффекте")
Тема интересная, расширяющая сознание, но ее надо правильно преподать.
Я перечитал множестко книг по стохастическим методам, многое даже понял. И я все пытался найти там какой-либо ответ, необычный вывод о реальной жизни. В итоге я ничего не нашел. Все что там описано ну мягко говоря ежу понятно. Например что случайный процесс даст случайное значение впереди, что разброс t+1 от t меньше чем t+1000 от t и так далее.
Где примеры то? Например у Байесовского подхода есть конкретные примеры которые помогают нам, например парадокс Монти-Холла.
В чем смысл то?
Где примеры то? Например у Байесовского подхода есть конкретные примеры которые помогают нам, например парадокс Монти-Холла.
В чем смысл то?
UFO just landed and posted this here
Когда вы вводите понятие винеровского процесса, почему в качестве исходного пространства вы рассматриваете L^2, а не, ну, R, постулируя B(t) = W(t) ~ N(0; t)?
Путаетесь. В этом примере Винеровский процесс отображает из пространства функций L^2 в вероятностное пространство. R тут не причем.
Чуть ниже вы вводите понятие интеграла Ито, и там справа у W в скобочках фигурирует 1_[0; t] и f. А как они связаны? Это не скалярное произведение — формула тогда не тайпчекается. При этом это и не композиция (1_[0; t] \dot f = 1_[0; t], что не очень интересно).
Это не композиция и не скалярное произведение, а простое умножение.
UFO just landed and posted this here
Так я и пишу: исходное пространство. Domain, если хотите, не codomain.Кажется, я понял Ваш вопрос. Вы спрашиваете, почему бы не взять в качестве примера H=R вместо L^2 и t вместо 1_{[0,t]}? Ну потому что это был бы тривиальный пример. Броуновского движения и тем более интеграла Ито Вы бы не получили.
Тогда я вообще ничего не понимаю. Умножение чего на что?
1_{[0,t]}(s) * f(s). Я надеялся, что это будет понятно из контекста.
Автор, выражение «теория вероятности» режет глаз, исправьте, пожалуйста, на «вероятностей»
Долгое время я следовал этому правилу, потому что «так принято». Но недавно сам себя спросил, если там, за бугром, это называется probability theory, то чем мы хуже? Есть у нас теория меры, теория относительности, но вот почему-то теория вероятностей. Вероятность — это же та же мера. Я могу понять теорию игр или теорию чисел, так как там мы имеем дело с чем-то разделяемым. Но здесь… Здесь абсолютная неправильность «теории вероятности» для меня пока под вопросом.
Я не до конца неграмотный человек, но все же решил: пускай уж сегодня цепляет глаз, завтра, может, мы привыкнем.
P.S. теория поля или теория полей?
Я не до конца неграмотный человек, но все же решил: пускай уж сегодня цепляет глаз, завтра, может, мы привыкнем.
P.S. теория поля или теория полей?
Просьба понизить градус до обычного курса матана, поскольку даже зная про Гильбертово пространство и работая со стохастическими процессами — всё равно не смог ухватить суть происходящего. Сначала всё вроде «ну да, ну да, и так понятно» а потом вдруг сила Земли с индексами сверху и снизу, какая-то алхимия. Что такое разложение я в итоге могу посчитать для конкретного Х, но не понимаю что всё это значит.
Sign up to leave a comment.
Винеровский хаос или Еще один способ подбросить монетку