Comments 80
Почти синхронно мы запостили вдвоем :)
habrahabr.ru/blogs/wisdom_of_the_crowds/37040/
Я пытался развенчать миф про то, что измерить так можно всё, а вы про то, что магии никакой нет — у нас получилось? :)
habrahabr.ru/blogs/wisdom_of_the_crowds/37040/
Я пытался развенчать миф про то, что измерить так можно всё, а вы про то, что магии никакой нет — у нас получилось? :)
Надеюсь что да :) Даёшь просвещение хабрапользователей!
Естественно не все, в книге приведенной автором очень сомнительные доводы, а называтся она должна не мудрость толпы(мудростью толпа точно не обладает, вот одно из определений ru.wikipedia.org/wiki/%D0%9C%D1%83%D0%B4%D1%80%D0%BE%D1%81%D1%82%D1%8C), средне арифметическое толпы в некоторых случаях похожее направду.
черт, я тоже толькочто написал пост, озаглавив его буквально так: «Почему „мудрости толпы“ не существует»… ))
Но у меня там — просто логика, без особой математики.
Но у меня там — просто логика, без особой математики.
Я очень хочу поисследовать эту тему, потому что не всё так однозначно. Например, усреднив новости по телевизору невозможно получить правдивую информацию о событии. И тут мудрость толпы aka ЗБЧ не работает.
Надо разные телевизоры усреднять :)
То есть, разные каналы, включая западные, интернет, журналы, жж и т.п.
но времени уж больно много надо.
проще подождать пару недель — тогда и правду начнут понемногу показывать в новостях
То есть, разные каналы, включая западные, интернет, журналы, жж и т.п.
но времени уж больно много надо.
проще подождать пару недель — тогда и правду начнут понемногу показывать в новостях
Закон больших чисел работает только для случайных величин. А новости по телевизору, как и многие другие вещи, к ним не относятся.
выбор материала для исследования — часть исследования )))
Почему нельзя???
CNN: Россия напала на Грузию
Первый Канал: Россия спасает Осетию… итог… АПОКАЛИПСИС! О_О
CNN: Россия напала на Грузию
Первый Канал: Россия спасает Осетию… итог… АПОКАЛИПСИС! О_О
Спасибо за интересный пост :) Хочу обратить внимание, что ни о какой магии, конечно, речи не шло. Ни здесь, ни в книге, никто не говорит, что результаты получаются благодаря объективному существованию какого-то невидимого коллективного знания. В книге не делается серьезных попыток научно объяснить это явление, но немного касается математического способа объяснения. К тому же автор не Григорий Грабовой, а вполне себе нормальный финансовый аналитик :) Вобщем научную сторону этого вопроса надо еще поизучать :)
Кстати, будет интересно узнать ваше (и bishop3000) мнение о рынках предсказаний, как одного из способов применения описанных в книге идей. Я, как раз, недавно заказывал перевод вики-статьи ru.wikipedia.org/wiki/%D0%A0%D1%8B%D0%BD%D0%BE%D0%BA_%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D0%BA%D0%B0%D0%B7%D0%B0%D0%BD%D0%B8%D0%B9. Местами криво получилось, но должно быть понятно :) Есть интересная статистика и исследования: «толпа» удачно предсказывает результаты выборов, кассовые сборы фильмов и прочее. Опять же, никаких разговоров о магии — исследованием этих вопросов ученые занимаются достаточно давно. Почитайте :)
Уже сплю на ходу :) Вот правильный линк на статью в вики ru.wikipedia.org/wiki/%D0%A0%D1%8B%D0%BD%D0%BE%D0%BA_%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D0%BA%D0%B0%D0%B7%D0%B0%D0%BD%D0%B8%D0%B9
В немного более удобном виде, если позволите:
http://ru.wikipedia.org/wiki/Рынок_предсказаний
http://ru.wikipedia.org/wiki/Рынок_предсказаний
> «толпа» удачно предсказывает результаты выборов
1. Возмите коробку.
2. Набейте ее шариками черными и белыми. (Например 1000 разных).
3. Вытяните 100 случайными образом.
4. Посчитайте отношение черных к белым в этих 100.
5. А теперь во всей коробке.
Ура!
100 Шариков примерно предсказывают соотношение цветов во всей коробке :-)
1. Возмите коробку.
2. Набейте ее шариками черными и белыми. (Например 1000 разных).
3. Вытяните 100 случайными образом.
4. Посчитайте отношение черных к белым в этих 100.
5. А теперь во всей коробке.
Ура!
100 Шариков примерно предсказывают соотношение цветов во всей коробке :-)
Однако экспериментально выяснено, что обычно ошибки распределены по закону Гаусса.
На самом деле это следует из центральной предельной теоремы :)
Что никак не мешает тому факту, что выяснено это было экспериментально :)
С этим я согласен, но погрешность начали изучать ещё до появления ЦПТ. Да и сам факт того, что у всех измерений, что линейкой, что каким-нить заумным прибором, что хабрапользователями одинаковый колокол распределений довольно удивителен.
Ваш топик описывает только одну задачу — измерение некой величины. Я книгу (или что там за первоисточник) не читал, но понимаю так, что автор пытается использовать мудрость толпы не только для измерения какой-то величины (формализируя — нахождения экстремума гауссовой функции), а вообще для решения многих задач (задач оптимизайии).
То есть, ваш топик показывает только то, что теория толпы применима для подобных измерений.
Но хотелось бы почитать топик, раскрывающий более общий смысл — почему мудрость толпы пригодна только для подобных задач (задач измерений, где мудрость толпы выдает матожидание гауссовой функции равносильное максимуму этой функции, что и есть правильным решением). И непригодна для более общих задач оптимизации, где функция может иметь несколько экстремумов или просто несимметрична.
Например: если я спрошу у друзей в какой магазин мне лучше сходить за пивом, они будут называть разные магазины вогруг моего дома, так что усредненным решением окажется сидеть вообще дома.
То есть, ваш топик показывает только то, что теория толпы применима для подобных измерений.
Но хотелось бы почитать топик, раскрывающий более общий смысл — почему мудрость толпы пригодна только для подобных задач (задач измерений, где мудрость толпы выдает матожидание гауссовой функции равносильное максимуму этой функции, что и есть правильным решением). И непригодна для более общих задач оптимизации, где функция может иметь несколько экстремумов или просто несимметрична.
Например: если я спрошу у друзей в какой магазин мне лучше сходить за пивом, они будут называть разные магазины вогруг моего дома, так что усредненным решением окажется сидеть вообще дома.
Кстати, придумал чудный пример неработающего метода «мудрой толпы».
Недавно были выборы мэра Киева. Было 3 основных кандидата: «плохой», «хороший1» и «хороший 2».
Большинство людей было против плохого. Но в результате за хорошего1 и хорошего2 проголосовали пополам, вместо того чтобы проголосовать только за одного хорошего. Таким образом победил плохой. Вот вам и «мудрость толпы».
В общем смысле мудрость толпы выдает матожидание, которое для интересных задач (а не тупых измерений) абсолютно не совпадает с решением, а иногда, как в примере, дает даже самое плохое решение.
Недавно были выборы мэра Киева. Было 3 основных кандидата: «плохой», «хороший1» и «хороший 2».
Большинство людей было против плохого. Но в результате за хорошего1 и хорошего2 проголосовали пополам, вместо того чтобы проголосовать только за одного хорошего. Таким образом победил плохой. Вот вам и «мудрость толпы».
В общем смысле мудрость толпы выдает матожидание, которое для интересных задач (а не тупых измерений) абсолютно не совпадает с решением, а иногда, как в примере, дает даже самое плохое решение.
Просто этот метод не применим к «усреденению» результатов задач классификации на основе огромного числа различных и к тому же неизвестных функций, да и их входные векторы тоже неизвестны и различны. Короче, результаты выборов не иммеют никакого отношения к объективной реальности: D
Что за бред? Вы считаете, что народ должен на выборах голосовать против определённого кандидата? И, если треть принимавших участие в выборах граждан проголосовала за «плохого», то он не должен становиться мэром из-за двух третей не проголосовавших за него? Батенька, может Вы ещё в тоталитаризм хотите вернуться, когда за кандидата голосовало 100% людей?
Здесь метод не работает потому как для каждого эти кандидаты разные (см. выше о «разных телевизорах» для получения информации). С моей точки зрения наиболее вероятных кандидатов было три: «плохой», «очень плохой» и «клоун». Вполне закономерно выиграл клоун. Ваш пример здесь не годится.
это извращенная демократия. власть меньшинства.
Черт, и опять про орешки. Был сегодня в двух супермаркетах — не нашел таких :(
Физика. Пеорвый курс, первый семместр :)
> незавесили
Лучше было бы начать с того, что обсуждаемая теория фактически не соответствует критерию фальсифицируемости, то есть не является научной. А уже после этого показать, что те случаи когда она работает — это все-го лишь устранение случайной погрешности.
«Эксперимент про орешки» — это не устранение погрешности подсчёта путём усреднения многочисленных измерений — что было бы попросту банально, т. к. козе понятно, что если ты сбиваешься в счёте, то, пересчитав тыщу раз, получишь более точный результат. А там эксперимент по усреднению многочисленных субъективных оценок — число орешков, которые там можно именно сосчитать, составляет примерно 85 штук, что расходится с реальным количеством в 1.5~2 раза, а дальше надо «прикидывать на глазок». И вот если усреднение таких прикидок тоже даёт правильный результат — это уже интереснее.
Вы про статистический ансамбль что-нибудь слышали?
Так вот одному человеку посчитать 100 раз одно и тоже количество орешков и дать 100 человекам посчитать количество орешков это одно и тоже, так как ни один из хабра-людей не является профессионалом по посчёту орешков в тарелке у всех ошибка примерно одиннаковая. Так что всё работает, никакой магии.
Так вот одному человеку посчитать 100 раз одно и тоже количество орешков и дать 100 человекам посчитать количество орешков это одно и тоже, так как ни один из хабра-людей не является профессионалом по посчёту орешков в тарелке у всех ошибка примерно одиннаковая. Так что всё работает, никакой магии.
Орешки не подсчитываются, потому что на фотографии нам видна только часть орешков. Мы можем посчитать эту видимую часть, и на основании этого оценить общее количество. Примерно. С существенной долей субъективности в нашей оценке. С этим утверждением вы можете согласиться? Если да, то следующий вопрос: можно ли вообще такую оценку считать «измерением»?
В магию я как-то почему-то вообще не верю. Если эта самая «мудрость толпы» таки проявляется, это, имхо, говорит только о том, что оценка «на глазок» для некоторого класса задач более точна, чем мы привыкли думать.
В магию я как-то почему-то вообще не верю. Если эта самая «мудрость толпы» таки проявляется, это, имхо, говорит только о том, что оценка «на глазок» для некоторого класса задач более точна, чем мы привыкли думать.
Да можно, вполне.
Не важно, каким именно образом строится оценка — путем непосредственного подстчета или же с помощью измерения отдельных параметров системы и вспомогательных вычислений.
Вы же не думаете, что когда где-нибудь в ускорителе подсчитывают число частиц определенного типа появившихся в результате реакции, что там сидит кто-то кто непосредственно считает эти частицы? Нет, там измеряются различные параметры системы, на основе которых в свою очередь строится оценка значения исследуемого параметра.
Не важно, каким именно образом строится оценка — путем непосредственного подстчета или же с помощью измерения отдельных параметров системы и вспомогательных вычислений.
Вы же не думаете, что когда где-нибудь в ускорителе подсчитывают число частиц определенного типа появившихся в результате реакции, что там сидит кто-то кто непосредственно считает эти частицы? Нет, там измеряются различные параметры системы, на основе которых в свою очередь строится оценка значения исследуемого параметра.
Может не в тему но что-то навеяло.
Многократно замечаль схожесть поведения толпы идущей по переходу в метро с поведением быстрых и медленных электронов в магнетроне. Быстрые догоняют медленные тормозят в результате образуються скопления электронов.
Многократно замечаль схожесть поведения толпы идущей по переходу в метро с поведением быстрых и медленных электронов в магнетроне. Быстрые догоняют медленные тормозят в результате образуються скопления электронов.
Весьма похожим образом мы измеряли погрешность измерений в лабораторных работах по физике. Но при этом использовался расчёт через коэффициенты Стьюдента.
Ну собственно это всё взято из лабника за первый курс. Стьюдент это немного не то, там оценивается верность зависимости какой-то величины от какой-то. Здесь же измеряемая величина ни от чего не зависит.
«Теорема Чебышева-Бернулли ничего не говорит о том, как распределена ошибка и насколько каждое измерение «врёт»»
конечно не говорит =) об этом говорит распределение Гаусса
конечно не говорит =) об этом говорит распределение Гаусса
Вот не надо только называть вопрос о гигантских боевых человекоподобных роботах грубой погрешностью.
Наверное это можно применить, играя на форексе. Изучить все прогнозы изменения EUR/USD на день, вывести среднее арифметическое и поставить куда надо :)
а если я посажу (~)100 человек играть в рулетку и буду высчитывать среднее арифметическое их ставок, то смогу узнать точное число и цвет на которое упадет шарик?
оо… я это в университете, помню проходил.
на хабре бум коллективного разума :)
на хабре бум коллективного разума :)
Вдаваясь в математические рассуждения, Вы упускаете главное: мы измеряем не линейкой, а человеком.
Ответ человека строится на предположении.
Ответ человека строится на предположении.
Вы гуманитарий?
Какая разница как делаются измерения, на глоазок или линейкой? Я вот всегда беру нужный мне гаечный ключ глядя на гайку, мне линейка не нужна.
Какая разница как делаются измерения, на глоазок или линейкой? Я вот всегда беру нужный мне гаечный ключ глядя на гайку, мне линейка не нужна.
Как я не люблю всех этих «математиков», «гуманитариев», «теистов», «атеистов».
Люблю, знаете, людей более свободных от концепций. Более открытых для нового.
«Какая разница как делаются измерения, на глоазок или линейкой»
Если разницы нет, то что из этого следует? Подумайте…
Люблю, знаете, людей более свободных от концепций. Более открытых для нового.
«Какая разница как делаются измерения, на глоазок или линейкой»
Если разницы нет, то что из этого следует? Подумайте…
По поводу «свободы от концепций» есть замечательная песня Макаревича «Барьер». Послушайте, если будет возможность. Я не буду флудить на эту тему в этом топике, дабы не засорять.
Вам продемонмтрировали доказанную теорему, и эксперимент подтверждающий её справедливость. Можете ещё доверительный интервал оценить, чтобы совсем всё было чётко. Мне лениво цифры вбивать, и так всё понятно.
Над чем мне надо подумать я так и не поянл.
Вам продемонмтрировали доказанную теорему, и эксперимент подтверждающий её справедливость. Можете ещё доверительный интервал оценить, чтобы совсем всё было чётко. Мне лениво цифры вбивать, и так всё понятно.
Над чем мне надо подумать я так и не поянл.
«То есть никакой магии с орешками нет, как говорилось, что и требовалось доказать.»
Магия заключается в том, что толпа может угадать правильный ответ с большой точностью используя в качестве измерительного прибора предположения отдельно взятых людей. Из этого следует много чего. Например, возможность разрешения определённого класса проблем с помощью интернета не прибегая к сложным дорогим экспертизам. Магия в этом.
Теорема Чебышева чертовски проста. Она говорит, что, если каждый третий комментарий человека тупой, то, треть его комментариев будут тупыми при достаточно большом количестве испытаний. Получается, что, измерительный прибор, дающий такую погрешность, что математическое ожидание стремится к идеальной величине, можно считать точным.
Если толпа является таким измерительным прибором это можно назвать магией и с пеной у рта опровергать всё с «научной» точки зрения, а можно сделать весьма любопытный стартап и будет здорово.
Магия заключается в том, что толпа может угадать правильный ответ с большой точностью используя в качестве измерительного прибора предположения отдельно взятых людей. Из этого следует много чего. Например, возможность разрешения определённого класса проблем с помощью интернета не прибегая к сложным дорогим экспертизам. Магия в этом.
Теорема Чебышева чертовски проста. Она говорит, что, если каждый третий комментарий человека тупой, то, треть его комментариев будут тупыми при достаточно большом количестве испытаний. Получается, что, измерительный прибор, дающий такую погрешность, что математическое ожидание стремится к идеальной величине, можно считать точным.
Если толпа является таким измерительным прибором это можно назвать магией и с пеной у рта опровергать всё с «научной» точки зрения, а можно сделать весьма любопытный стартап и будет здорово.
Предлагаю эксперимент, предложите детям в детском саду определить вес быка. Городские дети слабо себе представляют как выглядит бык и что такое килограмм. Поэтому у каждого из них своя функция распределения и результат будет бредовым. Эксперимент на взрослых людях прокатывает, потому что у них есть некий опыт а определении веса предметов.
Второй абзац я не понял, если честно что вы хотели сказать…
Ну сделайте, кто же вам мешает, сервис по определению количества орешков в тарелке. Толку только от него. К сожалению, К счастью, свобода в интернетах предоставляет такую возможность. Я вам показал КАК это работает, а уж использовать, не моё дело.
Второй абзац я не понял, если честно что вы хотели сказать…
Ну сделайте, кто же вам мешает, сервис по определению количества орешков в тарелке. Толку только от него. К сожалению, К счастью, свобода в интернетах предоставляет такую возможность. Я вам показал КАК это работает, а уж использовать, не моё дело.
ура! глас разума начинает перебивать шум толпы (по количеству топиков в данном блоге, но не по комментам).
Интересно, когда же все-таки автор блога, отстаивающий эти выкладки сможет посчитать ошибки этих измерений. (Если он еще не посчитал и не скрывает нечто типа 139.28+_50 для теста habrahabr.ru/blogs/wisdom_of_the_crowds/37013/)
Интересно, когда же все-таки автор блога, отстаивающий эти выкладки сможет посчитать ошибки этих измерений. (Если он еще не посчитал и не скрывает нечто типа 139.28+_50 для теста habrahabr.ru/blogs/wisdom_of_the_crowds/37013/)
Интересно, обладает ли «мудрость толпы» устойчивостью, т.е. будет ли ответ точнее при опросе большего числа людей? (По аналогии с подбрасыванием монетки, когда при увеличении числа испытания частота выпадения одной стороны «стремится» к 1/2).
P.S. Позволю себе указать пару ошибок в статье (извините, очень в глаза бросается):
* «по-обсуждать» -> «пообсуждать» (это приставка)
* «континиумной» -> «континуальной» (и вообще, не континИум, а континУум)
* «мера случайности — распределение выходит за рамки этой заметки»
->
«мера случайности — распределение — выходит за рамки этой заметки»
P.S. Позволю себе указать пару ошибок в статье (извините, очень в глаза бросается):
* «по-обсуждать» -> «пообсуждать» (это приставка)
* «континиумной» -> «континуальной» (и вообще, не континИум, а континУум)
* «мера случайности — распределение выходит за рамки этой заметки»
->
«мера случайности — распределение — выходит за рамки этой заметки»
Да что ж такое-то? Уже два поста с «критикой», а самого главного так и не написали.
1. Систематическая ошибка. Ее невозможно устранить увеличением числа измерений — именно поэтому она и называется систематической. Например, если измерить длину пениса хоть всеми линейками в мире, считая, что они сантиметровые, среднее арифметическое будет отличаться где-то в полтора-два раза от истинного размера. Точно так же людям — не отдельным индивидумам, а целым массам — может быть свойственно всем вместе систематически переоценивать или недооценивать измеряемые на глаз или оцениваемые наобум величины.
2. Распределение ошибки, отличающееся от нормального (как в эксперименте с орешками), требует использование другого среднего. Например, среднего геометрического или, что самое лучшее, медианы — она и аутлайеры убивает. И тут возникает проблема — а какое среднее считать истинным? Чем сильнее разброс, тем острее проблема (помните, мы говорим о толпе, а не о более-менее точном приборе). Различные методы усреднения приведут к самым разным результатам, ограничивающимся только минимумом и максимумом выборки. Разумеется, увеличение выборки вовсе не решает эту проблему, поскольку оно не уменьшает разброс.
1. Систематическая ошибка. Ее невозможно устранить увеличением числа измерений — именно поэтому она и называется систематической. Например, если измерить длину пениса хоть всеми линейками в мире, считая, что они сантиметровые, среднее арифметическое будет отличаться где-то в полтора-два раза от истинного размера. Точно так же людям — не отдельным индивидумам, а целым массам — может быть свойственно всем вместе систематически переоценивать или недооценивать измеряемые на глаз или оцениваемые наобум величины.
2. Распределение ошибки, отличающееся от нормального (как в эксперименте с орешками), требует использование другого среднего. Например, среднего геометрического или, что самое лучшее, медианы — она и аутлайеры убивает. И тут возникает проблема — а какое среднее считать истинным? Чем сильнее разброс, тем острее проблема (помните, мы говорим о толпе, а не о более-менее точном приборе). Различные методы усреднения приведут к самым разным результатам, ограничивающимся только минимумом и максимумом выборки. Разумеется, увеличение выборки вовсе не решает эту проблему, поскольку оно не уменьшает разброс.
Sign up to leave a comment.
Погрешности, толпы, измерения, или где-то я это всё слышал.