Как стать автором
Обновить

Комментарии 61

Спасибо за эксперимент.
Если даже на такой простой задаче метод дал сбой, значит это ненаучный метод.
Ошибка слишком большая.
Да ну хватит вам! Просто чувак не правильно сфотографированный попался. =)
Та лаадно, неправильно =) Это еще хороший случай. Вопрос вполне понятный, участники эксперимента вполне образованые, рабочие условия вполне приемлемые, подсчет велся вполне честно.

А вот в жизни могут подсовывать какие угодно специально искаженные условия, а потом будут не понимать, откуда ошибка 100% (или делать это специально).

Ведь этот метод и не предполагается использовать в простых случаях. В простых случаях достаточно одного неплохого специалиста с блокнотом и калькулятором. А в сложных случаях будет такое, что ого-го…
Спасибо, хорошее и содержательное подведение итога.

Думаю, при всей ненадежности метода нахождения средней оценки т.н. толпы применять его можно как добавочное средство. При этом это должно неплохо работать или с чем-то очень абстрактным (широкий разброс) или наоборот, содержательно простым, вроде орешков. Надо бы подумать ещё.

По-моему, второй эксперимент по сути не сильно отличается от первого. И если с орешками хабралюди справились, то тут пошла в ход психология восприятия. Когда я сидел и смотрел на фотографию, в голове крутилась мысль о том, что глаза мои хотят меня обмануть. Ракурс был выбран не самый удобный для оценки, он явно создает ощущение меньшего веса (в смысле массы) человека. Наверняка, замечали, что если девушку сфотографировать снизу, то ноги будут казаться длиннее, а фигура чуть стройнее…
В том-то и дело, что заранее не знаешь, с какими погрешностями мы воспринимаем мир. Допустим, известно, что человек неплохо воспринимает расстояния до 10 метров из удобной точки обзора, хуже воспринимает площади, еще хуже — объемы, и очень хорошо считает орешки в вазе. А если задать вопрос «как лучше сориентировать солнечную батарею? (под каким углом)», то будет совершенно непонятно, в какую сторону накапливались погрешности и какого они были размера. Увы.

Попросят оценить водоизмещение крейсера — сработает другой аспект психологии восприятия: реальное будет доминировать, над абстрактным и люди (возможно) более-менее назовут объем надводной части, вместо объема погруженной.
Как же я устал повторять, что никто в книге не говорил о «непогрешимости и всесилии» метода :) Зачем вы вбили себе это в голову? :) Прежде чем делать какие-то суждения, прочитайте хотябы первую главу, или посмотрите ссылки по теме.

Что касается вашего эксперимента, он был поставлен еще грубее чем мой. Во-первых вас плохо видно на фоторафии ;) а во-вторых, насколько я понял, многие просто не поняли вашего вопроса.
Ладно-ладно, не надо оправдывать метод.
Мудрость толпы решила, что он не работает :)
Меня больше расстраивает не то, что она в него не поверила, а то, что она его даже не поняла :)
Ну, в «не поняла» всегда 2 стороны — рассказчик и слушатель.
Если слушатель не понял, то это не обязательно значит, что он глуп. Скорее всего рассказчик не смог правильно донести свою мысль.
Значит надо бы еще одну статью нулевого уровня написать и объяснить более подробно и просто то, в чем все ошибаются.
Скорее всего вы правы. Почитайте предыдущий пост в этом блоге, я там привел примеры использования.
Да, читал. Но, имхо, эти примеры — они же и опровержения. Ибо там много костылей, чтобы система работала (типа запоминания предыдущих угадываний, веса оценок и т.п.).
С костылями метод конечно будет работать, но уже превращается по сути в вариацию экспертной системы.
Автору топика респект, а для сомневающихся у меня готова статья с доказательствами ;) Как только выберусь из минуса запостю. Вот тогда посмотрим, что вы скажете =)
Падажжите, подажжите.
Хороший метод измерений должен быть как минимум, или точным, или дешевым, или быстрым. Если о методе издана целая книга, и он, оказывается, много где применяется, он должен быть очччень хорошим. Но где ж он хороший, когда он неточный, медленный и довольно затратный?..

> Во-первых вас плохо видно на фоторафии ;)
Мне нужно было на фото стоять на весах с транспарантом «средняя плотность человека равна 1»? =)

> многие просто не поняли вашего вопроса.
Вы меня убили этим предположением. Теперь я совсем не смогу спать, строя догадки, что за числа писали люди в комментариях :-/
После первого эксперимента, хотя он и был удачным, я не делал никаких выводов, но написал что результаты интересные и есть смысл исследовать вопрос дальше.
Вы же, проведя один единственный грубый эксперимент, на который получили только 97 ответов (на первый было 257), УЖЕ делаете суждения о том, что метод плохой :)

И еще раз вам повторю, никто не говорил, что толпа может генерировать знания которых нет у ее участников. Толпа с улицы не сможет поставить диагноз больному, лучше врача или решить дифференциальное уравнение лучше математика. Этого никто не утверждал, а вы с этим упорно боретесь :) Боретесь потому, что не поняли сути метода и того где он может применяться. Согласен с тем, что в этом, конечно, моя вина, но доступнее чем Шуровьески я этого объяснить не смогу, поэтому и приводил ссылки на книги и другие источники.
Вас не затруднит прислать мне какой-нибудь удобный для работы файл с данными по первому эксперименту? (документ эксел, базу данных, или как вы результаты обрабатывали?)
О способе доставки договоримся =)
К сожалению я не сохранил их. Ответы возьмите из поста, обрабатывались первые 257.
Предлагаю в следующий посчитать кол-во волос на корове =)
Эм… А как проверять-то будем? o_O
Отлично, даёшь просвещение хабрапользователей! Спасибо за столь обстоятельное изложение.
НЛО прилетело и опубликовало эту надпись здесь
Авторы первого и второго эксперимента — разные.
Все равно молодцы=)))
я-то от теории не отказывался :)
А я ее и не поддерживал =)
А вы не забыли отбросить минимальный и максимальный результат?
И не только их, но и другие результаты, дававшие слишком большую погрешность.
С точки зрения «защиты от флешмоба» это конечно правильно, но вы могли это сделать (отбросить значения) только потому, что знали ответ на вопрос. В условиях неопределенности, когда ответ неизвестен, это сделать невозможно. Представим себе такую ситуацию, что бы получилось в результате эксперимента?
Может сможете выложить «сырой» ряд измерений?
Вот. Я как раз писал об этой проблеме. В ситуации с реальными измерениями будет непонятно, какие результаты отбрасывать, а какие нет. Посчитаю среднее без отброса вечером. БД осталась дома.
удивительно — вы сначала приводите столько выдержек из теории для ликбеза, пишете, что грубые ошибки ВЫЯВЛЯЮТИ ОТБРАСЫВАЮТ, а потом «на глаз» отбрасываете результаты и говорите «непонятно, какие результаты отбрасывать, а какие нет».

Есть же методы и критерии для этого. Видя начало топика я надеялся в конце увидеть четкий результат с указанием всех параметров статобработки, но… увидел почти то же самое, что и в глупостях с орешками, лишь с добавкой относительной погрешности.
А ничего удивительного нет. Когда гистограмма кластеризации результатов измерений представляет собой крутую «горку» с несколькими тонкими «выбросами» по сторонам (а именно такой вид она обычно имеет при традиционных «точных» измерениях), то обработку результатов производят именно так, как я сказал. Когда же гистограмма кластеризации представляет собой «расческу», ни логика, ни математика не позволят вам обнаружить и отбросить ошибочные значения в достаточном объеме, чтобы получить погрешность результата, делающего его годным к использованию. Тут получается ситуация «мусор на входе — мусор на выходе».

Я тоже сначала собирался привести все результаты статобработки, но когда я увидел относительную погрешность, которая более характерна не измерениям, а «оценкам на глазок», я понял, что это делать бессмысленно, т.к. уже метод показывает себя не очень хорошо.

Первый и второй разделы показаны именно для того, чтобы показать разницу между научными измерениями, и всеми остальными, объяснить, что усреднение само по себе — это не процедура получения истинного результата из кучи ошибочных. А чтобы усреднение стало этой процедурой, на эту кучу налагается куча условий (каламбур...) и при усреднении нужно принимать во внимание кучу моментов.
:) именно!
я и надеялся, увидеть «мусор на входе — мусор на выходе», чтобы верующим в мудрость стада было нагляднее видно свое заблуждение. (Например, вид этой расчески с отмеченным диапазоном среднего+-погрешность). От патриота naz2 в случае с орешками этого так и не добились, т.к. либо он не знает простейших методов обработки результатов (кроме изученного в начальных классах ср.арифм.), либо просто стесняется показать этот «мусор».

В любом случае, спасибо и за такую подачу «разумности».
Вот. Я сделал диаграмму распределения результатов. Вам это напоминает разброс результатов вокруг некоторого значения? Мне нет.



Уже по этой картинке понятно, что какие группы ответов не отбрасывай, все равно в дураках останешься, потому что это не набор измерений, а мусор =)
Аналогичную картинку я построю для орешков (самому интересно, как там), если уважаемый naz2 предоставит мне массив предложенных вариантов в удобном виде (чтобы я не перенабирал).
Я ответил вам выше.
Объясните дураку, что вам скажет эта диаграмма? Что средний ответ каждого члена ошибочен? Так ведь об этом речь и шла. Сверять надо средний ответ всей толпы.
Во-первых, он покажет очень опасную тенденцию, что люди, не знакомые с определенными областями науки, добросовестно (надеюсь) заблуждаются, пытаясь в эту науку делать вклад, не разобравшись с тем, что науке уже извстно.

Эта картинка говорит о том, что погрешности измерений не подчиняются закону нормального распределения. Следовательно, они могут быть систематическими и однонаправленными. А это значит, что усреднение результата не даст нам истинного значения.
:) спасибо!!! красота… вот и вся мудрость стада
О чем говорит вам эта картинка? О том, что если брать мнение каждого члена в отдельности, то оно очень далеко от истины? Так ведь об этом речь и шла, что усредненный ответ, намного ближе к истине, чем ответ каждого отдельного члена толпы.
Ответите на вопрос, чем отличаются 4; среднее(3 и 5) и среднее (1 и 7)?
Для математики — это одно и то же. А вот для теории измерений, это разные вещи.

Давайте разберемся, как оцениваются погрешности.
Если погрешности размещаются по нормальному закону распределения (оно же Гауссово распределение), гистограмма результатов будет представлять собой «горку», вершина которой будет указывать на истинное значение (но это несущественно).
1.Считается среднее значение.
2.Считаются модули отклонений каждого результата от среднего (неужели вы этого не делали в школе на лабораторных по физике, или в ВУЗе?)
3.Берется среднее отклонение (не забывайте, что мы берем модули отклонений, поэтому отклонения с разными знаками друг друга не компенсируют).
4.Истинным значением является Среднее+-среднее отклонение. Поняли? мы не можем назвать истинное значение, мы можем только назвать ИНТЕРВАЛ в котором оно лежит.
5.Считается относительная погрешность как отношение среднего к среднему отклонению.
А теперь ВНИМАНИЕ. Справедливость этого метода следует из постулата о нормальном распределении погрешностей. Если распределение погрешностей другое, то доверять этим методам НЕЛЬЗЯ вообще. Т.е. можно, но они сами внесут дополнительную погрешность =)
А исследовать закон образования погрешностей в случае с человеками НЕВОЗМОЖНО, это ж психика, восприятие, подсознание.
То, что усредненный вариант «намного ближе» к истине — это наплевать и забыть, т.к. мы не знаем численно НА СКОЛЬКО он ближе.

Кроме того, я вам показал в своем эксперименте, что были люди, давшие результат более близкий к истинному, чем получился усредненный. Так что и это ваше утверждение проваливается.
К сожалению, не владею мат. аппаратом в должной мере, для дальнейшей дискуссии. Возможно, позже, возьму реванш ;) Мне интересна эта тема и было интересно поставить эксперимент, я ее продолжу исследовать и дальше. Я бы хотел только попросить, чтобы вы резюмировали свою точку зрения. Правильно ли я понял, вы считаете, что метод может работать только в очень простых задачах, а в сложных он будет давать слишком случайный результат, который редко будет приближен к истинному? И в целом, подобные методы не имеют никакого прикладного значения?
вот, хорошо, что вы наконец-то признались в незнании азов того, о чем спорили (менее четко выразили это и в комменте ранее :)

Можно было и не сливать мне карму :) Хотя этим своим действием вы вскрыли еще одну противную особенность суперхабра — показывает что куча голосов еще осталась и кнопки для голосования нормально показывает, а при нажатии выдает «мало кармы».
Во-первых я ни о чем не спорил, а лишь просил не судить так быстро о методе, не разобравшись в его сути. Все что я говорил — это то что книга и идеи заслуживают внимание, привел серьезные примеры использования.

Во-вторых, минуснул я не за то, что не согласен с вашим мнением, а за ваш тон, который вызывает неприязнь уже не в первом комментарии. То что вы называете людей, принявших участие в экспериментах, стадом, не позволяет ожидать какой-либо другой реакции со стороны членов этого «стада».
ладно, в заключение флуда по поводу стада пару ссылок приведу :)
  • из любимой большинством википедии ru.wikipedia.org/wiki/Стадо
    и какая-то новость inauka.ru/news/article80803? subhtml

    а реакцию, согласен — другую и не ждал, автора данного поста после вывешивания эксперимента тоже вроде бы заминусовали…
Я еще раз хочу подчеркнуть, что не утверждалось, что большинство людей знает ответ близкий к истине.
Утверждалось, что среднее арифметическое всех ответов будет ближе к истине, чем мнение каждого отдельно взятого ответчика.
Поэтому в этих диаграммах нет смысла, вы спорите не с той идеей :)
После обработки фраза «Среднее арифметическео всех ответов близка к истине» должна обрезаться до «среднее арифметическое всех ответов». Т.е. среднее арифметическое — это просто среднее арифметическое.
Да, в отдельных очень простых случаях (или в случаях божественного вмешательства) это среднее может оказаться близким к истине, но в общем случае, оно останется просто средним НЕСЛУЧАЙНЫХ ошибочных ответов.
Еще раз. «Раздатость» гистограммы кластеризации в ширину, означает как минимум большую относительную погрешность.

Если у нас ответы 3 и 5 — средняя погрешность равна 1,
А если у нас ответы 1 и 7 — средняя погрешность равна 3. И практическая ценность такого ответа намного ниже, т.к. относительная погрешность составляет 75% и его НЕЛЬЗЯ использовать в расчетах, требующих погрешность менее 75%. (это я упрощенно)
Я мог отбросить значения еще и потому, что они более чем на 100% отличаются от среднего результата.
можно представить «толпу» как интеллектуальный «агентство» (т.е. множество интеллектуальных агентов, см. «AIMA: современный подход») и учитывать сложность задачи и соответсвенно сложности алгоритма ее решения, в т.ч. асимптотическую.
а кому нужно издавать книжки о непогрешимости толпы (aka демократии)? это просто. тем, кому выгодно. т.е. тем кто создают и контролируют мнение толпы с помощью СМИ и проводят таким образом свои управленческие решения. :)
Предалагаю провести еще один эксперимент, где отвечающие не будут видеть ответы друг друга. То есть например ответы нужно высылать на email
Теоретически можно, но как защититься от накруток? Наверняка найдутся оЧумелые ручки, которые зафлудят ящик мусором или повторами результатов.

Мне еще раз сфотографироваться? =))
«Это усредненное мнение общества – ненадежная и даже опасная вещь»

Так же советую почитать статью Пьера Бурдьё «Общественное мнение не существует»
www.migdal.ru/psychology/5529/
я правильно понял что вам всё равно какие силы отвечающий привлекает для решения вопроса — рассчётливый ум или интуицию?
Наиболее интересно эту тему раскрывать в плоскости поведения рынков.
Заодно пропадут вопросы «кому это нужно?» :)
Зато проверили свою личную интуицию :) У меня, например, результат — 65 литров.
В следующий раз по таким вопросам надо обращаться лично к Вам =) У вас точность хорошая )
Раз уж тут пошёл такой ликбез, то выскажусь и я. С автором статьи не согласен по одной простой причине.
Есть простая формула, которая позволяет определить погрешность по порядку величины. Выглядит она так:
e ~ 1/sqrt(N), где e — относительная погрешность, sqrt() — корень квадратный, N — количество измерений
В эксперименте с определением массы человека, если я правильно понял, было взято около 100 человек. Т.е. погрешность по порядку величины должна составлять около 10%. Что в принципе совпадает с результатом в статье (как я понял 17%, т.е. порядок величины правильный).
Отсюда следует простой вывод, что взяв не 100, а 1.000 человек, можно существенно улучшить результат.
Эта формула не работает на всех наборах данных (надеюсь, вы это понимаете).
она годится только для нормального закона распределения погрешностей (который обычно действует при физических измерениях). Но поскольку тут измерения не физические, а психологические, он здесь не действует. Чуть выше в комментариях я привел иллюстрацию (она сразу бросается в глаза), она все объясняет.
Хорошо. Тогда можно задать такой вопрос. Как меняется точность предсказания в зависимости от количества опрашиваемых в нашем случае? Т.е. можно ли существенно повысить точность за счёт количества опрашиваемых?
Нельзя. Новые опрашиваемые продолжают вносить разбегающиеся во все стороны погрешности.
Как меняется точность предсказания в нашем случае… ну я конечно могу написать программку, которая по многу раз выберет разное число ответов из приведенного и выдаст массив, по которому можно будет построить график, но, если честно, мне лень… если хотите, я вам выдам mdb-файл с исходными данными по первому и второму эксперименту и результатами, и вы сами сможете провести это исследование.
Это усредненное мнение общества уже сидит в кремле и правит.
Не вполне. Сперва оно засело в кремль, а потом обществу было пояснено, что это и есть его усреднённое мнение )
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Изменить настройки темы

Истории