Comments 37
Интересно какие бы результаты были бы, если проводить такое исследование в России
Ну, на самом деле, американское исследование проводилось же тоже не на улицах, а на основе фоток в лаборатории. Не уверена, что это прям супер-релевантно, но видимо ученые решили не связываться, даже в америке)
В 90-е годы журнал Столица проводил такой эксперимент в Москве, в рамках которого корреспонденты ходили в метро с надписями типа «Пропил деньги на стиральную машину, жена убъет», а Иван Охлобыстин сидел на снегу без одежды под видом раскаивающегося киллера) Ему подали больше всех, кстати.image
А ещё Охлобыстин, в рамках того же эксперимента, стоял в метро в дорогом костюме, с табличкой «Никогда не работал и работать не буду. Подайте на красивую жизнь».
Подавали. Причем крупными купюрами.
UFO landed and left these words here
Хотя скрипка дорогая, но более 60 баксов в час — это очень хорошая сумма даже по меркам США.
UFO landed and left these words here
Ну понятно, что на концерте известное имя дает много денег.
Но в целом в метро какому-то ноунейму дали довольно хорошую сумму
UFO landed and left these words here
Вроде же девушка была с табличкой «молодая, красивая, два высших, работать не хочу», разве нет?
О, текст нашел, не девушка, девушке давали на увеличение груди и «У меня была мнемозия, потом пропал ребенок, отец его уехал в Гвадалахару, девочку подменили на мальчика, у нее тоже пропала память. Дайте на все это денег».
Подход к тестам весьма сомнительный:
— участники знали что они принимают участие в исследовании, т.е. заранее biased мышление
— им показывали фото бездомного, вместо самого бездомного. и порой, я так понимаю, и фото даже не было
— нет никакого учета локации (внутри города, типа у метро/жд, или около больницы, или при входе в продуктовый), что могло бы влиять на общее начальное настроение и восприятие контекста респондентами
— нет учета времени года и погодных условий (что также может влиять на уровень сострадания)
— а еще больше всего удивило «Респонденты должны были представить, что у них есть 60 долларов», т.е. по факту они даже не раздавали свои деньги, а значит отношение к этим виртуальным деньгам заранее искажено. все равно что играть в покер «на интерес», механика совсем меняется

Интересно, таким образом было проведено исследование т.к. мешало местное законодательство, или еще какие причины? Гипотетически они ведь могли догонять людей и возвращать им деньги, поясняя что это эксперимент… тогда чуть меньше проблем с законом должно быть

В общем, тема занятная и интересная, но условия проведения оставляют сильно много вопросов чтобы можно было как-то рассматривать результаты, ИМХО
Чтобы провести эксперимент в реальности, нужно нанять N актеров и одинаково их загримировать (чтобы не влияла внешность), найти места, одинаковые по проходимости и составу участников (ведь актеры должны стоять одновременно, чтобы не влиял сезон и день недели). Кажется, это было бы оч дорого, а давать на такое гранты никому не интересно.

Ну а может ученые подозревали, что их актеров потом в темном переулке встретят реальные бездомные, чьи точки они заняли.
Зачем же актеров и кучу денег? Можно было посулить $50 десятку-двум попрошаек, и провести эксперименты на них. Т.е. участниками эксперимента были бы попрошайки, которые ничего не теряют а лишь меняют таблички как попросят и делятся данными о заработке.
Думаю заинтересованные нашлись бы, все таки это люди которые как раз в деньгах и нуждаются

Актеры в данном случае только дополнительно бы создали помехи в точности исследования

Для меня просто вопрос в том, для чего проводить эксперимент с таким числом неточностей и ошибок. Ведь по этому исследованию потом могут делать какие-то выводы… которых, ИМХО, делать не стоит

Единственно чем могу оправдать — они пытались таким образом получить грант в несколько тысяч баксов на реальное исследование с участием бездомных… но тогда не ясно зачем это публиковать
Но реальному бомжу ничего не мешает с вероятностью 50% на 50% сказать любое рандомное число, а не реальный доход. Припрятать часть денег. Крыша отберет. Ну и я не уверена, что это пройдет этическую комиссию.
На такие случаи устанавливают контрольные группы и наблюдение за всеми или частью испытуемых. Тем более что если доход у бездомного не отбирать (что, как бы, и не имеет смысла) — то зачем ему, собственно, его скрывать? От него лишь требуется сказать сумму выручки за контрольный период и получить за это еще и сверху денежку

Статисты собирают информацию об объеме сбора «попрошайками» в разных частях мира, т.е. это не проблема как таковая.
Значит надо платить наблюдателям. Так же бездомный, с которым не заключишь договор, может в любой момент забить, выйти из исследования, что-то поменять, начать разговаривать, вести себя в разные дни по-разному, все это собьет чистоту эксперимента.

Короче, мне кажется, что для публикации в рецензируемом журнале подошли бы только актеры (по-любому, недешевые). А с реальными бездомными договориться было бы интересно, но результат только в бложике и публиковать. Я бы, если бы не боялась, попробовала бы.
В данном исследовании приняли участие тысячи людей. Им платили? Если да — то вот вам и деньги. Если нет — то все равно те кто проводили исследование могли и быть наблюдателями

Если бездомный выходит из исследования и данных по нему недостаточно — его данные исключают из результатов.

Про остальные факторы «чистоты эксперимента» — согласен, но… сравнительно с тем что они провели на самом деле это было бы в десятки раз более релевантным и точным исследованием.

Кстати, насчет не дешевости актеров — тоже спорный вопрос. На такие роли обычно не нанимают А-class звезд Голливуда, а берут в соседнем театре или школе актерского мастерства студентов которые хотят попрактиковаться, порой даже за бесплатно или за достаточно скромную плату
Чисто теоретически: Photoshop + АБ-тест, в виде какого-то баннера на сайте – в разы проще организовать.

Вы не поверите, но таких исследований очень и очень много. Я сам сейчас phd в Европе делаю, в соседнем уни делают исследования по usability. Часто это просто дичайший шлак — наберем студентов в выборку, зададим вопросов, никак не оглядываясь на bias, потом как-то проанализируем и опубликуемся! Хорошо ещё если в анализе будет статистика, иногда просто скажут "Респондент P8 отметил, что табличка показалась ему изогнутой, что говорит о том, что....". Ох, как же мне было сложно переносить это в первые месяцы.

Да, в HCI почти все публикации такие, тут выборка хоть 1000+, во многих по 20 человек. Думаю, дело в том, что хорошие (и богатые) исследователи уходят в подвалы гугла или амазона и результаты, естественно, не публикуют.
Да чего же не поверю, еще и как охотно поверю. Даже ни разу не удивлюсь.
ИМХО, это вполне обычная проблема для большинства сфер в текущем времени. Тоже самое в разработке. Вопрос в том что является первоцелью исследований. Если первоцель — получить ответ на интересующий исследование вопрос — тогда можно ожидать вразумительных результатов.
Но чаще всего первоцель либо защитить докторскую, либо доказать определенный результат (как происходит в большинстве исследований лоббированных крупными компаниями)

В разработке ПО сейчас весьма похожая штука:
большинству ранних стартапов плевать на качество/скейлинг/производительность, им бы быстрее да дешевле выпустить PoC/MVP/demo… отчего у некоторых программистов подгорает
а в больших компаниях царит внутренняя политическая борьба за бонусы, повышения и разного рода похвалы для лидов и менеджеров, отчего, опять же, важнее запустить новый продукт (даже если он дико бажный и мало кому нужен), а не поддерживать и улучшать старый. отчего уже пригорает у другой группы девелоперов)))
А откуда возникло предположение, что просящий подаяние обязательно бездомный?
Почему бы не исследовать было настоящих попрошаек, обычным А\В тестированием? На том же месте, одну неделю с одним плакатом, другую с другим, третью без плаката. А так это исследование не о табличках, и их влиянии на уровень сбора подаяния, а об информированности и стереотипах молодежи в отношении бездомных.
Ну, кажется, что все слова, кроме бездомного, носят отрицательную коннотацию. Возможно, в английском тоже, поэтому они так и пишут, просто вежливее звучит.

Наверное не так легко найти ответственного попрошайку, который к тому же готов честно предоставить всю инфу о своих доходах непонятному чуваку в очёчках и свитере. Ну различие даты слишком серьезный рандомизирующий фактор. Может в одну неделю дождь и ему поэтому меньше подали? Может там праздник религиозный, поэтому подаяния увеличились?
Наверное не так легко найти ответственного попрошайку, который к тому же готов честно предоставить всю инфу о своих доходах непонятному чуваку в очёчках и свитере.

Вы не представляете на что идут люди ради исследований. Переодеться, чтобы слиться со средой — самое меньшее и самое очевидное.


Может в одну неделю дождь и ему поэтому меньше подали? Может там праздник религиозный, поэтому подаяния увеличились?

Именно поэтому в исследованиях берётся много людей и много времени. И исследования делаются не поэтапно "сегодня мы всем раздаём шутки, а завтра реальные вещи", а максимально смешано, чтобы получить меньшее влияние внешних факторов на результат именно сравниваемых структур. Потому что влияние дождя тогда отразится на всех примерно одинаково и это не надо будет обдумывать. Просто дать приписку "на этих графиках видно падение во всех проверяемых — пошёл дождь на 3 часа".

Да, но в изначальном комментарии автор предлагал «на том же месте, одну неделю с одним плакатом, другую с другим, третью без плаката» и мы исходили из того, что исследователей полтора калеки, и мы не можем расставить их одновременно по всему городу
Спасибо за подробное описание методики. Очень хороший пример как НЕ НАДО проводить такие исследования. Авторы допустили, кажется, все мыслимые ошибки, чтобы получить идеально нерелевантный результат.
Беда в том, что, уверен, на него начнут ссылаться как на действительно исследование. :-/
Ну, не оч, да. Но в условиях дефицита денег на реальных актеров, хоть что-то. Не думаю, что реально получить грант на такую тему и сделать все по уму.

На такое не надо получать гранты. Надо просто взять и пойти на улицу. Опрашивать людей, собрать данные хотя бы по 1к человек. Сделать предварительные выводы и попросить деньги НА РАЗВИТИЕ темы. То что сделали эти ребята — лажа полная. Это не социологическое исследование по всем понятиям. Это какая-то мысль в вакууме никак не верифицируемая реальностью. И если это исследование кто-то допусти в настоящий научный журнал, то видимо у журнала проблемы с контентом...

бездомные могут вернуться к нормальной жизни, им только нужно немного помочь

Вот это, как мне кажется, гораздо важнее всех подобных исследований.
Понятно, что есть мизерный процент тех, кому нравится лежать пьяным в куче мочи в подземном переходе. Но большинство скатывается до такого состояния совершенно не по своему желанию. А общество не готово решать эту проблему комплексно — проще кинуть горсть мелочи, чем понять и устранить причину нищенства.
Да, Ночлежка очень много про это пишет, что прямое пожертвование часто не может оказать реальной помощи. Вы можете дать бабушке тысячу на продукты, но вы не пойдете с ней в паспортный стол, не найдете прачечную и теплый дом, просто потому что даже с вашей тысячей её не пустят в хостел.
Респонденты должны были представить, что у них есть 60 долларов, которые можно раздать. Можно было раздать все деньги или часть — в любой пропорции между выдуманными бездомными.

Я может невнимательно читаю, но не нашел чтобы в повторном эксперименте это учли. Вот эти «выдуманные бездомные» и «воображаемые деньги» выглядит как задачка про «есть два стула, на одном пики точеные, на другом...». Ну вы поняли. И надо же:

Тем удивительнее, что большинство бездомных используют таблички. Исследователи предполагают, что они в том числе служат для привлечения внимания

Предполагают. Ну так че ж не проверили на практике, чуть ли не саму суть, пофиг что там о тебе думают, увеличивается ли доход? А то получается «знаешь, я бы тебе одолжил денег, да у самого их нет» — это позитивный результат с точки зрения исследования, он же готов потратить вымышленные деньги. Поэтому лично мое — мнение релевантность этого исследования ровно такая же, как и потенциальные ответы этих же респондентов на вопрос «Вилкой в глаз или в...» в исследовании о гомосексуальных наклонностях.

Вместо того, чтобы взять табличку и посидеть на улице пару часов, студенты поговорили с другими студентами, пообсуждали картинки.

Это не исследование, а профанация какая-то. После слов "представить, что у них есть $60" я перестал воспринимать это как вообще исследование, которое можно воспринимать серьёзно. Исследование не чистое, с кучей ошибок на этапе постановки задачи. Кажется, что студням просто надо было сделать проект и написать его в журнальчик чтобы было. Ну как и у нас часто бывает.


В общем никаких выводов по исследованию "мечиганских студентов" делать не советую)

Only those users with full accounts are able to leave comments. Log in, please.