Существуют три вида лжи: ложь, наглая ложь и статистика (источник)

Есть такой замечательный жанр — "вредные советы", в котором детям дают советы, а дети, как известно, всё делают наоборот и получается всё как раз правильно. Может быть и со всем остальным так получится?

Статистика, инфографика, big data, анализ данных и data science — этим сейчас кто только не занят. Все знают как правильно всем этим заниматься, осталось только кому-то написать как НЕ нужно этого делать. В данной статье мы именно этим и займемся.


Hazen Robert "Curve fitting". 1978, Science.

Структура статьи:

1. Введение
2. Предвзятая выборка (Sampling bias)
3. Правильно выбираем среднее (Well-chosen average)
4. И еще 10 неудачных экспериментов, про которые мы не написали
5. Играем со шкалой
6. Выбираем 100%
7. Скрываем нужные числа
8. Визуальная метафора
9. Пример качественной визуализации
10. Заключение и дальнейшее чтение

Во многих научных и не очень научных статьях мы можем видеть достаточно солидный набор каких-либо статистических данных. Наборы таких данных часто сравниваются, для выяснения возможной связи. Ну, к примеру, ученый может связать периодические климатические изменения и изменение популяции устриц в каком-либо регионе. На основе таких наборов данных делаются далеко идущие выводы, а также прогнозируется динамика популяции устриц на ближайшие десятилетия.

Есть и менее явные корреляции, когда сравнивают изменения магнитного поля, например, и количество заболеваний вирусом гриппа. Часто такие данные коррелируют весьма хорошо, и непосвященный человек бывает весьма впечатлен.

Однако, многим известно что играть со «средней температурой по больнице» можно как угодно, используя полученные данные для доказательства какой угодно теории. И сервис Spurious Correlations показывает, что это действительно так. К примеру, вы можете видеть, что графики возраста «Мисс Америка» разных лет удивительным образом коррелируют с графиком количества смертей из-за пара и\или разного рода горячих объектов.