Как-то раз я сидел со своим бывшим коллегой в столовой компании, в которой он работает, и обсуждал сплетни нашей бывшей команды. Совсем незаметно для меня мы переключились на разговор про увлечения. Дело было в Маунтин-Вью. Я давно знал, что он увлекается созданием разных силовых агрегатов в своем гараже. Вот чего он не знал, что я несколько лет учился на физика, а не программиста. Любовь к прикладной физике во мне с тех пор не угасает.

— «Здесь неподалеку, в Стенфорде, есть линейный ускоритель Министерства энергетики США, оператором которого является Стэнфордский университет. Они проводят экскурсии для всех желающих. Моя жена никогда не согласится поехать со мной. Поехали вместе?» — сказал он.
— «Воу! Это же круто! Конечно поехали! Моя жена тоже не согласится.» — не долго думая ответил я.

By Peter Kaminski — United States Geological Survey, Public Domain, Link

На нашей планете 4.3 миллиарда пользователей интернета. Каждую минуту они добавляют 46,740 фото в Instagram, пишут 456,000 твитов, 120 профессионалов регистрируются в LinkedIn и происходит 990,900 свайпов в Tinder. А у Facebook 2 миллиарда пользователей — больше четверти населения планеты! [1]

Данные везде и их количество только возрастает. Как пишут в своём отчёте McKinsey & Company “Data Science — это простая часть. Получить правильные данные и данные, пригодные для анализа — куда более сложна задача” [2]. Визуализация данных упрощает восприятие, делает данные более доступными и понятными, помогает понять, какую часть лучше всего использовать. А ещё за это хорошо платят. Давайте проследим как в разные эпохи люди по разному решали проблему визуализации, посмотрим на самые древние и самые известные примеры.

Привет, Хабр! Мы, Wrike, ежедневно сталкиваемся с потоком данных от сотен тысяч пользователей. Все эти сведения необходимо сохранять, обрабатывать и извлекать из них ценность. Справиться с этим колоссальным объёмом данных нам помогает Apache Spark.

Мы не будем делать введение в Spark или описывать его положительные и отрицательные стороны. Об этом вы можете почитать здесь, здесь или в официальной документации. В данной статье мы делаем упор на библиотеку Spark SQL и её практическое применение для анализа больших данных.