Как стать автором
Обновить

Комментарии 14

Да что такое, опять дежавю…
Где? Cлова другие, картинки — тоже.)
Уже хочется добавить ваши посты в игнор из-за повторяющейся картинки. И читать не хочется совсем. Напрягите фантазию, включите гугл.
В этих постах картинки не играют основную роль
Это понятно, но первая реакция на вид статьи — вызывает отторжение.
Встречают по одёждке.
У меня по этой причине программируемый пульт не обновляется который год, хотя давно все поменялось. Как вспомню софт, с которым придется работать, чтобы его перешить, так вздрогну и откладываю пульт в ящик. Опенсорсных вариантов для него нет. Форум забит фразами типа — ваш софт гавно, откройте протоколы, мы сами всё напишем. Но Logitech предпочитает держать китайскую армию в сапорте, чтобы разруливать проблемы вручную. Только подумай — вручную каждому второму покупателю сранного пульта, что-нибудь настроить.
Извиняйте уж за реакцию.
Не обнаружил существенных отличий от Шторма.
Всех интересуют подробности…
Это неожиданно. Если Хадуп писали по следам публикаций гуглеров, то тут получилось едва ли не наоборот. Марц начал проект в 2010, кажется.
Эти технологии доступны за пределами Гугла сторонним разработчикам?
Из всех описанных в цикле статей систем доступны (на память) сторонним разработчикам только Dremel и Colossus через PaaS-сервисы Google BigQuery и Google Cloud Storage, соответственно.
В который раз убедился, что Google не делает ничего особенного. Миллион событий в минуту это всего 16K TPS. Как-то это совсем неприлично мало для распределённой системы в 21-м веке. А уж учитывая что в приведённом примере — операция join поисковых запросов с кликами на рекламу — нет ограничения на задержку (latency), становится совсем скучно.
1) В статье сказано «миллионы».
2) Что такое TPS?
3) У кого прилично, много?
4) Кому надо больше? БАК генерирует 20 млн событий в секунду. Если считать, что за день во всем интернете происходит 1 триллион пользовательских событий, или по 300 на пользователя интернета, это 11,5 млн событий в секунду.
1) Было бы сказано точнее, посчитал бы точнее. Из моего опыта, если пишут «миллионы», то их там не больше двух.
2) Transactions per Second
3) Много у кого. У HFT и вообще в трейдинговых системах, у MMORPG, у учёных (тот же БАК)
4) Ключевое у вас «пользовательских». В реальности одно «пользовательское событие» порождает множество транзакций в разных системах.

Но самое главное в моём комментарии было про отсутствие ограничения на задержку (latency). Если допустимая задержка измеряется десятками секунд, то такую систему очень легко проектировать. И скучно.
У HFT тоже речь идет не более чем о 10-20 млн событий в секунду в пиках по всему миру, насколько я представляю. У MMORPG вообще в разы меньше. Ученые круче БАКа вряд ли существуют. Кстати, я тут подумал, зачем БАКу онлайн-обработка? Можно и оффлайном обойтись.

К тому же, у HFT и ученых, думаю, очень специализированные решения, а у поисковиков и рекламных систем более обобщенные. И данных меньше: сравните время — id площадки — символ — цена и время — IP — id-кука — URL — id показанного баннера/список id контекстных объявлений — User Agent — операционная система — т. д.

Вы так говорите, как будто проектируете по такой системе каждый день перед завтраком :)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории