Pull to refresh

И снова Vertica на HighLoad++

«LifeStreet Media» corporate blogBig Data
Как и в прошлом году, выступил на HighLoad++. На этот раз мой доклад шел в секции «Базы данных», я рассказывал о том, какие системы хранения рационально использовать для задач многомерного анализа больших данных. Слайдов на сайте организаторов пока нет, как только появятся — я добавлю ссылку. Вкратце, презентация была построена так:
  • Постановка задачи, то есть что такое многомерный анализ больших данных
  • Функциональные требования, которые следуют из постановки задачи
  • Технические сложности
  • Как их можно решать, при помощи каких архитектурных решений и систем

Вертика была представлена как один из вариантов, но про нее я рассказывал подробнее всего, показывая, как и за счет каких архитектурных решений она хорошо подходит под аналитические задачи и обгоняет всех конкурентов. На мой взгляд, технические решения Вертики — это некоторый эталон, к которому можно стремиться. Другие рассмотренные варианты были: любимый всеми MySQL c TokuDB + шардинг, ParAccel (он же Amazon Redshift) и Hadoop Stinger, который мы пока не пробовали, но то, что они уже сделали или собираются, выглядит очень многообещающе. Ну и еще ряд других я только упомянул и привел результаты нашего сравнительного теста нескольких разных систем в этом году. Да, в этом году мы решили посмотреть по сторонам, не появилось ли что-то лучше или хотя бы сравнимое с Вертикой по производительности, но дешевле (в плане стоимости лицензии + железа + администрирования и разработки). Пока не нашли. Результаты этих изысканий частично вошли в доклад.

Как мне кажется, судя по реакции зала, выступление удалось. По сравнению с предыдущим годом было гораздо больше интересных вопросов от слушателей, причем были хорошие вопросы и по содержанию доклада и вполне практические вопросы от тех, кто тоже использует Вертику или серьезно об этом думает. На все я постарался ответить, так как мой доклад был последним, никто не подпирал сзади и можно было спокойно поговорить. Если у кого остались вопросы или появились новые — спрашивайте.

Для тех, кто не очень знает, что это за зверь такой — Вертика — на Хабре есть две достаточно подробные статьи:
1. Моя прошлогодняя статья: habrahabr.ru/company/lifestreet/blog/147254
2. И подробная статья этого года архитектора из Йоты: habrahabr.ru/post/190740

P.S. Мы в нашей компании успешно используем Вертику уже более трех лет.
Tags:Verticahighload++
Hubs: «LifeStreet Media» corporate blog Big Data
Total votes 13: ↑12 and ↓1 +11
Views5.3K

Information

Founded
2005
Location
США
Website
www.lifestreetmedia.com
Employees
51–100 employees
Registered