Вчера побывал на интересном мероприятии и хотел поделиться впечатлениями. Мероприятие представляло из себя неформальную встречу с открытыми обсуждениями, общением и множеством практической информации.
С некоторой статистикой вы можете ознакомиться в ЖЖ главного организатора Дмитрия Завалишина из Digital Zone.
Вкратце по темам – MongoDB, Clojure, MapReduce и Azure. В ходе первоначального знакомства всех пришедших стало известно, что основная часть людей пришла послушать про мир без SQL в лице MongoDB.
Полная программа выглядела так:
Как было сказано, Entarena Inc. представляет собой амбициозный калифорнийский стартап с частью разработки в России. Прототип, разрабатываемый с осени прошлого года планируется закончить через 2-3 месяца.
Илья объяснил выбор MongoDB и Clojure удобством их использования разработчиками, что позволяет им разрабатывать быстрее и эффективнее. У аудитории возник вопрос по производительности в «боевых» условиях – на миллионах записей и т.п. Точных цифр из тестов на данном этапе еще не появилось, но по «ощущениям от архитектуры» и опыту других проектов прогнозы оптимистичные. Конкретику Илья обещал сообщить после запуска прототипа, что было бы действительно интересно послушать.
Был вопрос – почему Clojure? Что еще смотрели? Смотрели на то, что работает на JVM, для доступности всех Java-библиотек («в которых есть все!»). Запомнилось, что сравнивали его со Scala, который показался слишком сложным.
Дмитрий Мартынов из Microsoft рассказал об облачном хранилище, которое может быть и обычным реляционным и нереляционным NoSQL. Как я понял, реальное удобство этого сервиса в его интеграции с остальными микрософтовскими технологиями – есть удобные интерфейсы в C# и т.п. Но в общем хранилище имеет RESTful интерфейс и можно с ним работать «даже из curl'а».
Наиболее запомнился и понравился рассказ Яндекса от Павла Алёшина и Александра Серкова про победу над терабайтами статистики. Он вызвал просто шквал вопросов практически от всех. Была понятная проблема: данных все больше, а мощности «не резиновые» (за 8 лет объем данных возрос в 2000 раз – с 2Гб до 4Тб в день(!), в то время как производительность оборудования – лишь в 10). Итак, что делать?
Oracle RAC уже не помогал, предел был на горизонте. Решили использовать MapReduce собственной разработки (было доступнее ввиду наличия самого разработчика, чем использование внешнего Hadoop). Самое интересное в том, что это не просто идея, а уже реализованная и протестированная система, которая «реально работает». Максимум, что может «потеряться» из-за сбоя – это несколько последних минут статистики.
В общем, разработчики вздохнули с облегчением и теперь Яндекс чувствует себя «сухо и комфортно». К тому же построенная система линейно масштабируется и ребят не страшат даже петабайты.
Помимо рассказов были и чай, и кофе, и плюшки. В общем, все как полагается для приятного общения.
Резюмируя: интересно, приятно, полезно. Спасибо Дмитрию за организацию!
Next time – через две недели в четверг.
С некоторой статистикой вы можете ознакомиться в ЖЖ главного организатора Дмитрия Завалишина из Digital Zone.
Вкратце по темам – MongoDB, Clojure, MapReduce и Azure. В ходе первоначального знакомства всех пришедших стало известно, что основная часть людей пришла послушать про мир без SQL в лице MongoDB.
Полная программа выглядела так:
- Илья Обшадко, Entarena Inc. «Практическое использование MongoDB в связке с Clojure»
- Дмитрий Мартынов, Microsoft «Microsoft Azure и всё, что вокруг»
- Павел Алёшин, Александр Серков, Яндекс «История смерти и возрождения статистики с уходом от Oracle к MapReduce»
Как было сказано, Entarena Inc. представляет собой амбициозный калифорнийский стартап с частью разработки в России. Прототип, разрабатываемый с осени прошлого года планируется закончить через 2-3 месяца.
Илья объяснил выбор MongoDB и Clojure удобством их использования разработчиками, что позволяет им разрабатывать быстрее и эффективнее. У аудитории возник вопрос по производительности в «боевых» условиях – на миллионах записей и т.п. Точных цифр из тестов на данном этапе еще не появилось, но по «ощущениям от архитектуры» и опыту других проектов прогнозы оптимистичные. Конкретику Илья обещал сообщить после запуска прототипа, что было бы действительно интересно послушать.
Был вопрос – почему Clojure? Что еще смотрели? Смотрели на то, что работает на JVM, для доступности всех Java-библиотек («в которых есть все!»). Запомнилось, что сравнивали его со Scala, который показался слишком сложным.
Дмитрий Мартынов из Microsoft рассказал об облачном хранилище, которое может быть и обычным реляционным и нереляционным NoSQL. Как я понял, реальное удобство этого сервиса в его интеграции с остальными микрософтовскими технологиями – есть удобные интерфейсы в C# и т.п. Но в общем хранилище имеет RESTful интерфейс и можно с ним работать «даже из curl'а».
Наиболее запомнился и понравился рассказ Яндекса от Павла Алёшина и Александра Серкова про победу над терабайтами статистики. Он вызвал просто шквал вопросов практически от всех. Была понятная проблема: данных все больше, а мощности «не резиновые» (за 8 лет объем данных возрос в 2000 раз – с 2Гб до 4Тб в день(!), в то время как производительность оборудования – лишь в 10). Итак, что делать?
Oracle RAC уже не помогал, предел был на горизонте. Решили использовать MapReduce собственной разработки (было доступнее ввиду наличия самого разработчика, чем использование внешнего Hadoop). Самое интересное в том, что это не просто идея, а уже реализованная и протестированная система, которая «реально работает». Максимум, что может «потеряться» из-за сбоя – это несколько последних минут статистики.
В общем, разработчики вздохнули с облегчением и теперь Яндекс чувствует себя «сухо и комфортно». К тому же построенная система линейно масштабируется и ребят не страшат даже петабайты.
Помимо рассказов были и чай, и кофе, и плюшки. В общем, все как полагается для приятного общения.
Резюмируя: интересно, приятно, полезно. Спасибо Дмитрию за организацию!
Next time – через две недели в четверг.
