Как стать автором
Обновить
0

Публичные и приватные вычислительные облака — реальный опыт использования

Время на прочтение 3 мин
Количество просмотров 2.4K
Недавно компании Box.net и Zynga устроили презентацию об использовании в своей инфраструктуре публичных вычислительных облаков. Тема заинтересовала меня, особенно, в свете отказа в апреле 2011 года нескольких зон доступности (Availability zones) облака Amazon EC2, сделавшего недоступными несколько крупных интернет ресурсов и игр на Facebook на несколько дней. Презентации были изложены очень кратко, конкретные детали реализации докладчики не раскрыли. Но даже поверхностные данные представляют интерес.


Компания Box.net предоставляет сервис удалённого хранилища бизнес уровня. Для обслуживания 300 миллионов документов и более 100 ТБ дискового пространства используются более 2500 виртуальных машин, более 500 из которых заняты MySQL серверами. Для управления и масштабирования облака Box.net использует программное обеспечение Scalr. Для управления версиями программного обеспечения и конфигурации используются OpsCode и Puppet.

Мониторингом, балансировкой нагрузки и добавлением новых виртуальных машин занимается Scalr. Виртуальные машины распределены по трём публичным облакам — Amazon EC2, RackSpace и OpneStack, что позволяет Box.net пережить отказ любых их двух облаков. Копии виртуальных машин добавляются Scalr автоматически через API каждого облака. Самой сложной задачей масштабирования сайта является масштабирование базы данных. Эта задача так же решается Scalr. В случае выхода из строя одной MySQL реплики в одном из облаков — она просто копируется в это же облако с другой реплики. В случае отказа мастера MySQL приложение переводится в режим только чтения, после чего одна из реплик клонирует себя, после чего объявляет себя мастером. Все реплики переключаются на нового мастера, приложение продолжает работать в привычном режиме.

Докладчик Zynga, CTO компании Аллан Леинванд (Allan Leinwand), начал презентацию с описания основного требования к инфраструктуре компании — молниеносного масштабирования после запуска новой игры. Последним, кто радовался успеху FarmVille в 2009 году, был операционный департамент Zynga. За первые 26 недель после запуска игры количество виртуальных фермеров выросло на миллион, вместо ожидаемых 200 тысяч. В дата центре Zynga просто закончилось место — расти было некуда. В тот момент компания имела наработки, позволившие ей быстро перевести приложение на виртуальные сервера в облаке Amazon EC2. Это и автоматическое масштабирование в Amazon EC2 позволило увеличить количество пользователей до 70 миллионов, сделав FarmVille одной из самых популярных онлайн игр.

Оборотная сторона славы — огромные счета из Amazon EC2. Было решено переводить популярное приложение в собственные дата центры. Но — с учётом полученного опыта — в собственное облако по аналогии с Amazon EC2. Требования к собственному облаку — ZCloud — получились следующие:
ZCould должно работать на x86 архитектуре.
Поддержка не менее 1000 серверов.
Использование общепризнанных технологий виртуализации (Xenserver, KVM).
Использование ТОЛЬКО одной виртуальной машины на физический сервер.
Поддержка CentOS.
Поддержка зон доступности, по аналогии с Amazon Availability Zones.
Интеграция с уже использовавшимся на тот момент RightScale.
Работоспособность облака через сеть с роутингом (IP routed network) — то есть исключить зависимость от традиционных для дата центров inter-rack VLANs.

Все эти требования были реализованы в ZCloud, которое работает в двух дата центрах: одно — на восточном побережье США, второе — на западном. Дата центры слабо связаны — недоступность одного не должна повлиять на доступность и работоспособность приложения. Аллан отказался отвечать на прямой вопрос о количестве серверов в ZCloud, обнародовав лишь факт, что однажды им пришлось ввести 1000 новых серверов в облако за 24 часа.

Как и в случае с Box.net, для управления и масштабирования облака используется стороннее приложение, в данном случае — RightScale. Балансировку и мониторинг Zynga реализовали самостоятельно, по крайней мере, никаких деталей на этот счёт узнать не удалось.

Zynga продолжает всё так же использовать Amazon EC2, запуская новые приложения сначала там, изучая трафик и популярность. Успешные игры, достигающие определённого трафика, переводят большей частью в ZCloud, таким образом уменьшая затраты и увеличивая производительность приложения.

Напоследок, Аллан высказал свои соображения насчёт будущего публичных облаков: им есть куда расти и совершенствоваться. Производительность в публичном облаке, как правило, оставляет желать лучшего. С другой стороны, свой дата центр или облако имеют смысл лишь при достижении определённого уровня трафика, подразумевая капитальные вложения в железо и затраты на разработку собственного облака.

От себя же хочу лишь добавить, что гибридная модель с публичным/собственным облаком мне показалась достаточно интересной. Так же есть ещё вариант находящийся посередине стоимость/масштабируемость/производительность — аренда серверов (dedicated server hosting).
Теги:
Хабы:
+15
Комментарии 11
Комментарии Комментарии 11

Публикации

Информация

Сайт
www.lifestreetmedia.com
Дата регистрации
Дата основания
2005
Численность
51–100 человек
Местоположение
США

Истории