Новая архитектура хранения данных в облаке Clodo разработана так, чтобы обеспечить клиентам максимальную скорость чтения и записи данных и увеличить надежность работы СХД. Ниже – краткое описание того, как и, главное, почему она так устроена.
Система хранения, безусловно, является одним из самых важных элементов облака. Она обязана быть независимой от вычислительных узлов. Кроме того, она должна быть быстрой и надежной. Наконец, она должна быть отказоустойчивой. Предыдущая версия нашей системы хранения, использовавшая файловую систему IBM GPFS, оказалась неоптимальным решением для использования в облаке с точки зрения скорости. Кроме того, GPFS была единой точкой отказа, неработоспособность которой могла в худшем случае привести к неработоспособности облака в целом. От этой порочной практики мы также ушли.
Базовым понятием новой СХД Clodo является «зона». Все облако мы разделили на «зоны», абсолютно независимые друг от друга. Зоны сравнительно невелики и содержат до 10 XEN-узлов (вычислительных серверов с ресурсами, которые используют виртуальные машины пользователей). Каждая зона имеет независимую от других систему хранения и передачи данных, свою систему кэширования.
На схеме представлена архитектура одной зоны.
Как видно из схемы, СХД подразумевает четыре уровня кэширования данных: по одному на пользовательской виртуальной машине и на вычислительном узле и два – на узле системы хранения.
Архитектура узлов хранения подобрана так, чтобы оптимизировать самую сложную операцию – произвольную запись. Для того, чтобы чтение также выполнялось быстро, используется адаптивная версия технологии readahead.
Ниже представлен график зависимости времени, в течение которого СХД выдерживает обращение на данной скорости от скорости обращения.
Параметры кэшей были специальным образом рассчитаны так, чтобы пользователи как можно дольше находились на первом участке диаграммы и работали с системой хранения на максимальной скорости.
Этот график выражает «худший случай» – то, что клиенты получат гарантированно, если целиком заполнив зону, они начнут одновременно интенсивно использовать диск при неизменных параметрах кэшей. В реальности пользователи все или почти все время находятся на первом участке диаграммы.
По мере увеличения активности пользователей мы будем увеличивать количество памяти в кэшах так, чтобы у клиентов эта ситуация сохранялась всегда.
Разбиение всего облака на несколько зон имеет ряд преимуществ.
Во-первых, оно позволило нам реализовать многокритериальную оптимизацию по следующему набору параметров: скорость работы СХД, надежность системы хранения и стоимость хранилища для потребителя. Имея одну очень большую зону вместо набора небольших, подобную оптимизацию произвести невозможно. Кроме того, накладные расходы на обеспечение функционирования системы подобной описанной сильно возрастают с ее размерами – фиксируя ее размеры, мы ускоряем ее.
Во-вторых, зонирование позволяет уйти от единой точки отказа, поскольку зоны полностью независимы.
В-третьих, мы имеем возможность балансировать нагрузку на облако, распределяя клиентов по зонам в зависимости от активности чтения и записи на диск, потребления канала и количества используемой оперативной памяти. Между зонами поддерживается live-миграция.
Все новые виртуальные машины создаются на новой системе хранения данных. Часть старых клиентов уже также переведена на новую СХД. Постепенно будут переноситься и все остальные клиенты. Если вы — клиент Clodo и хотите перейти на новую систему, просто подайте заявку в техническую поддержку.
В завершении мы хотели бы привести графики скорости дисковых операций. На графиках Clodo сравнивается с «обычным» облачным хостингом. Как и «обычный» хостинг, на время тестирования мы отключили шейпер, работающий в обычных условиях.
P.S. Все желающие «переехать» на Clodo с «обычного» облачного или необлачного хостинга, могут рассчитывать на квалифицированную и бесплатную поддержку в настройке виртуального сервера и переносе данных.
Система хранения, безусловно, является одним из самых важных элементов облака. Она обязана быть независимой от вычислительных узлов. Кроме того, она должна быть быстрой и надежной. Наконец, она должна быть отказоустойчивой. Предыдущая версия нашей системы хранения, использовавшая файловую систему IBM GPFS, оказалась неоптимальным решением для использования в облаке с точки зрения скорости. Кроме того, GPFS была единой точкой отказа, неработоспособность которой могла в худшем случае привести к неработоспособности облака в целом. От этой порочной практики мы также ушли.
Базовым понятием новой СХД Clodo является «зона». Все облако мы разделили на «зоны», абсолютно независимые друг от друга. Зоны сравнительно невелики и содержат до 10 XEN-узлов (вычислительных серверов с ресурсами, которые используют виртуальные машины пользователей). Каждая зона имеет независимую от других систему хранения и передачи данных, свою систему кэширования.
Состав зоны
На схеме представлена архитектура одной зоны.
Как видно из схемы, СХД подразумевает четыре уровня кэширования данных: по одному на пользовательской виртуальной машине и на вычислительном узле и два – на узле системы хранения.
Архитектура узлов хранения подобрана так, чтобы оптимизировать самую сложную операцию – произвольную запись. Для того, чтобы чтение также выполнялось быстро, используется адаптивная версия технологии readahead.
Характеристики СХД
Ниже представлен график зависимости времени, в течение которого СХД выдерживает обращение на данной скорости от скорости обращения.
Параметры кэшей были специальным образом рассчитаны так, чтобы пользователи как можно дольше находились на первом участке диаграммы и работали с системой хранения на максимальной скорости.
Этот график выражает «худший случай» – то, что клиенты получат гарантированно, если целиком заполнив зону, они начнут одновременно интенсивно использовать диск при неизменных параметрах кэшей. В реальности пользователи все или почти все время находятся на первом участке диаграммы.
По мере увеличения активности пользователей мы будем увеличивать количество памяти в кэшах так, чтобы у клиентов эта ситуация сохранялась всегда.
Преимущества зонирования
Разбиение всего облака на несколько зон имеет ряд преимуществ.
Во-первых, оно позволило нам реализовать многокритериальную оптимизацию по следующему набору параметров: скорость работы СХД, надежность системы хранения и стоимость хранилища для потребителя. Имея одну очень большую зону вместо набора небольших, подобную оптимизацию произвести невозможно. Кроме того, накладные расходы на обеспечение функционирования системы подобной описанной сильно возрастают с ее размерами – фиксируя ее размеры, мы ускоряем ее.
Во-вторых, зонирование позволяет уйти от единой точки отказа, поскольку зоны полностью независимы.
В-третьих, мы имеем возможность балансировать нагрузку на облако, распределяя клиентов по зонам в зависимости от активности чтения и записи на диск, потребления канала и количества используемой оперативной памяти. Между зонами поддерживается live-миграция.
Все новые виртуальные машины создаются на новой системе хранения данных. Часть старых клиентов уже также переведена на новую СХД. Постепенно будут переноситься и все остальные клиенты. Если вы — клиент Clodo и хотите перейти на новую систему, просто подайте заявку в техническую поддержку.
В завершении мы хотели бы привести графики скорости дисковых операций. На графиках Clodo сравнивается с «обычным» облачным хостингом. Как и «обычный» хостинг, на время тестирования мы отключили шейпер, работающий в обычных условиях.
P.S. Все желающие «переехать» на Clodo с «обычного» облачного или необлачного хостинга, могут рассчитывать на квалифицированную и бесплатную поддержку в настройке виртуального сервера и переносе данных.
