Pull to refresh
  • by relevance
  • by date
  • by rating

Выбор распределенной файловой системы для Linux. Пару слов о Ceph и остальных

System administration
Существует несколько десятков файловых систем, все из них предоставляют пользовательские интерфейсы для хранения данных. Каждая из систем хороша по-своему. Однако, в наш век высоких нагрузок и петабайтов данных для обработки, оказалось довольно непросто подыскать то, что нужно, стоит лишь задуматься о распределенных данных, распределенных нагрузках, множественном монтировании rw и о прочих кластерных прелестях.
Читать дальше →
Total votes 63: ↑61 and ↓2 +59
Views38.1K
Comments 71

Хранение объектов для облака OpenStack: сравнение Swift и Ceph

Mirantis/OpenStack corporate blogOpen source
Автор: Дмитрий Уков

Обзор



Многие люди путают объектно-ориентированное хранение с блочным хранением, например, на основе iSCSI или FibreChannel (Storage Area Network, SAN), хотя на самом деле существует много различий между ними. В то время как в сети SAN система видит только блочные устройства (хороший пример имени устройства -/dev/sdb linux), доступ к хранилищу объектов можно получить только с помощью специализированного клиентского приложения (например, клиентского приложения box.com).

Блочное хранилище представляет собой важную часть инфраструктуры облака. Основными способами его использования являются хранение образов виртуальных машин или хранение файлов пользователя (например, резервных копий разных видов, документов, изображений). Основным преимуществом объектного хранения является очень низкая стоимость реализации по сравнению с хранилищем корпоративного уровня, одновременно с обеспечением масштабируемости и избыточности данных. Существует два наиболее распространенных способа реализации объектного хранилища. В этой статье мы сравним два способа, интерфейс к которым предоставляет OpenStack.

OpenStack Swift



Архитектура сети Swift



Объектное хранилище OpenStack (Swift) предоставляет масштабируемое распределенное объектное хранилище с резервированием, которое использует кластеры стандартизированных серверов. Под “распределением” понимается, что каждый фрагмент данных реплицируется по кластеру узлов хранения. Число реплик можно настроить, но оно должно составлять не менее трех для коммерческих инфраструктур.

Доступ к объектам в Swift осуществляется по интерфейсу REST. Эти объекты можно хранить, получать или обновлять по требованию. Хранилище объектов можно с легкостью распределить по большому числу серверов.

Путь доступа к каждому объекту состоит из трех элементов:
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views30.9K
Comments 5

Эластичное избыточное S3-совместимое хранилище за 15 минут

Big Data
Tutorial
S3 сегодня не удивишь наверное никого. Его используют и как бэкенд хранилище под веб сервисы, и как хранилище файлов в медиа индустрии, так и как архив для бэкапов.



Рассмотрим небольшой пример развертывания S3-совместимого хранилища на основе объектного хранилища Ceph
Читать дальше →
Total votes 36: ↑34 and ↓2 +32
Views41.2K
Comments 26

Интервью с Джульеном Данжу, руководителем проекта OpenStack Ceilometer

Mirantis/OpenStack corporate blogOpen source
Translation
Мы представляем пятое из серии интервью с техническими руководителями проекта OpenStack в блоге Mirantis. Наша цель — обучить более широкое сообщество технических специалистов и помочь людям понять, как они могут внести вклад в проект OpenStack и извлечь из него выгоду. Естественно, ниже изложена точка зрения интервьюируемого, а не компании Mirantis.

Ниже мы представляем интервью Джульена Данжу (Julien Danjou), технического руководителя проекта OpenStack Ceilometer.
Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Views2.9K
Comments 0

Автоматизация тестовой инфраструктуры в Поиске

Mail.ru Group corporate blogIT systems testingData visualization
Не секрет, что задачи тестирования, как ручного, так и автоматизированного, постоянно требуют создания новых тестовых стендов.
Для того чтобы автотесты Поиска Mail.Ru выполнялись быстро и во всех необходимых окружениях, нам потребовалось научиться быстро разворачивать новые виртуальные машины с определенной конфигурацией.
Большое количество виртуальных машин в нашем облаке используется браузерной фермой WebDriver, масштабируя её, мы ускоряем выполнение тестов web-интерфейса Поиска.
Кроме этого, на виртуалках мы запускаем инструменты для сбора метрик качества кода и измерения покрытия, а также инструменты для тестирования Поиска, разработанные нами.


Читать дальше →
Total votes 32: ↑32 and ↓0 +32
Views7.3K
Comments 4

Ceph: Cloud Storage без компромиссов

Перформикс corporate blog
Здравствуйте, уважаемые читатели!

Современные облака, используемые для целей хостинга, высоко поднимают планку требований к инфраструктуре хранения данных. Чтобы клиент получил качественную услугу, системе хранения данных должен быть присущ целый ряд свойств:
  • высокая надежность хранения
  • высокая доступность данных, то есть минимальное время простоя при авариях
  • высокая скорость доступа и минимальные задержки
  • низкая удельная стоимость хранения
  • различные прикладные возможности: клонирование, снимки состояния и т.д.

Ни RAID-массивы, ни «железные» СХД не способны решить все перечисленные задачи одновременно. Именно поэтому все большее распространение в индустрии хостинга приобретает Software-defined storage. Одним из ярких представителей SDS является распределенное хранилище под названием Ceph.

Мы решили рассказать об этом замечательном продукте, который используется в CERN, 2GIS, Mail.ru и в нашем облачном хостинге.
image
Далее...
Total votes 49: ↑47 and ↓2 +45
Views80.6K
Comments 51

Пять дней + двенадцать авторов + один книжный спринт = одна отличная книга по архитектуре OpenStack

Mirantis/OpenStack corporate blogOpen source
Автор: Ник Чейз

Отличительной особенностью OpenStack является то, что можно найти много информации о том, как выполнять конкретные действия, например, запустить инстанс или установить тестовое облако на VirtualBox. Однако информации, которая даст вам общее представление, например, о том, как спроектировать массово масштабируемое облако на базе OpenStack или облако, оптимизированное под предоставление потокового контента, не так много.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Views8.1K
Comments 2

Недостающие структурные элементы в OpenStack уровня предприятия: Часть 1 – высокая степень доступности

Mirantis/OpenStack corporate blogOpen source
Автор: Дмитрий Новаковский

Сейчас отличное время для того, чтобы быть компанией-участницей инициативы OpenStack – вы получаете большую часть данных для маркетинга и управления продукцией, просто разговаривая каждый день с клиентами и партнерами. Как бы то ни было, конкуренция в данной сфере довольно высока, поэтому и для сообщества, и для отдельных вендоров важно грамотно создать задел функциональных возможностей и расставить их приоритеты, при этом четко осознавая, кто и чего хочет. Я выступлю в роли «капитана очевидность», но все же скажу, что потребности Предприятия весьма отличаются от потребностей сервис-провайдера, органа власти или какого-нибудь IT-подразделения, работающего в масштабе World Wide Web.
Читать дальше →
Total votes 8: ↑6 and ↓2 +4
Views3.2K
Comments 4

Сборка и установка пакетов системы мониторинга Calamari для распределенного хранилища CEPH 0.87 на Ubuntu 14.04.1 (Trusty Tahr)

Configuring LinuxSystem administration*nix
Sandbox
Tutorial
Дано: существующий кластер CEPH 0.87. Задача: обеспечить мониторинг. Задача № 2: Написать инструкцию (попроще).

Я погуглил и нашел Calamari. Покопал дальше и нашел несколько статей на английском по сборке и установке. Попробовал поставить, наступил на несколько «граблей». В результате пришел к написанию этой статьи.
Отмечу, что пакеты, собранные в результате, вряд ли полностью соответствует debian-policy по сборке deb-пакетов. Обеспечить мониторинг важнее.
Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Views12.6K
Comments 8

Технологии, позволяющие повысить отказоустойчивость VPS

FirstVDS / FirstDEDIC corporate blog
Недавно мы решили выйти за пределы сегмента бюджетных серверов: пересмотреть свое видение хостинга виртуальных машин и создать максимально отказоустойчивую услугу.
В этой статье я расскажу как организована наша стандартная платформа для VPS и какие приемы мы применили, чтобы ее улучшить.

Наша стандартная технология создания VDS
Сейчас хостинг виртуальных серверов у нас выглядит следующим образом:

В стойках установлены одноюнитные серверы примерно такой конфигурации:
  • CPU — 2 x Intel Xeon CPU E5-2630 v2 @ 2.60GHz
  • Motherboard: Intel Corporation S2600JF
  • RAM: 64 Gb
  • DISK: 2 x HGST HDN724040ALE640/4000 GB, INTEL SSDSC2BP480G4 480 GB

Один из серверов является основным. На нем установлен VMmanager и к нему подключены узлы — дополнительные серверы.
Читать дальше →
Total votes 5: ↑4 and ↓1 +3
Views7K
Comments 7

Fujitsu ETERNUS CD10000: Ceph без забот

Fujitsu corporate blogBig Data
Сегодня многие компании работают с огромным количеством данных. Нет, я сейчас не о паттернах BigData, а просто о том, что удивить десятком-другим терабайт данных на серверах отдельно взятой компании никого уже нельзя. Но многие идут дальше – сотни терабайт, петабайты, десятки петабайт… Конечно, хорошо, когда ваши данные и задачи по их обработке попадают под идеологию mapreduce, но намного чаще все эти данные представляют собой либо «просто файлы», либо тома виртуальных машин, либо уже структурированные и шардированные своим образом данные. В таких случаях компания приходит к идее необходимости развертывания системы хранения данных.



Добавляет популярности СХД сегодня и системы, подобные OpenStack – ведь приятно управлять своими серверами не заботясь о том, что в одном сервере не работает диск, что одна из стоек обесточена. Не заботиться о том, что железо на одном Самом Важном Сервере устарело и для его апгрейда необходимо деградировать ваши сервисы до минимального уровня. Конечно, такие случаи могут быть ошибкой проектирования, но будем честны – все мы можем допустить такие ошибки.

В итоге компания встаёт перед непростым выбором: создать СХД самостоятельно на основе открытого ПО (Ceph, MuseFS, hdfs – есть из чего выбрать с минимальными затратами на интеграцию, но придется потратить время на дизайн и развертывание) или купить готовую проприетарную СХД и потратить время и силы на её интеграцию (с риском того что СХД со временем достигнет лимита своей ёмкости или производительности).

Но что если взять за основу Ceph, для которого сложно придумать невыполнимую задачу в области хранения данных, заручиться поддержкой какого-нибудь Ceph-вендора (например Inktank, которые его и создали), взять современные серверы с большим количеством SAS-дисков, написать web-интерфейс для управления, добавить дополнительные возможности для эффективного развертывания и мониторинга… Звучит заманчиво, но сложно для среднестатистической компании, тем более, если это не IT-компания.


К счастью, обо всём этом уже позаботились в компании Fujitsu, в лице продукта ETERNUS CD10000 – первой enterprise-СХД, основанной на Inktank Ceph Enterprise, с которой мы вас сегодня и познакомим.
Читать дальше →
Total votes 33: ↑30 and ↓3 +27
Views13.1K
Comments 30

Всемирный OpenStack-саммит и другие новости

Mirantis/OpenStack corporate blogOpen source
Автор: Илья Стечкин

Вы думаете, что мы просто так отмалчивались все это время, что нас разморило весеннее солнышко? Вовсе нет! Мы выбирали, о чем бы вам поведать. Ведь столько всего происходит, что и писать-то некогда.
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views1.8K
Comments 0

Fujitsu ETERNUS CD10000 S2: что нового?

Fujitsu corporate blog
image


Примерно год назад мы рассказывали о Fujitsu ETERNUS CD10000 – подготовленном нашей компанией готовом решении для быстрого развертывания горизонтально-масштабируемой системы программно-определяемого хранения данных на базе открытого ПО Ceph и стоечных серверов Fujitsu PRIMERGY. ETERNUS CD10000 масштабируется от четырех до 224 узлов хранения и 50 Пбайт емкости. Первого октября нынешнего года вышло второе поколение ETERNUS CD10000 S2, в котором реализован ряд важных усовершенствований. Каких?
Об этом под катом
Total votes 6: ↑5 and ↓1 +4
Views2.8K
Comments 6

Строим свое собственное отказоустойчивое облако на базе OpenNebula с Ceph, MariaDB Galera Cluster и OpenvSwitch

System administration*nixVirtualizationCloud computingData storage
Tutorial


На этот раз я бы хотел рассказать, как настроить сей сабж, в частности каждый отдельный компонент, что бы в итоге получить свое собственное, расширяемое, отказоустойчивое облако на базе OpenNebula. В данной статье я рассмотрю следующие моменты:


Темы сами по себе очень интересные, так что даже если вас не интересует конечная цель, но интересует настройка какого-нибудь отдельного компонента. Милости прошу под кат.
Читать дальше →
Total votes 24: ↑23 and ↓1 +22
Views93.3K
Comments 20

CEPH-кластер: хронология работ по апгрейду нашего файлового хранилища на новую архитектуру (56Gb/s IB)

КРОК corporate blogHigh performance


Запустив наше облако, мы стали предоставлять сервис хранения, аналогичный S3 Амазона (с совместимым API, чтобы российские заказчики могли использовать стандартные клиенты для работы с S3, изменив только endpoint для подключения). Основная задача сервиса — хранение снапшотов виртуальных машин и различных файлов клиентов. Амазон был взят за образец, куда надо развиваться, и в начале 2014 года стало понятно, что имеющееся файловое хранилище устарело, заказчики требовали современных фичей, недоступных у нас и так нравящихся им у AWS. Но доработка существующего решения светила огромными трудозатратами, поэтому было принято решение построить новое S3-совместимое хранилище с нуля.

Дальше — долгий процесс поиска и сравнений имеющихся решений, потом тесты на производительность и отказоустойчивость решения, написание кипы бумаг, затем — несколько неудачных тестовых миграций, исправления багов в архитектуре, работа над полученными ошибками и итоговая фоновая онлайн-миграция всех данных через два месяца работы.

Это было чертовски долго, но всё прошло спокойно.
Читать дальше →
Total votes 29: ↑26 and ↓3 +23
Views20.6K
Comments 51

Объектное хранилище NetApp StorageGrid

Big Data
В этой статье я отклонюсь от традиционной для меня темы систем хранения FAS и подниму тему объектного хранения данных в системах NetApp StorageGrid WebScale. Если кратко, то объектное хранение — это третий тип хранения наряду с NAS и SAN. Представьте себе, что каждый файл состоит из данных и метаинформации (владелец, права, время модификации и т.д.), так вот объектное хранение позволяет разъединить эти части и хранить их в виде «ключ/значение». Такой подход хранения информации открывает возможности децентрализованного, распределённого хранения данных огромных масштабов с прозрачной миграцией данных, репликацией и прозрачным переключением конечных потребителей между нодами объектного кластера. В широком смысле объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), при помощи специализированных SCSI команд (Object-based Storage Device Commands), так и на уровне протокола доступа к системе хранения, которая состоит из нескольких дисков (которые, в свою очередь, вовсе не обязаны быть объектными). В обоих случаях используется Ethernet для подключения и IP протокол для передачи данных. Примером реализации объектного хранилища на уровне устройства являются жесткие диски линейки Seagate Kinetic Open Storage platform. Примером систем хранения данных в облаке может быть Microsoft Azure BLOB, Amazon S3. В этой статье я остановлюсь на объектных СХД, которые можно развернуть у себя на сайте и при необходимости подключить к облаку. Широкую популярность приобрели объектные протоколы S3, SWIFT, CDMI, все они являются надстройкой над HTTP.

Читать про Объектные Хранилища
Total votes 10: ↑7 and ↓3 +4
Views10.7K
Comments 11

Геораспределенный s3-кластер в режиме active-active

System administrationData storage
Sandbox


Предисловие


Начав настраивать в rados геораспределенную репликацию, столкнулся с проблемой, что официальная документация немного не подходит под новый мажорный релиз jewel, да и в интернете пока еще нет актуальных инструкций. Данный мануал сбережет много времени тем, кто захочет себе небольшое, свое геораспределенное s3-облако.
Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views4.8K
Comments 9

Виртуальный суперкомпьютер по требованию

HPC HUB corporate blogHigh performanceGeoinformation servicesBig DataConcurrent computing
Виртуальный суперкомпьютер (vSC) — это современная альтернатива использованию собственных суперкомпьютерных мощностей для наукоемкого бизнеса и научных групп при решении ресурсоемких задач. В процессе бурного развития облачных технологий клаудизация начала проникать в наиболее сложные IT-сферы — суперкомпьютинг и распределенные вычисления. Один из возможных подходов к задаче клаудизации HPC реализован компанией HPC HUB.

КДПВ

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views8.6K
Comments 17

Создание разделяемого хранилища на базе CEPH RBD и GFS2

HPC HUB corporate blogHigh performanceOpen sourceBig DataConcurrent computing
Большинство ПО кластерных систем предполагает наличие файловой системы доступной со всех узлов кластера. Эта файловая система используется для хранения ПО, данных, для организации работы некоторых кластерных подсистем и т.д. Требования на производительность такой FS могут сильно отличаться для разных задач, однако, чем она выше, тем считается, что кластер более устойчив и универсален. NFS сервер на мастер-узле является минимальным вариантом такой FS. Для больших кластеров NFS дополняется развертыванием LustreFS — высокопроизводительной специализированной распределенной файловой системы, использующей несколько серверов в качестве хранилища файлов и несколько метаинформационных серверов. Однако такая конфигурация обладает рядом свойств, которые сильно затрудняют работу с ней в случае, когда клиенты используют независимые виртуализированные кластера. В системе HPC HUB vSC для создания разделяемой FS используется широко известное решение CEPH и файловая система GFS2.
main
Читать дальше →
Total votes 12: ↑11 and ↓1 +10
Views10.8K
Comments 8