Comments 13
UFO just landed and posted this here
1. Ceph это распределённная система, для неё нужно, по хорошему, много нод.
2. Ceph, насколько я понимаю, не поддерживает RAID5/6-like распределение блоков, только тупая репликация, что снижает ёмкость системы как минимум вдвое. Что при цене на SSD несколько расточительно (хотя тут можно использовать SATA диски, что несколько дешевле).
3. Общая сложность реализации на Ceph не уверен что будет ниже.
2. Ceph, насколько я понимаю, не поддерживает RAID5/6-like распределение блоков, только тупая репликация, что снижает ёмкость системы как минимум вдвое. Что при цене на SSD несколько расточительно (хотя тут можно использовать SATA диски, что несколько дешевле).
3. Общая сложность реализации на Ceph не уверен что будет ниже.
UFO just landed and posted this here
Спасибо, не знал что они уже реализовали Erasure Code, вкусная штука.
И, я смотрю, гибко настраивается толерантность к отказу нод, можно выставить нужное количество (а не только RAID5/6 — 1 или 2).
Там вроде бы и Cached Tiering есть — docs.ceph.com/docs/master/rados/operations/cache-tiering/
Это даже лучше чем просто журнал класть на SSD.
Да, но этот как раз достаточно простой момент — экспортировать RBD наружу не сложно.
Может в следующей вмвари и поддержку его запилят, всякий OpenStack это нынче в тренде.
В следующем проекте попробую Ceph применить, давно руки чесались. А при наличии кеширования и Erasure Code последние сомнения растаяли :)
И, я смотрю, гибко настраивается толерантность к отказу нод, можно выставить нужное количество (а не только RAID5/6 — 1 или 2).
Хотя, можно использовать ssd для томов журнала.
Там вроде бы и Cached Tiering есть — docs.ceph.com/docs/master/rados/operations/cache-tiering/
Это даже лучше чем просто журнал класть на SSD.
Единственное, конечно, что вы вмварь используете, а у него нет своего драйвера для rbd, придется городить адаптер в iscsi или fc.
Да, но этот как раз достаточно простой момент — экспортировать RBD наружу не сложно.
Может в следующей вмвари и поддержку его запилят, всякий OpenStack это нынче в тренде.
В следующем проекте попробую Ceph применить, давно руки чесались. А при наличии кеширования и Erasure Code последние сомнения растаяли :)
UFO just landed and posted this here
Погонял наколеночный кластер Ceph из трёх ВМ + 1 клиент, очень интересно.
Использовал SSD CacheTier Pool + Erasure Code Pool под ним (правда тоже на SSD).
Всё достаточно просто и понятно, хотя редактирование CRUSH MAP могли бы сделать попроще (дамп, декомпиляция, изменение, компиляция, применение — много шагов).
Что не понравилось:
1. Нестабильная и достаточно низкая производительность на запись в моей конфигурации. Тут, конечно, много подводных камней и нужно будет погонять на реальном железе. Но даже тут у меня IOPS плавали от 0 до 2.5к, а скорость линейная от 30 до 180 Мбайт/сек.
2. Очень большая нагрузка на процессор OSD демонами (150-250% на каждом OSD-хосте) при случайном чтении всего-то на 14-15к IOPS. В этом случае Erasure Code не должен вроде как срабатывать, чего оно так проц жрёт не пойму.
В общем, штука стоящая, буду изучать дальше.
Использовал SSD CacheTier Pool + Erasure Code Pool под ним (правда тоже на SSD).
Всё достаточно просто и понятно, хотя редактирование CRUSH MAP могли бы сделать попроще (дамп, декомпиляция, изменение, компиляция, применение — много шагов).
Что не понравилось:
1. Нестабильная и достаточно низкая производительность на запись в моей конфигурации. Тут, конечно, много подводных камней и нужно будет погонять на реальном железе. Но даже тут у меня IOPS плавали от 0 до 2.5к, а скорость линейная от 30 до 180 Мбайт/сек.
2. Очень большая нагрузка на процессор OSD демонами (150-250% на каждом OSD-хосте) при случайном чтении всего-то на 14-15к IOPS. В этом случае Erasure Code не должен вроде как срабатывать, чего оно так проц жрёт не пойму.
В общем, штука стоящая, буду изучать дальше.
пробовал на 3-х нодах несколько лет назад ceph работал очень нестабильно по скорости.
Раз в несколько дней случались замирания дисков на несколько минут. По итогам общения в рассылке сделал вывод что это побочный эффект от профилактического сканирования данных на предмет порчи и их восстановления. Должен исчезать при большом количестве нод.
Раз в несколько дней случались замирания дисков на несколько минут. По итогам общения в рассылке сделал вывод что это побочный эффект от профилактического сканирования данных на предмет порчи и их восстановления. Должен исчезать при большом количестве нод.
А как вы Ceph планируете в vmware отдавать?
Sign up to leave a comment.
Бюджетное SAN-хранилище на LSI Syncro, часть 2