Glusterfs + erasure coding: когда надо много, дешево и надежно

[akashihi]

Чуваки из oVirt рекомендуют шард в 64MB, с ним и heal будет повеселее. И можно поподробнее про надувание тонких дисков? Как воспроизвести?

[pharlan]

Можно ссылочку про 64мб? И как скорость heal зависит от размера шарда? Есть какие-то наблюдения? Касательно надувания, у меня было около 15 тонких дисков с виртуальным размером 1тб, а реальным около 10гб. И после замены брика вижу:

шарды нормального брика:

420K    /export/brick2/freezer/.shard/27eaeaa3-f4e8-4ff6-9417-17b88c3148e6.1003
332K    /export/brick2/freezer/.shard/27eaeaa3-f4e8-4ff6-9417-17b88c3148e6.1010
460K    /export/brick2/freezer/.shard/27eaeaa3-f4e8-4ff6-9417-17b88c3148e6.1020

шарды курильщика:

127M    /export/brick2/freezer/.shard/27eaeaa3-f4e8-4ff6-9417-17b88c3148e6.1003
127M    /export/brick2/freezer/.shard/27eaeaa3-f4e8-4ff6-9417-17b88c3148e6.1010
124M    /export/brick2/freezer/.shard/27eaeaa3-f4e8-4ff6-9417-17b88c3148e6.1020

[akashihi]

Попробовал на 3.12.9 гластере — не пухнут шарды и sparse файлы не раздуваются. 4+2 dispesed volume + sharding по 64MB

[akashihi]

Ссылочку если только на BZ, но там уже просто применяют эту рекомендацию bugzilla.redhat.com/1489352 А вообще я и есть тот самый чувак из oVirt :)

По шардам и раздуванию дисков — попробую воспроизвести на своём стенде, не должно такого быть. Возможно это это характерно именно для комбинации dispersed + sharding

[leahch]

Пара вопросов, если можно.
Чем гластер вам приглянулся больше, чем ceph. Из комментариев к предыдущей статье, кажется ceph у вас есть.
Как гластер ведет себя на мелких файлах, если делали такой тест
И последнее, под какие задачи пользуете гластер? Пробежав статью, ответ на это пропустил…

[pharlan]

Ceph мы тоже любим. Он у нас в проде для S3 хранилища. И, кстати, он отлично справляется с миллионами как мелких, так и больших файлов. По Гластеру мы скорее набираем экспертизу, используем его под бэкапы и остальные не самые критичные вещи, поэтому с мелкими файлами не тестировал. В прошлом посте было об этом: habr.com/company/croccloudteam/blog/353666

[leahch]

Ceph мы и сами любим, вот с гластером что-то не срослось года 4 назад, поэтому и спрашивал. Мы ceph для виртуалок пользуем и для раздачи xfs по nfs через rbd :-)

[linux_art]

Использовал гластер с мелкими файлами, пока их совсем мало — работает сносно, по мере роста — резкая деградация скорости.

[gospodinputin]

шардинг, ребалансировка и её троттлинг
Аж смузи с монитора потек

[ComputerPers]

Вы как-то тротлили трафик? почему с 6 серверов получилось всего 110 мегабайт / сек?

[pharlan]

У Гластера с EC есть такая фича — медленно писать в один поток, даже шейпить не надо)

[pharlan]

Это не родная тулза. До 4ки тоже руки не дошли пока

[amarao]

Почему gluster а не ceph? (Я серьёзно спрашиваю, если можно, дайте какие-то сравнения).

[mirasrael]

pharlan а вы использовали бэкапы для GlusterFS? И если да, то были ли у вас какие-нибудь проблемы с ними и как решали?

[toslavik]

Обожглись на Gluster при пользовании с oVirt. Известная бага (Bug #1515434), с шардингом нельзя добавлять, менять, удалять bricks без риска повреждения данных. Багу исправили в версии 4.0, но эта версия не дружит с актуальной версией oVirt.