Fluid Data: «маленькая» победа в хранении «больших» данных

[AterCattus]

Как-то мне это напомнило LVM, с возможностью к добавлению и удалению доп дисков «на лету».
А «перетекание» как поставленный с ног на голову flashcache (не в «горячую» зону данные копируются, а из нее).
А вот «операции чтения / записи распределены по всем дискам» смущает задачами, связанными с последовательным чтением/записью. Выходит, на последовательное чтение будет сказываться фрагментация данных, а при последовательной записи будут затрагиваться чуть ли не все диски Tier1?

Это вообще просто пока идея, или же уже прошли испытания реальным миром?

[MVorobyev]

Решение работает несколько лет на базе дискового массива Dell Compellent.

«А «перетекание» как поставленный с ног на голову flashcache (не в «горячую» зону данные копируются, а из нее).»
Данные перетекают туда-сюда, и технология более продвинута, чем FlashCache.

«А вот «операции чтения / записи распределены по всем дискам» смущает задачами, связанными с последовательным чтением/записью. Выходит, на последовательное чтение будет сказываться»
Последовательное чтение/запись слабо грузит массив с точки зрения IOPs, так что данные будут лежать скорее всего на SATA, и никаких проблем не будет.

[lovecraft]

Интересная штука, но есть несколько вопросов.

1. Может ли Dynamic Capacity (tm) освобождать на хранилище место, ранее занятое файлами. а потом — освобожденное?
2. Если да, то какие ОС поддерживаются? ОС же должна сообщить хранилищу, что больше не использует какие-то блоки через драйвер хранилища (команды TRIM и WRITE SAME не все ОС поддерживают)
3. Каков алгоритм перераспределения данных между хранилищами? Учитывает ли он, что к некоторым данным возможны обращения, у примеру, строго один раз в месяц с максимальной скоростью, а в промежутках их никто не трогает?
4. Сколько стоит хранение терабайта данных в вашей системе?

[lovecraft]

Для решения описанных проблем в Dell Compellent используется программное обеспечение Dynamic Capacity™, которое полностью отделяет выделение ресурсов от их использования. Сама функция получила название Thin Provisioning.

Красиво написано, но функция выделения данных по требованию получила название Thin Provisioning раньше, чем придумали Fluid Data. :)

[lovecraft]

выделения данных по требованию

места под данные, конечно

[MVorobyev]

1. Все зависит от ОСи. Если после удалени — блоки будут нулевыми — они храниться не будут, если там сигнатура или что-то еще — будут, т.к. массив не знает полезная это информация или нет.

2. Поддерживаются практически все оси (можно посмотреть на сайте производителя). Ось сообщает хранилищу о неиспользовании блока — путем замены его на нулевой. :)

3. Алгоритм настраивается в соответствии с политиками которые вы пропишите для массива. Стандартные политики (которые дефолтно ставит Dell) скорее всего не отловят этот момент.

4. Что вы понимаете под стоимостью (CAPEX, CAPEX + OPEX), какого объема, под какой тип нагрузки, какие протоколы для подключения используются (FC, FCoE, iSCSI). В общем, можно сказать лишь, что чем больше объем, тем дешевле стоит. :)