Comments 2
Суммарный объем данных ~500Tb c прогнозом ежегодного увеличения на ~100Tb
Несомненно, такое изменение схемы данных в продукте потребовало усилий со стороны разработчиков.
Эти операции с движением данных туда-обратно вообще окупаются? 500TB — всего три десятка HDD, не считая резервирования / HA-нод. 100TB в год, соответственно — это несколько тысяч долларов по текущим ценам. На SSD цены несколько выше, но это по-прежнему единицы тысяч долларов. Если бы у вас 500 PB было, смысл операции был бы более очевиден.
Сколько стоит время ваших разработчиков / QA / админов, которое было потрачено на правки в коде / тестирование / миграции? Стоит ли полученная экономия, если она ещё была после расходов на создание решения, полученной просадки по производительности?
Добрый день. Краткий ответ - да, затраты окупились.
Здесь не указаны все детали продукта, поэтому соглашусь, что понятно "а стоит ли оно того?". В рамках данного продукта это был большой профит. Эта была не единственная инсталляция и при запуске новых мы уже могли полагаться на архитектуру с HDD, что значительно сокращало начальную стоимость. По поводу просадки в производительности не соглашусь, т.к. она для конечного пользователя не пострадала на видимом уровне за счет уменьшения изначального размера partition с которым работал запрос на чтение. Фактически, overuse iops'ов не давал никакого преимущества и был спокойно упразднен в пользу HDD
Пожалуй, главный посыл этой заметки был о важности выбора правильной структуры хранения данных и как это помогает снизить затраты на инфраструктуру. А вот уж момент, когда делать/не делать этот выбор, зависит от многих факторов
Сassandra для бедных — пускаем в ход HDD