Открыть список
Как стать автором
Обновить
4
Карма
0
Рейтинг
Stanislav Vlasov @stvlasov

Team Lead

Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

Согласен. Мы тоже совсем не отказываемся от Redis, в будущем будем его использовать, но не для всех данных.

Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

Мы выбирали между RDS и своими инстансами EC2 в AWS, посчитали, что для нас выгоднее свои инстансы. Готовили сами.
Для шардирования рассматривали несколько вариантов (citus, pg_shardman, etc) — везде были проблемы. В итоге остановились на шардировании на стороне серверного приложения. Т.е. приложение знает с какой базой работать. Об этом напишу подробней в следующих частях.

Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

В паблике сейчас нет, но уточню в ближайшее время сможем ли что-то выложить.

Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

Этот механизм «разархивации» из Riak уже был обкатан, он использовался на prod не один год, наша команда лишь оптимизировала его для большей производительности. Поэтому особых проблем не возникло. Также добавили дополнительные сервера «разархиваторы», которые вытаскивали данные из Riak параллельно.

Да, данные один в один. Но нам также приходилось фиксить неконсистентные данные, если мы такие находили.

Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

Технические проблемы будут в следующих частях.

Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс

Данные из Riak мигрировали через уже существующий механизм на серверной стороне, который извлекал порцию «холодных» данных и помещал в Redis.

Информация

В рейтинге
5,734-й
Работает в
Зарегистрирован
Активность