Архитектура распределенной очереди в Mail.ru Cloud Solutions

[raiSadam]

А замеры? Графики? Получилось лучше/быстрее, чем амазоновский SQS?

[pvdov]

Да, проводили замеры. Пока получилось, что мы немного быстрее, чем Амазон, на маленьких сообщениях, и помедленнее на больших. Так что сейчас в процессе оптимизации работы системы. В дальнейшем планируем провести более полное сравнение и выложить результаты.

[BugM]

Надо больше цифр. Пропускная способность, размеры сообщений, количество сообщений, задержки, требуемое железо.

[pvdov]

Цифры есть здесь: https://mcs.mail.ru/cloud-queues/

С точки зрения пользователя предоставляется облачный сервис и можно не думать о требованиях к железу.

[BugM]

Спасибо. Жалко что только облако. Но в общем понятно почему так.

[pvdov]

Планируем сделать on-premise реализацию, можно будет разворачивать в закрытом контуре. Как только будет готово - сформируем требования к железу исходя из требований к нагрузке и опубликуем.

[onegreyonewhite]

А пробовал кто-то MCS SQS с Celery подружить? Есть опыт использования?

[Kasen]

MCS SQS обладает полностью таким же API, как и Amazon SQS. Так что проблем быть не должно. Просто задать токены и урл - должно быть достаточно. Но если вы попробуете и у вас будут какие-то проблемы, то наша поддержка очень быстро отвечает.

[vialz]

Не планируете ли в опенсурс? Область достаточно горячая, конкурентов много и набрать коммьюнити будет тяжело кмк, если будет только в вашем облаке и он-премис.

[pvdov]

Никто из конкурентов не выводит облачные сервисы подобного рода в опенсорс и вряд ли в ближайшее время так сделает, у нас тоже пока нет таких планов.

[parshinpn]

А можно немного подробнее про long polling: в случае множества параллельных запросов как определяется кому какие сообщения отдавать? Допустим мы ожидаем для первого сообщения пока наберется нужное количество. Что в этот момент делают остальные запросы?

[pvdov]

Запросы линеаризуются на текущем активном storage. Т.е. каждый новый запрос становится в очередь запросов и ожидает пока предыдущий отработает.