Комментарии 22
Непонятно что будет с латентностью памяти при появлении промежуточного регистра на шине данных. Насколько я понимаю она несколько ухудшится, вопрос в том — как сильно…
В любом случае под разного рода кэши использовать всяко лучше чем SSD.
сейчас есть варианты с m.2 PCIe SSD, но если бюджет не проблема — то собрать сервер с 512Гб памяти и держать все индексы/справочники в ramdisk стало проще. раньше это было нетривиальной задачей на ксеонах серии Е5.
Хочу задать глупый вопрос. И задам:

Может кто-то привести пример, какого рода расчетами обычно заняты такие сервера-монстры?!
Но не выдуманный/гипотетический, пожалуйста, а реальный — кто что видел своими глазами?
В нашем случае это виртуализация и 20 ядерные процессоры. У нас например метрика для KVM виртуалок 10 гиг памяти на физическое ядро. Т.е. если ставим 12 ядер, надо 128Гб памяти. Теперь мы можем поставить в тот же сервер 40 физических ядер и 512Гб памяти. Было 4 сервера, стал один. 3 сервера в минус — 90000р в год экономии только на услугах ЦОД… Или поставить один проц на 20 ядер и на нем сделать 256Гб памяти. выгодно и пользователям дешевле выходит.
выгодно и пользователям дешевле выходит
Пользователи тормозную память получают, а так вам выгоднее, да.
память работает однако быстрее чем 16Гб планки вставленные в 16 слотовую мать — скорость выше или так же. почитайте статью выше, LRDIMM работают так же или быстрее на больших объемах.
Какой у вас коэффициент виртуализации получается? Количество «виртуальных ядер», выделенных виртуальным машинам / Количество «логических ядер», которых 20
(Покуда 20-ядерных процессоров пока в природе не встречал, предположу, что речь идёт о 10-ядерных + HT.)
да, на 20 ядер только ожидаются. Пока из наличия:
Процессор Intel Xeon E5-2699 v3 OEM Socket 2011-3, 18-ядерный, 2300 МГц, Haswell-EP, Кэш L2 — 4608 Кб, Кэш L3 — 46080 Кб, 22 нм, 145 Вт за 340000р.
Процессор Intel Xeon E5-2690 v3 OEM более доступен, Socket 2011-3, 12-ядерный, 2600 МГц, Haswell-EP, Кэш L2 — 3072 Кб, Кэш L3 — 30720 Кб, 22 нм, 135 Вт за 15000р
Завтра кстати выдадим клиенту сервер с парой E5-2698v3, это 32 ядра. Его альтернатива была 4-х процессорная машина на Intel Xeon E5-4620 v2 OEM (Socket 2011, 8-ядерный, 2600 МГц, Ivy Bridge-EP, Кэш L2 — 2048 Кб, Кэш L3 — 20480 Кб, 22 нм, 95 Вт) за те же деньги. Вероятно клиенту нужно что-то рендерить.
Могу ли я таки узнать коэффициент виртуализации в типичной вашей среде при котором вы применяете правило «10 Гб на ядро»?
мы обычно считаем от другого. норматив звучит так — сколько памяти надо поставить на 12 ядерную машину что бы процессоры не были загруженны более чем на 50% в обычном режиме и сколько емкости на SSD дисках должно быть в ней. Сейчас это порядка 128-196Гб, около 80-90 виртуалок на ноде работают одновременно. Но это машины не одного клиента, по этому с производительностью по процессору все ровно. При перегрузках — живая миграция на менее занятую ноду.
Есть еще продукт «виртуальные выделенные сервера», там через проксмокс мы просто режем 1 к 1. Но цена выходит уже другая за ядро.
Обсчёт данных геологоразведки, проектирование/планирование работ — 18 нод в кластере, по 128ГБ памяти в каждой, плюс стойка с винтами на 3ПБ в сумме.
Если в каждую ноду засунуть х4 памяти, то хранилище будет требовать меньше замен винтов и дольше проживёт.
Базы данных, например, начинают очень сильно тормозить, когда индексы перестают влезать в ОЗУ. Нагрузка на Iops-ы возрастает на порядки. Распараллеливание СУБД по нескольким серверам (репликация, партиционирование, и т.п.) — путь сложный: геморроя много, а эффект далеко не линейный по затраченным деньгам (железо + доработка софта + обслуживание).
С другой стороны, если удается запихнуть основную, «рабочую» часть данных целиком в ОЗУ, то скорость чтения из базы улетает в космос, а СХД работает только на запись.
Нам к примеру нужно обрабатывать 1М событий (JSON) в секунду и писать в базу. Ну и потом как-то на эти запросы отвечать. Чуть-чуть больше памяти немного помогает процессу, да.
Огромные языковые модели и in-memory-индексы для natural language processing. Сотку гигабайт памяти один инстанс отъедает только так.
8 планок по 32Гб (всего 16 слотов и 2 процессора) = 256Гб DDR4

Стоит выбрать RDIMM или LRDIMM?

Спасибо! =)
в ДДР4 на 32 есть только обычные регистровые, LR не бывает на такой размер.
тогда на цену ориентируйтесь, какая разница-то? регистровые по 12000р стоят — http://www.regard.ru/catalog/tovar199754.htm
тоже к ним склоняемся, просто спрашиваю как нужно делать «по книжке», ведь 256Гб — серая зона.

128Гб — RDIMM
256Гб — ?
512Гб — LRDIMM
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Информация

Дата основания
Местоположение
Россия
Сайт
www.hostkey.ru
Численность
11–30 человек
Дата регистрации

Блог на Хабре