Как стать автором
Обновить

Комментарии 191

, 5 человек активно играют — более чем достаточно на данный момент

Шуточек ради, вы им обязательно лычки в игре выдайте «Nova Beta Testers»)
Уже выдал =)
Ну и разумеется система выдачи таких лычек отработана.
Почему так много ресурсов на 5 человек? держу сервис с ботами для онлайн игры на хостинге за 300р, тестировал под нагрузкой около 100 клиентов, все летает.
Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что.
Сотрудник объясняет мне, что переплата за оперативную помощь.

Показалось немного странным Ваше удивление. Судя по всему имеется в виду какой-нибудь SLA от самого DELL на оборудование, которое стоит у них в ЦОДе. И в случае выхода из строя запчасти сервера (диск, кулер, рейд-контроллер и т.д.) DELL оперативно вышлет им замену. Или, что скорее всего, у них на складе уже есть запчасти к серверам DELL (но тоже не просто так, а как часть договора с DELL).
SLA от самого DELL на оборудование, которое стоит у них в ЦОДе

Я же покупаю железку у одних лиц, а размещаю железку у других лиц.
Взаимодействие за дорого DELL с лицами, у которых размещается оборудование — понимаю.
Взаимодействие за дорого DELL с лицами, у которых покупается оборудование — не понимаю.

Полагаю, что корень проблемы в том, что для моей схемы (покупка сервера + размещение в ЦОД) — поддержка DELL бессмысленна. Вот если бы я в свой офис ставил сервер — тогда такие траты выглядели бы осмысленными.
Вы не понимаете сути гарантии вендора.
У вас сдох ssd, или планка памяти, вы просто создаёте заявку в Dell, прикладываете лог с сервера и на next business day (ну иногда конечно 2-3 дня может быть) получаете новый для замены (при чём приезжаете инженер, способный в вашем сервере эту железку заменить). Это касается любого компонента. Купив россыпь железа, вы получаете гарантию на отдельные компоненты (и то, только в случае гарантийного случая, а не просто по тому что он сломался) и сами им несёте в СЦ на диагностику эти отдельные компоненты, будь то процы, память, мать, БП и тд.
Понятно, спасибо за разъяснение, стало намного понятнее. В итоге получается за эту фичу надо мне выложить 1500$ (или +20% стоимости) — как приведены расчёты в соседнем комментарии. Для меня это неприемлемо много. Фраза «россыпь железа» тоже доставляет, от этой фразы у меня ощущение, что вы не читали мою статью.
На наши сервера мы обеспечиваем гарантированную замену на следующий рабочий день по Москве и области, инженер так же приезжает на место эксплуатации. Так что не надо никуда ничего нести. Причем этот пакет предоставляется абсолютно бесплатно. И не только наша компания это делает, есть и другие игроки с такими условиями. Уж Вам то это должно быть известно :-)
К слову у многих вендоров сейчас исчерпание ресурса SSD = гарантийный случай и бесплатная замена. Очень приятно к окончанию гарантии поменять SSD на новенькие.
Если продавать ссд по цене как у этих вендоров-то почему бы и нет? Любой подпишется под этими условиями. а там или «или ишак сдохнет или султан помрет » :-)
Но все почему то хотят видеть ссд в серверах по стоимости дисков в инет-магазине.
так и есть.
НЛО прилетело и опубликовало эту надпись здесь
Я готов платить за +2 ядра 250$, увеличение частоты для данной задачи это приятный бонус. Из-за ошибки в коде была получена ситуация с онлайн 500 человек, был почти полностью съеден ресурс свободной оперативной памяти на старом слабом сервере, а нагрузка на процессор была в пределах статистической погрешности.
с современными процессорами Intel приходится выбирать что-то одно — либо ядра, либо более высокая частота процессора.
либо много денег, потому что топовые многоядерные имеют большой буст при малой загрузке ядер.
Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён.


— обоснуйте, пожалуйста, этот пункт. В чем выражается юридическая защищенность в РФ для вас?
Имея некоторые связи с представителями IT сообщества в Украине я осведомлён, что шансы изъятия сервера из ЦОД в Украине без последствий для изымающего — не равны нулю. Я это называю юридическая незащищённость.
в РФ/США/Европе/Китае — такое невозможно, и потому юридически защищены с моей точки зрения.
В США я не хотел рассматривал вариант размещения из-за пинга.
В Европе — тот же пример Пражский. Случись чего — мне получается надо ехать в Прагу, подавать иск в суд и добираться чего или оплачивать услуги адвокатов. Дорого это всё.
А если в РФ чего случится — я могу себе позволить отстаивать свои интересы в суде без проблем. Ну и я не могу себе представить, что моим сервером что-то случится в tech.ru без существенных проблем для вредителя.
Это кто сказал, что в РФ невозможно изъятие? Да вообще во всех цивилизованных странах это возможно по решению суда, просто в странах СНГ к этому добавляется ещё и произвол властей.

Интересно, у вас уже есть положительный опыт отстаивания своих интересов в судах РФ?

Чел живет в Украине то ему РФ просто так сервер не выдаст. А пинги и физическое размещение — довольно удобны в РФ для украинца.

«Чел живет в Украине то ему КАЖЕТСЯ, ЧТО РФ просто так сервер не выдаст»
Понятия не имею что это.

Это TPM (Trusted Platform Module).
это модуль RMM4 для удалённого управления сервером
Самому собирать самосбор, не разбираясь в железе — та еще авантюра. Допустим сейчас это все завелось и взлетело, вопрос насколько будет стабильно работать… У нормальных вендоров есть онлайн конфигураторы серверов, где просто не получиться поставить несовместимые комплектующие. Одним словом колхоз… не одобряю :)
Уверяю вас, если бы вы прочитали статью — вы бы заметили, что я рассмотрел вариант самосбора сервера и подчеркнул проблемы с этим связанные.
Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.

Если бы пользовались, тогда бы знали за что. Я один год пользовался Supermicro — больше не хочу… До этого был опыт HP, IBM, Dell, и когда-то давно самосборов.
У серверов ведущей тройки, есть внутренний мониторинг работы компонентов. А тут купили в компанию штук 30 серверов supermicro 2-3 моделей, почти каждый отметился проблемами и нестабильностью работы. Что именно сбоит, вычисляется методом перебора, в то время как на нормальном железе к логах пишется — битая память, сбой процессора и тп.
При размещении на удаленной площадке, важная фишка — удаленная консоль (IPMI, ILO, DRAC,RSA и т.п.).
Другая фишка — обновление системного ПО, прошивок, драйверов — на самосборе этого нет.
Не очень хочется вас огорчать, но в данном экземпляре платформы R1304WTTGSR есть IPMI, за 750 рублей в месяц я могу начать им пользоваться, если захочу или понадобится.

Я уже писал, что для офисов DELL — понятно за что переплата, а вот для ЦОД — нет. Чем плоха выбранная платформа Intel?
Вы сравниваете автомобиль сделанный ведущим производителем, с автомобилем гаражного кулибина. Только вот Кулибин может быть не совсем в курсе того, как надо собирать автомобили, потому как его работа заключается не в этом, а собрал он развлечения ради…
Intel — это не ведущий производитель?
Сервер это не только процессор и чипсет. Даже на одних и тех же чипсетах, для обычных компьютеров, разные производители умудряются делать плохие материнские платы и хорошие. Да и платы у интела не лучшие, и никогда такими не были.
По части серверов — нет. Я больше скажу — Intel не производит (официально) серверы, он выпускает только платформы и процессоры — конструкторы. мы, «счастливые» обладатели нескольких серверов от Intel, проблемы с памятью на 3-х из 7 серверов получили в первый же месяц, и ждали замены по 2-3 недели…
Да ладно, от Интела можно получить как платформу, так и систему в сборе ( L9 уровень сборки (память, ссд и тестирование на заводе). И чего интересно Вы ждали замену 2-3 недели? Модуля памяти? Платформы? Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)
Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)

Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца

Вы сами себе противоречите, не считаете? От интела нам месяц ехала память из европы, типа ddr 4 у них кончилась…

Вы сборщик или конечник? Я отвечаю за сервера, которые продаю клиентам. И их МОИ проблемы во взаимоотношении с Интелом не волнуют и я обеспечиваю быструю гарантийную замену. Поэтому проблем у моих клиентов с отсутствием памяти нет.

Этот сервер был раработан не Intel, кстати.
Могу дать контакты подразделения EPSD Intel. Они занимаются разработкой решений.
Нет спасибо… Спросите у них, если у Вас такие контакты…
Как-то купили 4 новеньких IBM, через месяц на двух умерли материнские платы.

SuperMicro делают нормальные сервера. С ними всегда было минимум проблем. Особенно, если нужно установить что-то экзотическое. У SuperMicro проще и дешевле дизайн (механический, к примеру), но сейчас 1U сервера на много лучше, чем были 3 года назад.

У всех производителей свои проблемы, например, попробуйте поставить M.2 SSD в DELL.
supermicro брали именно под изврат — соболя в нормальные сервера не воткнуть, плюс заказчик под санкциями… сервера якобы собраны в США, на одном не работала память, открыл — вставлена планка памяти так, что раздавлен слот DIMM. Представительства в России нет, есть пара поставщиков непонятной адекватности. Общался с обоими по лицензированию IPMI, оба не смогли ответить на вопрос активации ключей (что дают, и как получить нужный нам функционал).
С контроллерами тоже все очень забавно, есть ограничения по максимальному числу дисков, сейчас деталей не помню. (помоему RAID10 не более 8-10 дисков, на шасси где 24 диска можно установить). Каждый сервер почему-то имеет свой внешний вид IPMI и BIOS, отличный от других, пришлось писать документацию заказчику под каждую модель. RAID контроллеры тоже каждый по своему конфигурится, создать RAID10 это куча кликов по невнятным меню.
Как раз пользовались 1-2 юнитовыми серверами 50\50…
Ну и с качеством проблемы, да, виснут в процессе работы, или просто перестают отвечать на внешние раздражители (клава, монитор, мышь и сеть не работает, но система живет). Под проект купили больше сотни, я успел пощупать штук 30, очень много брака, причем много вылазит в процессе экплуатации. А так, да, дешево…
за 5 лет эксплуатации пары десятков серверов не заметил указанных вами проблем, рискну предположить что вам под видом supermicro продали какой-то шлаковый самосбор.
а вот интеловские железки вообще не радуют, особенно блейд mfsys25v2
В Dell PowerEdge R640 m.2 прекрасно ставятся.
Кстати, это 1U сервер, в котором можно собрать массив из двух m.2 накопителей.
Если я не ошибаюсь, это уже 14 поколение, а у нас 12. С SuperMicro никаких проблем с любым, и с Fujitsu тоже.
Что именно сбоит, вычисляется методом перебора

Откройте для себя mcelog, например.

Спасибо, а под винду что-то подобное есть? А то гугл не помог… а bsod-ы не всегда возникают

Под винду не знаю. Подозреваю, что можно загрузиться с линуксом и mcelog все покажет, ибо, кажется, пишется все это биосом куда-то в районе nvram или еще как-то, независимо от операционной системы.

однозначно лучше pci-ssd

Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
Итого выбор: 2шт 6Tb HGST HDD.

И неделя ребилда? И при этом бекапы будут литься ооооочень медленно.

Просто ради интереса накидал, без учёта каких-либо скидок:
Dell PowerEdge R430 rack 1U up to 4 x 3.5″ SAS/SATA HDD / 2 x Intel Xeon E5-2630v4 (2.2GHz, 10C, 25MB, 8.0GT/s QPI, 85W) / 8 x 16Gb PC4-19200(2400MHz) DDR4 ECC Registered DIMM / 2 x 200GB SSD SATA Mix Use MLC, 6Gbps HS 2.5″ in 3.5″ Carrier / 2 x 6TB 7.2k Near Line SAS 12Gbps HDD HS 3.5″ / PERC H730 RAID(0,1,5,6,10,50,60) Controller 1Gb NV Cache 12Gb/s with battery / no DVD / iDRAC 8 Enterprise 8GB SD card / Broadcom 5720 4x1Gb Integrated card / 2 x Power Supply, 550W, Hot Plug / no OS / 3Y NBD

441766 руб. (по сегодняшнему курсу — 7683$)
Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
Извините бюджет не резиновый. А задача сервера — не работать под нагрузкой 5 лет, а выдержать заявленную выносливость в течении 3-5 месяцев, когда прийдёт время.

Да, единая точка отказа. Я вроде подробно расписал, почему я осознанно пошёл на такой риск. В конце-концов сервер должен решать бизнес задачу, а не просто быть купленным для галочки.

Судя по статистике zabbix ребилд будет… 8 дней. Ну а какие есть варианты по этому вопросу?

200GB SSD SATA Mix Use MLC
Убрали железку стоимостью 120к рублей и добавили 2 железки стоимостью 20к рублей.
Убрали 10 гигабитные порты за 10к рублей.

Я считаю получился прекрасный пример непонятной переплаты в 90к рублей за оборудование DELL.
Я вроде подробно расписал, почему я осознанно пошёл на такой риск.

Видимо я этого или не увидел, или не посчитал аргументом. Да, у вас будет пара простых SATA SSD в RAID1 и при этом 3 года гарантии их замены! При этом, это полноценный рэйд, и потери данных в случае выхода из строя одной железки не произойдёт. Уж я то PCI-E SSD насмотрелся. habrahabr.ru/search/?q=PCI-E+SSD#h (то, что Блог компании ADVANSERV — моё творчество). Конкретных требований по IOPS у вас в тексте я не вижу, кроме «вау, архив распокавался за секунды!» — сервер не для этого, тем более продуктивный под приклад), по этому на мой взгляд можно было ограничиться и 3x200Gb SATA SSD raid1 + spare, если уж таких требований нет и не описан характер нагрузки на сервер приложением.

Я уж молчу про аргументацию за 128Gb… на сколько микросекунд оно будет медленнее и в каких именно операциях? И какие сотые процента разницы вы получите на своём приложении?

Ну а какие есть варианты по этому вопросу?

4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд

Убрали 10 гигабитные порты

Их просто не заметил, каюсь, уж больно много текста

пример непонятной переплаты

За эти деньги, вы получаете не кучу железа в рассыпухе, а готовое решение, а 3-х летней гарантией работоспособности всех компонентов на протяжении 3-х лет.
если уж таких требований нет и не описан характер нагрузки на сервер приложением
По статье разбросано много требований к ssd. 1-2tb перезаписей в сутки. Про iops каюсь, надо было указать, что надо было примерно 50000iops на запись гарантированно иметь (разумеется это не линейно, что 1 игрок требует 1 iops всё время, но очень примерно). Чем быстрее перезапись — тем лучше. И т.д. Основная нагрузка — от БД. Но мне её сейчас нечем нагрузить. Только синтетические тесты. Открыт для предложений по оным.

На тему памяти — надо было купить 64 сейчас и возможно 64 потом? Сэкономить на этом 500$. Я ж описал, что недостаток памяти для этого проекта — это маленькая катастрофа. Вот, и получается — на одной чаше весов риск+500$, а на другой без риска, но без 500$. Я выбрал сразу установку 128Gb. Или речь про задержки? Ну какая мне разница? Ковыряние памяти — основная задача данного приложения, поэтому я выбрал максимально хороший вариант в рамках моего бюджета по памяти.

4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд
Понял, согласен, спасибо.

готовое решение
А у меня получилось не готовое решение?
1-2tb перезаписей в сутки

Это не просто много, это безумные объёмы, и даже PCI-E SSD на 400Gb тут жить будет очень плохо и скорее всего не долго. Вы, с точки зрения дисковой подсистемы учитываете требования к нагрузке, говорите про количество перезаписей, выбираете самую дорогую модель, но одну! Поймите — никто не даст гарантию, что он не умрёт через неделю после покупки при 100 раз меньше нагрузке. И что тогда вы будете делать? Ехать в цод, вынимать, везти продавцу, отдавать в СЦ, это минимум неделя простоя, боюсь к тому времени у вас пользователей не останется. Да, покупать 2 таких карточки хотя бы в софт-рейд — дорого, в таком случае нужно искать золотую середину между отказоустойчивостью и производительностью.

надо было купить 64 сейчас и возможно 64 потом?

А может быть было достаточно пока взять 12х8Гб? Получить память с запасом, место для дальнейшего расширения и при этом ставить более дешёвые модули, что помогло бы сэкономить бюджет?

Опять-таки, я не увидел аргументов в пользу выбора E5 процессоров, кроме экономического
слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620

вы считаете это правильным подходом? При том, что в камментах я увидел лишь рассказ о том, как приложение сжирало память, при низкой утилизации процессора, так нужно ли вам на самом деле 40 потоков? Или опять-таки — можно было сэкономить, и взять тот же второй P3700? Железо — не лучшее решение для простого вложения денег.

А у меня получилось не готовое решение?

Да, но за работы этого решения — отвечаете вы. Выходит из строя любой из компонентов, вы едете в цод, вынимаете его, сдаёте в СЦ, ждёте его решения, возможно (в случае если это признаётся гарантийным случаем) получаете новую железку (через пару недель) затем едете ставить её обратно. Гарантия вендора на сервер работает иначе. В случае выхода из строя любого компонента, вы создаёте онлайн заявку, прикладываете логи с сервера, а 3NBD говорит о том, что в течении 3-х лет вы получаете замену на следующий (ну порой 2-3) рабочий день, и вы не должны ничего объяснять, как вы ей пользовались, по какой причине она вышла из строя и тд. В этом то и разница, за это и переплата, и поверьте моему опыту — она того стоит.

Я не пытаюсь убедить вас, что вы сделали что то не так, в любом случае это ваш опыт и деньги уже заплачены, оборудование установлено и работает, я просто надеюсь, что когда ваш проект разовьётся (а я вам этого желаю без сарказма) и вы решите расширять свою систему, вы уже будете понимать, чем отличается сервер от «большой тройки», от самосбора на интеле, супермирке или асусе.
Спасибо за развёрнутый коммент. Тиском заявил, что они поменяют любую детальку в течении этого-следующего рабочего дня. А потом мы с ним спокойно разберём это был гарантийный или не гарантийный случай. Разумеется не за бесплатно. Но суть я уловил, спасибо.

Что будет если выйдет из строя раньше времени данный NVMe? Видимо будет downtime около недели и море потерянного времени. Ну и тут появится новая статья полная боли и ненависти к Intel. Надеюсь этого не будет.

На тему подхода — я думаю вот чего. У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. Все площадки с играми имеют раздел с играми-новинками. Одна игра может только один раз туда попасть. Только один шанс. Взвесив все варианты развития игры я выбрал этот путь, именно поэтому все важные показали железа берутся с запасом насколько позволил бюджет. После момента старта нельзя будет выключать сервер и чего-то туда устанавливать, иначе ломается вся бизнес модель. А я хочу иметь хотя-бы шанс на успех. И после этой попытки есть ровно 2 варианта развития событий, либо игра успешная и как можно быстрее собираются деньги на кластер серверов — и строится полноценная инфраструктура для полноценного бизнеса. Или игра не успешная — и ей место в моём портфолио, и тогда надёжность и возможный downtime через 5 лет в неделю не страшен.
Я готов подтвердить эти слова. Причем NVMe меняется так же NBD. В ЗИП они есть.
У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. <...>

Вот для подобного идеально арендовать облако с возможностью быстро расширить ресурсы. А уже через какое-то время, зная детально сколько и каких ресурсов в среднем потребляется, брать под это железо.
Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца. :-)
А кто Вам сказал что здесь куча рассыпухи? Здесь так же готовое решение, за которое мы несем ответственность на протяжении 3-х лет. Склад ЗИП у нас полон, даже Optane (P4800x) мы готовы менять NBD (на данный момент их 4 в ЗИП).
Готовое решение, которое собирал покупатель? И вы за него несёте ответственность? Видимо с такой моделью бизнеса я ещё не сталкивался у нас. А если он ножки погнёт на сокете при установке проца или планку памяти повредит при неправильной установке — то же замените?

Решение собирали мы. Соотвественно кучи рассыпухи нет. А если вы у делл погнете сокет- заменят?:-)

Погнутый сокет — это естественно негарантийный случай. В 90 % случаев сможем выправить ноги.

Успокойтесь, не надо так много писать. Как работаю компании, подобные вашей — я знаю, сам когда то работал. Лишь ошибся в понимании того, что же автор всё-таки в итоге купил.

Да я особо и не волновался, просто зная Вас давно не ожидал подобных комментариев:-)

Вы давно меня знаете? Интересно :)
не ожидал подобных комментариев

подобных — это каких? недоверия к самосбору? :)
Или на фотография вовсе не руки автора, а вашего инженера и вы поставляли всё-таки уже готовое решение? Исходя из фоток и подробного текста о выборе комплектующих я сделал вывод о первом, видимо я был не прав? Тогда извиняюсь.

Руки нашего инженера. Автор просил сделать фото, публикацию на хабре мы не просили.

те ему даже за рекламу скидка не перепала? какая печаль

Нет, не перепала:-) и о таком развитии событий на я хабре я подозревал)

И так цена хорошая, даже в самый последний момент (за неделю до собственно покупки) Server-city связались со мной и сказала «а давайте мы дешевле предложим и конфигурацию буква-в-букву». И оказалось дороже.
В ситях сейчас как то всё не очень хорошо :)
во-во, с гарантией на железо 3 года, и гарантией работоспособности решения… Причем Dell в России не самый дешевый вариант.
А кто сказал что здесь нет гарантии работоспособности решения? Моя компании отвечает за это. И отвечает более 20 лет уже. Поверьте, к нам бы клиенты не возвращались, если это было бы не так.

Какой хоть жанр игры?
Стратегия
У AMD устаревшие процессоры, серьёзно? Про AMD EPYC никто не слышал что ли?
Пол года назад их не было.
Планируете хранить бекапы на самом сервере? Не самое лучшее решение
А почему не облачное решение? За довольно большие деньги для стартапа, вы получили риски отказа железа, геморой с мониторингом железа,, геморрой с восстановлением железа в случае проблем, отсутствие резервной площадки в случае проблем с основной, и как все было бы просто, если б вы арендовали себе кусочек облака?
Ну ок. Предположим, я беру в облаке — предположим игра оказывается финансово несостоятельной. Всё, закрываем проект полностью. И в портфолио я смогу положить только дырку от бублика. Я уже ловил такую проблему в прошлом и об этом в статье написал. А сейчас получается даже если приносить будет 50$ в месяц — уже финансово состоятельная и у меня уже есть оборудование для следующей попытки чего-то сваять.
Предположим игра оказалась успешной и при запуске она примерно соответствует максимальным ожиданиям — это мне за хостинг надо будет платить 1000$ в месяц. А работающий продакшн трогать — себе опаснее и переносить на свой сервер. Тьма времени и сил и денег. Было уже так, не хочу повторения.

На тему бэкапов — соглашусь.
А в чем смысл вообще всех этих действий?
Сейчас он у вас не нагружен, то есть оборудование будет загружено, дай бог на 5%, в течение года. По моему просто выброшенные деньги. Да и устареет он через год.
Да и «нЬюансы» и «нвИстиции» в статье как-то напрягают.
Судя по всему человеку захотелось поиграть в админа, вот на это деньги и выброшены. Облачное решение как минимум до старта релизной версии игры было бы намного разумнее.
Спасибо, что обратили внимание на опечатку.
А почему оборудование устареет за год?
За последних 2-3 года производительность E5-2xxx выросла на проценты, а не в разы.
Выбранная материнка поддерживает до 1.5ТБ ОЗУ.
Единственное узкое место на мой взгляд — корзина на 4 диска. Но это зависит от задач.
Обычный сервер в цод (под виртуалки).
Как я понял, если проект не взлетит — автор будет пробовать еще что то и для этого что то нужно будет железо.
И даже через 3-5 лет это сервак будет вполне актуальным для второстепенных задач.
Выбор как видно был сделан в пользу tech.ru

и тут внимательный суслик увидел, что на скринах фигурирует адрес kvm1.idc3.msm.ru
Внезапная внезапность. MSM.ru и TECH.ru — это одна компания.
А мне статья понравилась, этакий гик-порн. С удовольствием бы поковырялся со сборкой и настройкой такой железки. Автор, уверен — железка будет хорошо и долго работать, удачи с запуском игры! А то набежали тут энтерпрайзники со своими страхами.
Спасибо большое! Очень приятно, для таких как вы я и старался. С подробностями, как всё было, ход мыслей, с фотками.
Дайте пожалуйста ссылку на игру
Как только игра будет доделана — обязательно опубликую ссылку.
А блок питания задублирован?
smart-атрибуты с NVMe с его «моторесурсом» снимаете? А то при ошибке какой этот шустрый диск выжрет свой ресурс за неделю — будет обидно.
Покупка второго БП запланирована за пару месяцев до планируемого старта. Так-то да, бага в коде и оп-оп подавай новый p4800x, iops мониторю через zabbix, состояние hdd-raid смотрю через спец команду кучерявую.
Интересный кейс. Вероятно, отправной точкой все же послужил солидный бюджет на такую затею? ТС очень скрупулезно подошел к выбору всего чего только можно, пусть и в рамках субъективного взгляда на все тонкости выбора и покупки. Очень даже хорошо получилось, если закрыть глаза на стоимость.

Админы компаний, где серверная инфраструктура огромна и в приоритете максимальное удобство взаимодействия с железками, качественная и оперативная поддержка со стороны вендора будут советовать альфа бренды. Те же, у кого неоправданно высокая стоимость оборудования съест большую часть профита, а железо так или иначе через пару лет станет неактуальным — будут защищать золотую середину или на худой конец «самосбор».
Мы, скорее попадая во вторую группу, попробовали и альфа-бренды, и интелы и супермикро.
Да, новые HP, Dell — круто, стильно, модно. И очень дорого. Может быть для кого-то удобно и целесообразно менять платформы раз в 1-2 года. Для нашей модели работы оказалось совсем неприемлемо.

Интел — хороший средний вариант, ничего плохого не скажешь (у нас стабильно работают еще с 10 платформ на S5520), но и похвалить особо не за что. Пример — было несколько серверов SR1625URSASR — все работало отлично, ровно до того момента, когда мы захотели сменить HDD на SSD — половина работали, половина нет, саппортед лист — кот наплакал. Ну и в довершение — все завязано на весьма старый SAS-контроллер+бекплейн, 3Гбит/с. Приехали, меняйте платформу.

У супермикро, на котором мы и остановились, бекплейны 10+ летней давности без проблем работают на 6Гбит/с. Экспандируемые решения — имеют ограничения, но нет проблем заменить SCSI на SAS2 или SAS на SAS3 — все унифицировано. То же касается и замены какой-то древней платформы на Х10/Х11.
Касательно надежности — даже не припомню проблем по вине именно оборудования вышеупомянутого вендора — или партия винчестеров плохая попадалась, или модули БП от старости вылетали.

PS: Честно, поддержу мысль что ТС похоже слишком много внимания уделил серверу. Ведь это лишь инструмент. Если речь идет об игре, которая может привлечь тысячи, десятки тысяч игроков — да этот сервер отойдет на 10 план!
У Intel лучше гарантия в РФ, поэтому сервер в сборе с пятилетней гарантией (от местных «вендоров») выходит существенно дешевле Супермикры.
Спасибо за хороший коммент.

Деньги свои и для меня это огромная сумма. Даже больше скажу: самая дорогая покупка в моей жизни. Поэтому уж извините, в такой покупке я хочу быть уверенным, что каждая копейка вложена правильно.

На тему внимания к серверу — согласно бухгалтерии, это не самые большая часть расходов проекта (самая большая — это графика, и внезапно юридические вопросы тоже значительно денег кушают). По времени — ну если очень примерно считать в процентах из общего числа потраченных часов, наверное меньше 5% времени на проект в этом направлении ушло (на сервер).

Скажу откровенно, статья так себе, как и муки выбора оборудования, не смог дочитать до конца. Обратитесь к нормальному системному интегратору, и Вам объяснят на пальцах что лучше и почему. Кстати у процессора E5-2620v4 частота 2.1, а у процессора E5-2630v4 2.2, о каких 10% разница в частоте? Далее память LRDIMM, это не обычная регистровая память, прочитайте хоть в чем суть и плюсы данной памяти.
Сравнивать самосбор с самосбором можно, но для реально важных задач стоит, однозначно, выбирать А Бренд и ещё с дополнительным сервисом, и если сервер будет уже в продуктивнее, то время простоя может стоить Вам не только потери репутации, но и бизнеса в целом, этим и отличаются, в частности, серверы именитых производителей, firmware постоянно допиливается, баги фиксят. По поводу выбора рейда, это жесть вообще: например, raid 1, Вам и вправду нужен для БД игры, это самый быстрый рейд, а вот для бекап в используется raid 5 or raid 6, для увеличения объёма, но эти рейд группы являются достаточно медленными, то есть не для всех задач подойдут. Вообще замечаний много, а хотелка секономить, очень часто оборачивается полным провалом и огромными затратами позже. Если возникнут кнут техн чешские вопросы касательно северного оборудования и схд, обращайтесь, проконсультирую :)

Интересно, системные интеграторы и прочие прослойки между вендором и покупателем готовы работать с покупателем одного сервера?

Скорее наоборот, у меня остались вопросы, почему автор не попробовал распараллелить игру шардингом на нескольких серверах, и тогда открываются возможности
1) несколько самосборов на i7/ryzen
2) несколько б/у серверов без ddr4

не сильно понятно желание работать только с ddr4. Если, скажем, можно было бы раздобыть б/у систему с новыми дисками за $4000, но с ddr3, то реально ли прирост от ddr4 стоит $3680. Проводились ли тесты? Все таки, если цель делать бизнес, то надо точно понимать, за что платятся деньги.

PS не знаком с российскими ценами, но если бы бралось в Германии, и там же бы размещалось в серьезном ЦОД, было бы дешевле. $7680 за 20*2.2 ядер + 50 ГБ памяти это на первый взгляд много.

В Украине, системные интегратор, работают с теми кто спрашивает, так же предоставляют консультацию по многим вопросам и проводят полную настройку оборудования под задачи заказчика.

Ну ок, игра прекрасно паралелится между несколькими железками. Собираем десяток «несколько самосборов на i7/ryzen» и «несколько б/у серверов без ddr4». Разумеется это будет значительно дешевле $7680.

Но какая внезапность: место в стойке ЦОД стоит денег. И такая радость будет кушать в лучшем случае 500$ в месяц, даже в Германии. А за данный агрегат оплата чуть больше 50$ в месяц, потому что он 1U.

На тему тестов сравнения ddr3-ddr4 как мне надо было поступить? Арендовать на месяц сервер с ddr3 и арендовать на месяц сервер с ddr4, заранее подготовить тесты — запустить на сервере. Итого часов 20 возни и около 300$.
Я вроде в статье написал, что планирую пользоваться данным девайсом 15 лет — зачем вообще с такими планами делать подобный замер?

Почему для выбранной бизнес-модели неприемлемо постепенное наращивание я где-то писал в камментах. И да, если бы я выбрал постепенное наращивание — то гораздо дешевле было бы использовать облако, чем рой дешёвых серверов.
НЛО прилетело и опубликовало эту надпись здесь
10 лет вендор не бесплатно же предоставляет? Наличие ЗИПа гарантировано в течении гарантийного (или сервисного)периода у меня на складе. Будет запрос на 15 лет-будет ЗИП. Стандартный срок жизни (выпуска) 5 лет для стандартных компонентов, 7 лет для индустриальных решений.
НЛО прилетело и опубликовало эту надпись здесь
По конским ценам Вы сможете и Интел запчасти купить. Да и EOL заранее объявляется. А много ли клиентов покупают детали на 5-ти летний сервер? процентов 80 берут б/у железку, остальные 20 процентов корпоративных пользователей или выводят из эксплуатации или отдают отделам разработок и программерам на растерзание. Просто трезво нужно смотреть на вещи. 5 лет-это оптимальный со всех сторон срок службы сервера. И с точки зрения производительности и с точки зрения энергоэффективности. Да и остаточный ресурс компонентов уже вызывает сомнения.
НЛО прилетело и опубликовало эту надпись здесь
Почему десяток? Выбранный процессор со частотой в 2.2 перекрывается по перфомансу далеко не топовыми процессорами (AMD Ryzen 7 1700 например). Да, процессора 2, а райзен поместится 1 на плате, поэтому надо 2 сервера, но далеко не 10.

планирую пользоваться данным девайсом 15 лет

это не выгодно. 15 летнее оборудование сейчас потребляет столько энергии и места в стойках, что дешевле его выкинуть, и на освободившиеся платежи взять виртуалку с бОльшей производительностью (если, конечно, сервер не стоит в самодельной серверной, охлаждаемой сплит системой, и оснащенной домашним интернетом)
А при таких требованиях к SSD не рассматривали вариант хранить всё в оперативной памяти? А сливать данные на диск/SSD изредка для backup'а и при сигнале от UPS'ы?
Рассматривался и ещё запланирована работа по подобной оптимизации. Но всё-же было принято решение сделать ставку на возможность падения сервиса игры в любом месте без потери целостности данных и без потери данных пользователя. Поэтому получается, что каждое «активное» действие пользователя должно сбрасываться на диск со всеми причастными данными, в рамках одной транзакции.
Классический патерн использования очерей с персистенсом (к примеру, кафки). Насколько знаю, такие решения ни разу не требуют hi-end дисков (так, как делают линейную запись, которая под силу и очень слабым дискам). Могу предположить, что все таки random write частый идет, не нужный для данного паттерна.
У меня реализована самодельная ORM система, которая при задаче сброса на диск изменений куска игрового мира — формирует множество INSERT, UPDATE, DELETE и выполняет всё это в транзакции. Как это переделать в потоковую запись — весь во внимании.
Спасибо, бегло прочитал — суть понял, но переделывать наверное уже ничего не буду. Есть реализованный и проверенный механизм без багов, под него куплена специальная железка.
А ссыль на игру можно уже?)
Такой вопрос уже был. Как только игра будет доделана — обязательно опубликую ссылку.
Хоть меня никто и не просил, приложу пару ссылок из нашей внутренней вики, из раздела про выбор процессоров:
www.microway.com/knowledge-center-articles/detailed-specifications-of-the-intel-xeon-e5-2600v4-broadwell-ep-processors
www.pugetsystems.com/labs/hpc/Intel-Xeon-E5-v4-Broadwell-Buyers-Guide-Parallel-Performance-820
Ну и да, по базовой внутренней метрике (не учитывая всякие штуки типа вред от NUMA или минимальную требуемую ширину шины памяти), E5-2630v4 лучший по соотношению цены/производительности. На пятки по этому соотношению ему наступает E5-2680v4 (он существенно дороже но и существенно мощнее). Среди односокетных с полной шиной — оптимальный вариант E5-1650v4, с «обрезанной» — E3-1270v6.
Я вот тоже недавно прикупил сервер домой. Сейчас с удовольствием с ним копаюсь. В 2009-м он стоил как приличное авто (HP Proliant G5 на E5450, 16ГБ RAM), а сейчас — 90 дол. Докупил в него 16ГБ DDR2 за 20 дол. Получился вполне приличный комп. Как выяснилось, мой комп на базе i7-4790k всего лишь в 2.5 раза быстрее по CPU, а на интенсивном IO так вроде даже и не быстрее.

"всего лишь в 2.5 раза" ;)

Спасибо, полезный материал, особенно краткая аналитика по железу, надо тонны материала проанализировать, чтобы понять что по чем и в чем различие. Плохо что нет каких-то единых маркетинговых стандартов

Стандарты есть, возможно не все на поверхности, но есть. Например, касательно SSD, есть общих три типа RI, MU, WI — рассчитанные на чтение, смешанные нагрузку или максимальную запись. Плюс важен параметр DWPD, и на сколько он рассчитан лет, в основном это 5 лет.

Согласен, что плохо, что нет стандартов ssd адекватных и безумно сложно разобраться. Но зато мы не переплачиваем за подгон чипов под стандарты, а платим за то, что реально есть. К сожалению всё не так просто как «RI, MU, WI + DWPD».

Это самое простое на что стоит обращать внимание при выборе SSD. Вы правы, что все сложно, для этого и существуют люди, которые постоянно учатся и получают подтверждение своих знаний и навыков, сдачей экзаменов и участием в реальных проектах и закрытием определённых кейсов…

Не боитесь в открытом виде публиковать ссылку на потенциально дырявый KVM?
Сразу после завершения использования IPKVM по моей отдельной просьбе был отключён. В логах linux увидел факт отключения. Вроде достаточно, чтобы не беспокоится по этому вопросу?

Так а что за игра то?

Такой вопрос уже был, дважды. Как только игра будет доделана — обязательно опубликую ссылку.

Забавно наблюдать сначала "отчёт о том как я вставлял память в материнку" а потом — муки "какую же память выбрать".
Так же странно видеть подряд утверждения "много занятых слотов — меньше скорость, поставлю ка лучше одну планку большого объёма" а потом "поставлю планки во все слоты поровну, так лучше". Дело даже не в том, что первое утверждение неверное (этого автор мог просто не знать), а в том, что первое и второе утверждения прямо друг другу противоречат и автора это кажется не смущает.

НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Я в начале статьи чётко написал о причинах покупки, а не аренды. Удивительно, что так много комментариев от людей, которые не могут планировать чего-то дальше 2х лет.

192 тысячи в год? Вы серьёзно считаете это лучшим выбором, что тот что сделал я?? То есть на одной чаше весов 3 года пользования раза в 2 слабее сервером, а на другой чаше весов 15 лет (включая стоимость места в стойке) пользования сервером в 2 раза сильнее.

А ещё у меня есть опыт поднятия стартапа: хостинг за 5$ потом 20$, потом 100$ потом 600$. Внезапно переезды между серверами — это время, много времени. Вместо того, чтобы сделать очередную полезную фичу — время тратится на переезд. И аренда дорогая выедает часть дохода от проекта. Вы уж извините, но не всем удаётся заработать миллионы, даже 1000$ доход в месяц — это тоже результат. В данном проекте хостинг-аренда легко достигнет 1000-3000$, хорошо ещё если проект будет окупать такой хостинг. А если нет? Я не готов столько платить из личных денег. Вытереть из своей истории эту попытку поднять стартап? Я ж чётко написал — у меня есть такой опыт и это нанесло чудовищный урон моему благосостоянию вцелом, речь идёт о упущенном размере зарплаты, как специалиста — речь идёт примерно о 20000$-30000$, потому что я не мог предъявить выполненный проект в прошлом — у работодателей по факту есть непонимание: «как это, сайт с миллионной аудиторией закрылся?». И они правы в своём непонимании. Извините сразу эти суммы в статье не написал, думал «чудовищная сумма» будет достаточно.

Решение принимается с учётом всех факторов, а не с учётом одной грани. Неужели это не очевидно!?
НЛО прилетело и опубликовало эту надпись здесь
Мы обсуждаем тему аренда vs покупка. Я привёл весомый аргумент, почему именно в моём случае выгоднее купить, а не арендовать. Вы его проигнорировали и стали о других деталях говорить — затрудняюсь вести беседу в такой ситуации.

Разумеется в сферической ситуации в вакууме для пяти активных пользователей правильнее было бы взять сервер в облаке и увеличивать по мере развития проекта. Тут нечего обсуждать.
НЛО прилетело и опубликовало эту надпись здесь
Это как с покупкой/арендой квартиры. Математически арендовать выгоднее, но все хотят купить ибо СВОЕ.

Не совсем корректное сравнение.
Арендовать выгоднее, но квартира это актив цена которого через 10 лет владения не сильно изменится. А сервер через 10 лет превратится в кучу неликвидного железа.
У меня на работе валяется целое делловское шасси укомплектованное блейдами, которое нафиг никому не нужно сейчас даже по цене металлолома, несмотря на 20 процов/сотни гигов оперативы, прочие красивые цифры да еще и ящик зипов в придачу.
НЛО прилетело и опубликовало эту надпись здесь
Я напишу поподробнее вам в личку.
Меня вот тоже, если честно, несколько смущает оправданность и адекватность сего мероприятия, в первую очередь, для самого его автора:
  • вроде и сэкономить пытается, намеренно отказываясь от альфа-брендов с их кошерным суппортом, но при этом с ходу тратит 7.5 тонн «на вырост» проекта, который еще может и не выстрелит;
  • отказывается от того же финансово более оптимального клауда, ради сомнительной доступности, в случае чего, нереализовавшегося проекта как «демо для портфолио», в то время как последнюю уж можно вообще на бесплатном сервере крутить, как говорится, on demand (иначе дороговато для портфолио получается);
  • «готов рассмотреть варианты с инвестициями в саму игру, от 100000$», но при этом совершенно не исключает возможности неуспеха проекта (именно игры, а не сервера), многократно упоминая вероятность снова вернуться «работать на дядю» (ага, то самое портфолио).

Помимо же этого статья и материал в целом вышли очень интересными — упомянуто много нюансов, мне ранее попросту неизвестных. Автору всех благ и успехов с реализацией игры — очень бы хотелось увидеть как она выстрелит :)

P.S. Я так понимаю, краудфандинг именно игры не рассматривался в принципе?
Спасибо за хороший комментарий.

краудфандинг именно игры
Можно чуть подробнее?
Ну как: импортный Kickstarter или же российские Boomstarter и Planeta. Учитывая, что игра уже в рабочем состоянии, и предполагая, что она таки должна быть как минимум любопытной, собрать инвестиций на завершение проекта и к тому же заранее найти свою аудиторию не должно составить труда.
Большое спасибо за совет, когда придёт время — попробую.
Не могу назвать это успехом. 90к собранных средств, ну и возьмём оптимистический вариант 200к на steam. Итого 300к дохода за всё время — по оптимистическим оценкам.

Плюс выглядит как не завершённый проект. Я бы себе такого завершения не хотел.

Уж лучше сделать готовый продукт и с чистой совестью забить на него, если денег не приносит. А игроки бы радовались игрушке без багов и интересным ДОДЕЛАННЫМ геймплеем, пусть даже 100 часов хорошего геймплея. Вот это минимальный результат, который я хотел бы получить.

Пожалуй я получил подтверждение, что моя выбранная бизнес-стратегия правильная.
Я конечно не ожидал исчерпывающего фин. анализа этой поделки, но вот так откровенно брать цифры с потолка все же не стоит. Взять хотя бы SteamSpy, выдающий далеко не 200.000 рублей. Также, возможно я кого-то удивлю сказав, что онлайн-продажы это не лавка на рынке, где успех предприятия определяется тупо собранным кэшем за день. У тех же онлайн-игр лицензии редко составляют сколь-нибудь значимую часть ревеню — обычно это F2P, DLC, реклама наконец. К тому же 15.000 юзеров у выше упомянутой игры (по данным все того же SteamSpy) определяют вполне себе неплохую клиентскую базу, а с ней и успешность проекта в целом (конечно, если они в состоянии распорядится этой самой базой). Я понимаю, что у Вас лично амбиции не меньше World of Warcraft или Counter Strike, но все-таки советую спуститься на бренную землю и перестать мечтать уже о многотысячных инвестициях, пока еще, непонятно во что, а сконцентрироваться на своем продукте, для которого на начальной стадии и 90.000 рублей — уже неплохое подспорье банально не загнуться на старте.
Не виню вас, в том, что вы (и некоторые другие хабровчане) не прочитали все мои ответы на подобные комментарии в других местах этой статьи — но прошу отнестись с пониманием — что это очень утомляет. И я меня утомило повторять одно и тоже в нескольких местах сразу.

Вспомнилась история, когда в далёком 2006 будучи студеньтиком проектировал систему авторизации для сайтика с посещаемостью ~300 человек в день. Я около недели продумывал функционал, БД, логику, защиту и прочее. Распечатал подробные макеты, схему-бд, логику взаимодействий всего, показал преподавателю — тот сильно удивился сказав «а зачем ты сделал обязательное подтверждение email?». Я ему стал объяснять — что вот мол «мне не нужны пользователи без подтверждённых email». А он ответил что-то вроде «странный ты, у тебя никто регистрироваться не будет, сделай проще». В итоге за всё время зарегалось и подтвердили свой email ~650000 человек. За всё время не было ни одно даже малой проблемы с системой авторизации — соответственно было время заняться другой полезной работой.

В вашем комментарии и вижу что-то подобное.
Два года назад я вроде как был «неправ» и звучал как пропахший нафталином препод из универа (возможно даже провинциального). Какие новости? Могу узнать название игры? Хочу банально посмотреть на ее успех и разочароваться в своих прошлых суждениях :)
vk.com/kosk_online

Полтора года разработка шла полным ходом (там дневник разработчика есть со скриншотами), но из-за сильного форс-мажора пришлось заморозить проект где-то пол года назад. Этот сильный форс-мажор закончится наверное через пол года-год где-то. Не смотря на тяжёлые обстоятельства огонёк в глазах не угас — и надеюсь, что когда придёт время — я доделаю это дело.

Сервером доволен — каждая деталь своих денег стоила. Вешал на сервер кучу второстепенных задач — со всем он справлялся. ЦОДом тоже доволен — проблем с питанием не было совсем, а большую часть времени проблем со связью не было.
Все таки, хотелось бы услышать от автора размышления на тему «горизонтального масштабирования», «распределенных систем» и «микросервисов» потому как выбор в сторону дорогущего железа ну прям вообще не очевидный! С пачкой микроинстансов нагрузку можно размазать как угодно, всегда будет возможность «вырасти в 2 раза» по любому показателю, будь это IOPS или трафик! Про всякие хардварные оптимизации вообще можно не трогать, ведь какой-то части проекта нужен быстрый диск, какой-то много оперативы, а какой-то проц, в случае с дорогим железом все части проекта получают всё и это ни разу НЕ оптимально/эффективно/(любое другое слово, которое вы для себя придумаете, чтобы доказать ущербность выбора)
Поиграться в железячки — да, круто! Челендж по типу «а смогу ли я» — тож норм тема! Всегда хотелось иметь и вот я решился — молодец, получилось, снмаем шляпу! Но, блин, «под проект» с 500 чел онлайн? Риали o_O? В бородатом 2008 делали игрульки для ВК-шечки, там VDS в 1000 раз тормознее справлялся при онлайне в 2к юзеров и был не «в полке»! Поэтому, статья, без раскрытия «проекта» всех ставит в ступор! Хотябы без линка, опишите чё ж это там такое-эдакое, что ему такая железяка потенциально может понадобиться?
А еще, в догоночку, а когда на вас первый DdOS прилетит, вы себе тоже железо купите?
Спасибо за хороший комментарий.

Сервис игры сделан очень просто — php-master процесс, который отвечает за коммуникацию с клиентами и коммуникацию с php-worker. Эти вот php-worker могут быть легко на нескольких серверах, даже в разных ЦОД разных стран, это можно делать уже прямо сейчас. Да и по большому счёту можно допилить, чтобы мастеров было несколько.

Запас iops получился почти в 10 раз от расчётного. Если этого не хватит для старта — это жесть, прийдётся тогда как-то оптимизировать код. Благо есть куда разгуляться — реже сбрасывать на диск изменения игрового мира.

Трафик — в статье об этом не писал, но я взял сразу 2 канала, один для общего использования, а второй какраз для сервиса игры. Пришлось повозится с роутингом, но не стал об этом писать — всё легко гуглится как такое настраивать. Ну вот на время старта планирую проапгрэйдить этот канал до 10 гигабитного примерно за 20000р/месяц — на несколько месяцев, а там дальше видно будет. Если не хватит 10-гбит канала — это будет огонь. Трафик сокетов и так хорошо оптимизирован он очень маленький. Картинки и анимации — да, кушают трафика. Придётся ставить несколько CDN серверов.

500 чел онлайн — это был потолок старого сервера, далее до 1000 оно наверное будет работать, но сильно тормозить из-за использования swap. А дальше просто сервис упадёт и не захочет подыматься. А этот сервер берётся в расчёте на 50000 онлайн при 1000000 оффлайн. Такой онлайн сам по себе — очень приличный результат, как минимум рекламы даже скромной будет достаточно для окупаемости.

Раскрытие темы проекта тут-сейчас не будет, извините. Я об этом писал в статье. Я понимаю, что было бы интересно подумать «а хватит ли оперативы для такой задачи» или «iops в таких-вот случаях будет сильно большой» и т.д… Да, даже текущая версия игры очень приличная и играбельная — но игре нужно больше контента, нужно больше графики и других вещей. Я ж напоминаю — опубликовать игру в «новинках» я могу только один раз, потому очень не хочу её показывать раньше готовности. Да, платформ много можно публиковать по очереди — но взвесив все факторы, я решил не идти этим путём, а пойти путём публикации сразу в appStore (iPad, iPhone), GooglePlay (тоже телефоны и планшеты), Steam (win, mac, linux), web (native, vk, facebook, mailru, ok).

Ddos: сначала попробую самостоятельно решить. У меня был опыт отражения ddos 2 раза — насколько часов изучения трафика, потом аккуратные записи в firewall и проблема решена. Я понимаю, что могут быть и более сложные варианты — но пока такой опыт. В tech.ru есть услуга-сервис защиты от ddos. Возможно воспользуюсь ей. Если не поможет — буду думать.
Уверены, что с одного сервера сможете отдать 10 гигабит? И, притом, что отдача статики в 10Гб не помешает параллельной стабильной работе сокетов?
Уверен, я ж описал, что такое проблемы очень мало вероятны, но если будут — как я их буду решать. Можно добавить, что iptables вроде можно подкрутить, чтобы он приоретизировал определённый тип пакетов.
Я тоже за аренду — для старта игры самый оптимальный вариант, тем более вы никогда точно не знаете сколько потребуется ресурсов, а брать на удачу с огромным запасом не оправданная роскошь. Все таки игровой бизнес очень рисковый.
Если проект провалится, то убытки на аренде минимальные.
А железо уж очень быстро устаревает, поэтому для себя был сделан выбор
в сторону soyoustart, ovh и hetzner.

Но за статью спасибо, всегда полезно знать из чего сейчас собирают сервера.
Кстати, hetzner собирает сервера из десктопных комплектующих, в итоге они стоят копейки, а производительность выдают большую. Я изучил комплектующие своего сервера на AMD 1700X (8x3.4Ггц) за 60 евро/мес. Там стоит самая дешевая мать от ASUS за 5000 руб и память без поддержки ECC. Но сам сервер работает быстро и без сбоев, нагрузка 24 часа в сутки почти на 100%. В чем подвох? Почему все так не делают?

Отказоустойчивость и надежность. Ну и размеры не последнее место занимают.

Мне дико интересно на чем вы писали сервер!?
Насколько я понял из
Сервис игры сделан очень просто — php-master процесс, который отвечает за коммуникацию с клиентами и коммуникацию с php-worker.
то PHP.
Сам лет 10 назад собирал сервер для своего игрового проекта. Тогда на supertmicro обошлось примерно в $10k. И по чистой случайности размещал сервер в msm.ru, который теперь tech.ru
К слову, сервер уже не актуален, проект многократно окупился, но не взлетел. И до сих пор размещен там же. uptime года 3 (диск seagate в рейде менял) :) Просто стоит для карманного использования. Муки выбора 10 лет назад были намного меньше :)
Почему все так не делают?
Когда у вас час простоя будет стоить 10к$+, тогда вы поймете зачем брать память с ECC, и почему HDD/SSD enterprise уровня стоят намного дороже десктопных. Конечно никто вам не даст гарантию, что ваш enterprise SSD/HDD проработает 5 лет без единой поломки, но вероятность этого намного меньше. Ну и уровень саппорта у хецнера оставляет желать лучшего. Отсюда и цены, имхо.

Кстати, когда работал пару-тройку лет назад с Хецнером, то у них были сервера с ксеонами и ЕСС, в районе 60$, типа такого — www.hetzner.com/dedicated-rootserver/matrix-px
почему HDD/SSD enterprise уровня стоят намного дороже десктопных

— что именно имеется в виду под словом
enterprise
?

Серверных линеек (высокие скорость и MTTF,
большое количетво оборотов и т.д.)
или всё же бренды?

Я лично утратил веру в бренды,
несколько раз обнаружив в серверах IBM диски,
на которых под фирменными наклейками IBM
были Fujitsu и другие диски
Логично, что для «брендов» делают диски другие «бренды». Где-то могут быть отличия в прошивках, а где-то и нет никаких отличий, покупай сам да ставь. У автомобилей тоже самое, да и наверное много где такая ситуация. Можно «не париться» и купить в одном месте, а можно из желания сэкономить разобраться самому, что откуда растет. Но в любом случае в сервере условно IBM не будет десктопного диска условного WD, будет диск из серверной линейки.
Также готов рассмотреть варианты с инвестициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.

Как то у Вас эта фраза не очень-то коррелирует с фразой из начала поста:
Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.


Вы «либо крестик снимите, либо трусы наденьте» (ну, или, «остера-то урежь!»). Игра, балансирующая на грани окупаемости сервиса, отнюдь не является «успешным стратапом», а, скорее, провальным хобби-проектом. При таком подходе, как я понимаю, $100K Вам надолго хватит — можно сразу будет писать еще одну статью про «успешный стартап» на хабре :)
Был бедным студентом, за ~100$ инвестиций и кучу времени поднял проектик приносящий в среднем 1000-2000$ дохода 2 года и требующий 600$ расходов. Не успешно? Потом доход стал уменьшаться, а расходы сохранились и пришлось закрыть проект. Что тут странного?

Теперь опыта гораздо больше, данный проект побольше и ожидаемый доход больше и ожидаемые расходы больше. Чего тут удивительного?
«Приносящий в среднем $1000-2000 дохода два года» — позвольте мне усомниться в этом, мой жизненный опыт позволяет мне не доверять оценкам, расходящимся в разы. Опять-таки, что-то мне подсказывает, что Ваш ежемесячный доход вряд ли исчисляется десятками тысяч долларов, чтобы разница в $1000 была на этом фоне незаметной ;)

Но, даже если и поверить Вашей верхней цифре, $2600 в месяц (т.е $2000 был чистый доход, без учёта затрат в $600), то даже в этом случае «стартапом» я бы, во-первых, такой проект не называл (максимум — успешный хобби-проект), а во-вторых, в чём выражается «успешность»? В том, что за 2 года проект скатился от приносящего худо-бедно какую-никакую прибыль до убыточного?

Учитывая изложенное выше, Ваши претензии на инвестиции «от $100K» выглядят… как бы помягче сказать… немного наивными. Впрочем, я не в курсе нынешних российских реалий — возможно, в России сейчас и есть странные идивидуумы, швыряющиеся суммами по $100K. В Штатах, к сожалению, таких людей нет; подобный капитал вкладывать в «чудесный самосборный сервер» и игру с 5 бета-тестерами, думаю, найдется немного желающих.
Спасибо за комментарий, согласен со своей наивностью.
не доверять оценкам, расходящимся в разы
Этого не понял.
Этого не понял

Ну, $2000 ровно в два раза больше $1000 :) Думаю, что Роман Абрамович, выписывая типсы в нью-йоркском ресторанчике, может ошибиться на тысчёнку-другую, невелика потеря. Но для обыкновенного человека подобная фраза смотрится… гмм… несколько странно (даже там, где «обыкновенный человек» зарабатывает в среднем $14300/month без учёта налогов).

Поймите меня правильно, я лично против Вас ничего не имею, и, даже более, желаю Вам удачи в запуске проекта и много доходов в будущем! Вообще, разработчиков, что-то реально делающих, а не сидящих на условном «хабре» днями и ночами, не так-то и много…

Просто мой слух резанула фраза про «инвестиции от 100000»; imho, так может писать лишь человек, никогда не имевший подобных сумм в распоряжении (кроме долгов по ипотеке). Скажу сразу, что $100K — это весьма значительная сумма, если, конечно, вы ее заработали, а не украли (и не «сверхудачный сын кристалльно честного папы из КГБ/ФСБ»). Если Вы рассчитываете на какие-то инвестиции, то лучше думать не о статьях на хабре, а о реальном, хорошо просчитанном бизнес-плане, а также о работающем проекте, с постоянно растущим числом клиентов.

P.S. Пишу, как разработчик приложений, заработавший за последние 5 лет около $75K total (это, в основном, moonlighting, притом в буквальном смысле слова, так как есть еще и семья, и daily job), но никогда не рассматривавший свои fun projects как «стартап» :)
Понятно. Возможно я сделаю открытие, но любой бизнес это не линейный доход, а кривая, в отличии от работы на дядю. И как мне надо было написать? Вот за месяц такой-то было получено 1800$, далее 1200$, далее 1900$…, ну и в среднем 1567$. Так? :)

Спасибо за добрые пожелания!
Боюсь прослыть «Капитаном Очевидностью», но, если бы Вы написали что-то вроде: «В моём портфолио есть положительный опыт запуска онлайн-игры с минимальными затратами (≈ $462), но принесший за два года $23675 прибыли (без учета налогов), закрывшийся по независимым от меня причинам», а про инвестиции упомянули без указания «минимальных сумм» (я бы на Вашем месте радовался бы любым инвестициям, даже в $5K), то пост выглядел бы более «адекватным».

P.S. Думаю, правда, что найти инвесторов на хабре у Вас не очень большой шанс…
Я в теме не разбираюсь, поэтому спасибо за любую инфу в этой теме.

У меня нет опыта привлечения инвестиций, написал хоть что-то для начала, никто ж не запрещал. В интернетах сайты по привлечению инвестиций это: kickstarter и ему подобные или платформы типа «поделитесь долей проекта и получи деньги».

Ну вот типа kickstarter — единицы получают существенный сбор средств. А времени потратить, чтобы оформить всё должным образом надо очень много.
Ну а отдавать 50% проекта за 5к$ — это глупость, потому что согласно бухгалтерии денежный вклад уже почти 11к$ в данный проект, и до старта скорей всего надо будет ещё ~7к$ потратить (почему я при этом написал про 100к$ — отдельная тема), а ещё около 3000-4000 часов потраченного времени.
Кто-то за просто так пожертвует 5к$? Не верю.

Почему я должен радоваться инвестициям 5к$? На каких условиях? Или чего я не понимаю?
Kickstarter это немного не то, это краудфандинг. Там есть свои ньюансы, и, зачастую, получают финансирование проекты с лучшей «медийной» подготовкой, нежели реально перспективные, но с плохой рекламой и publicity (все — сугубо IMHO).

Ну а отдавать 50% проекта за 5к$ — это глупость

А кто сказал про «отдавать 50%»?! Отдавать ведь можно гораздо меньшие доли (по сути, любые). Я бы сказал, что если есть нужда в инвестициях, важно привлечь, для начала, хоть какие-то инвестиции вообще (перефразируя другими словами, сделать так, чтобы в Вас и проект поверил хоть один человек).

Про «пожертвования» забудьте от слова «совсем». Мой очень длительный опыт говорит о том, что donateware тупо не работает. Предоставьте людям возможность не платить — и они с удовольствием этим воспользуются :) А заставьте платить мелкими порциями, но регулярно (in-app purchases), и «хомячки» с радостными криками нахлынут…

Если Вам не хватает средств на раскрутку проекта, то и $5K инвестиция (судя по цифрам Вашей бухгалтерии) будет весьма полезна (хе-хе, ведь это, как-никак, 45.5% от всех вложенных в проект денег, не считая Вашего времени). Как правильно посчитать долю, которую Вы можете предложить инвестору: посчитайте и оцените (разумно) свои временные затраты на проект, добавьте чуток «бочек печенья и банок варенья» для себя (но главное, не зарываться).
НЛО прилетело и опубликовало эту надпись здесь
Спасибо за хороший комментарий, для таких как вы старался.
Также имеется https. Тоже добавляет очков в сторону выбора их компании.
странный критерий отбора, я бы не назвал SSL от Let's Encrypt показателем надежности компании, хотя безусловно наличие такого сертификата лучше чем вообще никакого
Ничего странного не вижу. Просто если в бизнесе крутятся миллионы долларов, то найти 10$ на сертификат — это точно не проблема. Если нет сертификата — то это значит, что забили на это. Если забили на это — наверное ещё на что-то забили. Возможно на что-то важное именно для меня.
Полностью согласен. Я написал это к тому, что любая 'шарашкина контора' может поставить себе бесплатно такой же сертификат
Сертификат от Let's encrypt — это ж не что-то плохое, в самом деле. Понятно, что банк, допустим, платит деньги за репутацию, и покупает дорогой сертификат. Но всем остальным оно зачем? Тем более когда с технический точки зрения короткоживующие сертификаты Let's encrypt правильнее одного сертификата на, условно, 3 года.
Не только банк.
Серьезный интернет-магазин, продажа авиабилетов, услуги бухгалтерии типа Эльбы и прочия во многих числах.
Везде где вы через сайт работаете с чем то серьезным/дорогим.
Вот когда-то и я так думал, закупал серверы на Intel такие же, собирал, ставил. В итоге оказалось, что Dell — дешевле. Во-первых Dell дешевле HP заметно, так что не надо их под одну гребенку. Во-вторых — Dell дешевле Intel. Потому что когда у тебя сервер выходит из строя внезапно, и так, как не должен (виснет на пустом месте и т.п.) — ты удивляешся и избавляешся нафиг от этого ужаса. IP KVM у Intel и Dell — небо и земля.
Да, я не буду умалчивать о том, что проблемы с Intel возникли после трех лет эксплуатации, но если серверы работают да работают, то почему бы не перевести на них менее критичные задачи? Перевёл. Ну а когда начались спонтанные проблемы — пришлось убирать с них всё.
Вот прямо каждый Intel после трёх лет превращается в тыкву? А у Dell/HPE/Cisco не бывает багов и брака?

Бренды удобнее в эксплуатации и есть интересные фичи — тут спору нет, но при нормальной набивке выходит в два раза (это со скидками) дороже Intel/SMC от местных вендоров.
Наши в тыкву превратились все. Супермикры пока живые, Dell еще трех лет не прошло, чтобы говорить, но пока — нравятся.
Печально, хотя если производственный брак могли починить даже после истечения гарантии.
Oleg_Shi не подскажешь, для серверных железок такое бывает? Мне меняли обычные материнки с XLP и истёкшей гарантией.
с истекшей гарантией (контрактом) ни одного производителя серверного оборудования не знаю.
После того как Интел перестал пользоваться готовыми ODM решениями, а развил свое подразделение EPSD — все стало просто отлично. Это линейка E5 серверов. Ничего " в тыкву " не превращается. Да и гарантию можно официально купить на 5 лет.
Тоже есть мнение, что автор переплатил, но тут довольно скользкая аргументация.
Глянув хоть раз как себя ведет сервер под нагрузкой бывает легко сказать, что он не тянет, или наоборот слишком с большим запасом.
У всего (облако, аренда, колокейшен) можно найти недостатки, их много и они очень существенны. Нет (и не предвидится) «серебряной пули».

Я хотел бы обратить внимание на другое. Автор очень детально и внимательно рассматривает выбор сервера и хостера/ДЦ. Чувствуется, что ему это нравится, даже если это и не является его профилем — но что-то он однозначно понимает, не полный чукча. Что до комментариев «матёрых энтерпрайзников» — так они и между собой не могут договориться. Это не означает не то, что автор сделал все идеально и лучше было нельзя, а всего лишь то, что выбранный вариант имеет право на жизнь.

Меня же зацепил другой момент — там, где автор упоминает на сколько именно онлайна он рассчитывал сервер. То есть сейчас игра не готова и 5 человек онлайн, а должно быть 50к(!). Да, есть ремарка, что «не очень придирайтесь к цифрам», но на мой взгляд это и есть самое важное. В таких проектах важно постараться оценить риски не в тех областях, где есть компетенции (как то подбор комплектующих на сервер), а в тех, где их нет. Как именно будет происходить раскрутка игры? Сколько денег на это уйдет? За какой срок необходимо достичь показателя? Как удержать игроков, когда первичный бум проходит (график дохода, вероятно, не будет расти всё время)?
А по сравнению с этим выберете вы такой ссд или сякой — вообще не важно.

Бэкапы, да, очень важны. Если вам заплатили денег, а вы потеряли всё — путь даже это просто цифирки развития «персов» и картинки их оружия — всё равно обидятся, как за настоящее. А вот падения сервера и переезд на более новое и мощное — переживут (ну поворчат, конечно), можете поверить мне или спросить у тех, кто запускал игры у себя :)
Спасибо за развёрнутый комментарий.

Какраз на тему подбора комплектующих у меня не было компетенции. Если я приведу примеры глупых вопросов заданных тому же Тиском в самом начале переписки — меня тут выпорят публично.
А вот компетенция и опыт создания сайта с аудиторией в несколько миллионов пользователей — есть. Компетенция создания сервиса держащего нагрузку 50к соединений онлайн — есть.

Ещё могу добавить, что как именно будет происходить раскрутка игры — понимаю, уже есть опыт. Ну собственно что тут раскручивать — заранее подготовить много текстов, картинок и видео, оформить должным образом в соответствующих местах, вот и вся подготовка. Но так-то да, мне это обойдётся наверное в 500$ заказов художнику и часов 50 подготовки и настройки во всех платформах. На рекламу обычную не вижу смысла тратится. Или я не прав?

У моём случае к сожалению важно какой будет ssd диск. Пришлось разбираться.

За какой срок необходимо достичь показателя — компетенции нет, буду смотреть по ситуации. Ну то есть запуск игры как можно раньше по готовности. После старта — как показывает практика, не смотря на все тщательные тесты — всё равно будут пропущенные баги (порой сам себе удивляюсь «права купил, программировать не купил»), вот их править после старта и общаться с игроками насколько это будет возможно. Думаю будет ясно успешно или нет стартануло в течении 1-2 месяца после старта. Разумный подход?

Как удержать игроков на топ-контенте уже опыт есть.

На тему бэкапов — я ж тут где-то писал, что я из тех кто «уже делает бэкапы» :).
Да, и вот еще что — более слабый сервер для игры (именно сервер, а не ваш домашний комп) всё равно понадобится — для тестов, до того как всё лить «в продакшен». Так вот, первое время можно было бы играть на тестовом сервере, а потом осознав, что нужен рост — купить/арендовать гораздо более мощное железо и скопировать игру туда.
Как ни добивайтесь вы унификации, всё равно придётся приобрести опыт деплоя на сервера со слегка разными параметрами и версиями ПО. И хорошо, если вы до онлайна в 50к будете иметь представление, чем вам это грозит.
Тот же тестовый сервер и есть ваше портфолио, а боевой можно и убить, если проект провалился.
придётся приобрести опыт деплоя
Я ценю вашу заботу, спасибо. Некоторый опыт деплоя есть — последние 15 лет активно это практикую, и кое что в этом понимаю :)
НЛО прилетело и опубликовало эту надпись здесь
Н — надёжность. Допустим, у нас есть 1 игрок, который в среднем переключает одно реле раз в минуту, но пиковая нагрузка — 3 переключений в минуту. То есть мы имеем дело с величинами первого порядка. Чтобы было надёжно, должен быть запас по пиковой нагрузке, то есть величина на порядок бОльшая — реле должно нормально работать в режиме 10 переключений в минуту. А вот чтобы обеспечить ещё и запас по долговечности, реле должно обеспечивать максимум в 100 переключений в минуту. Это ж электроника, тут только китайцы предлагают эффективное решение, рассчитанное исходя из работы в максимальной нагрузке.
М — маркетинг. 7 раз человеку нужно показать рекламу, чтобы он таки заметил и кликнул на баннере.
А — автоматизация. Чтобы сайт приносил деньги, за ним должен стоять работающий бизнес. Сайт просто решает задачу автоматизации бизнес-процессов, которые приносят деньги, чтобы получать ещё больше денег. Это делается не из жадности, а потому что других вариантов нет. Конкуренция заставляет повышать качество услуг. Сайт повышает качество услуг.
В — вовлечение. Чтобы человек увлёкся игрой настолько, чтобы начать за это деньги платить, его нужно в игру вовлечь. Когда Вы сами последний раз платили за игру, которую увидели в рубрике Новые игры? Топ бесплатных работает гораздо лучше с точки зрения вовлечения.
М — мода. Сколько лет назад Вы сами играли в стратегию? Они были очень модным жанром во времена перед появлением первого Пентиума, на котором вышел первый Quake. Слабые компы диктовали моду на игры с условной графикой. Отсутствие Мультиплеера симулировалось управлением юнитами. Так родился жанр стратегии, который умер с появлением 3D и мультиплеера.
По моему девиз статьи таков
люблю возиться с техникой, имею для этого фин.возможности


Мне одному кажется что тут явное несоответствование планируемой нагрузки и железа?

Тут приведён пример попытки реализовать майнфреймовый проект, использовав вместо майнфрейма сервер СУБД на двух 6-ядерных процессорах с тактовой частотой 2.5 ГГц. При этом 50 тысяч пользователей будет обслуживаться в режиме реального времени.
Произведём подсчёт. 24 потока х 2.5е9 = 60е9 / 5е4 = 1.2е6 Гц. Разработчик предлагает устроить мультиплеер на симуляторах Радио86РК или БК-0010. За деньги.
Сервера Вова работали онлайн 800 на Кор2duo 6600, 8-9000 на новых 6-ядерниках(v4).
Для браузерных требования еще ниже.
Ничего не понимаю ни в разработке, ни в комплекткухне. Но статью и комментарии прочёл с удовольствием.
Интересно, как конвертируется пара-тройка десятков тысяч просмотров этой статьи в желание проверить, что у автора получилось, когда игра будет анонсирована здесь же, на Хабре?
Прочел, какое то двоякое чувство, человек заморочился написать такую статью и потом 2 дня строчил ответы на комментарии, напоминает скрытую рекламу не могу понять хоть убей чего. Не понятно почему человек не спросил консультацию у продавцов железа Intel. Хотя по моему опыту большая часть их вообще не понимает что и для чего они продают главное продать побольше процессоров, потому что это влияет на производительность. У автора несколько понятийных ошибок, он сравнивал 1600 и 2600 серии но это не корректно, скорее нужно сравнивать E3-1200 и E5-1600, не забывайте например процессор E3-1240 не чуть не уступает в производительности E5-2620 например, но у него есть ряд ограничений это количество поддерживаемой памяти и конечное число ядер 4, так вот 1600 это тот же 2600 без каналов связи между процессорами, он применяется не в замену 2600, а когда 2 процессорная платформа не нужна по определению, это рабочие станции, а также работа с базами данных, к сожалению это не распараллеливаемый процесс и поэтому часто важно не число ядер, а частота одного ядра и что мы наблюдаем ниже 3 мегагерц 1600х нет по определению.
Кстати я так и не понял зачем наносилась паста, если что на поверхности радиатора она уже нанесена аккуратно, ее вполне хватает для того, чтобы обеспечить охлаждение, интел не зря ведь ее заморочился так красиво нанести, это тот случай когда маслом можно испортит кашу.
И еще вопрос неужели вам никто не предложил приобрести новую платформу Intel® Xeon® Scalable Processors.
неужели вам никто не предложил приобрести новую платформу Intel® Xeon® Scalable Processors
К этому процессору идёт только одна платформа, у которой БП 1100W, а это увеличивает стоимость хостинга в два раза!
Платформа также поддерживает 750 ватт блок питания нужно было обговорить сборку с нуля, т.е. не покупая платформу, а корпус плюс мать ну и соответственно блоки выбрать на 750 ватт, собрать не сложнее.
Да, сейчас уже посмотрел — вижу. Но тогда, когда Тиском предложил — мне в голову не пришло, что у Intel может быть второй БП. Я ещё пол года назад облазил весь их сайт в поисках БП слабее 750W — у них вообще ничего не было. Это первая платформа с выбором БП.

Ну ладно, предположим, я бы вовремя узнал о другом БП. Выбор получился бы «новое поколение процессора + чуть быстрее память» за 1000$ сверху. Я бы всё-равно отказался. Была бы лишняя 1000$ я бы её потратил на +128Gb оперативы. И если бы ещё была одна лишняя 1000$ — тогда уже бы выбрал новую платформу.
Предложение не поступило на 750 ват потому что зачастую просто нет нужной вам платформы с 750 ватными БП, они есть как опция, просто платформа это как бы предсобранный комплект из матери корпуса и одного БП, и да на новых платформах просто не предлагается 750 ватный БП. Просто платформа еще кроме прочего обходится чуть дешевле россыпи и из этой логики просто, что не удовлетворить сразу весь спектр пользователей и кому хватит 750 и 1100, но зато не иметь геморроя с зоопарком предложений. У Интела на старте E5 как раз и был зоопарк, прайс имел дикую длину, так что разобраться в нагромождении букв в патнамберах было просто не реально, ща проще но иногда бюджет перегружается за счет некоторой избыточности и хочется мать попроще и БП, но у вы просто нет подобных предложений.
Человеку нужно много оперативы. Е3 ему не подошел бы.
И ТОГДА новых Ксеонов еще не было.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации