Как стать автором
Обновить

ЦОД без GeForce и Titan: в NVIDIA изменили лицензионное соглашение

Время на прочтение3 мин
Количество просмотров42K
Всего голосов 53: ↑51 и ↓2+49
Комментарии95

Комментарии 95

Не в теме особо, но разве nouveau не обходит эти ограничения?

Возможно он и станет решением, но насколкьо мне известно Nvidia не очень хорошо относится к nouveau и вряд ли предоставит файлы прошивки, от которых зависят драйвера
Ох и прав же был Торвальдс…
… никогда раньше такого не было! И вот — опять!
И Столлманн.
Так точно. Намедни пытался завести GT1030 в HTPC, куда там. Ошибка ERRATA… иксы не поднимаются. Только качай проприетарщину от нвидии и ставь, тогда заработала. Даже с репозитарии дебьяна nvidia-kernel-dkms (384.111-1) не заводится. Странно все это
Пакет с проприетарным драйвером в пересборке от Debian — nvidia-driver, nvidia-kernel-dkms — это сборщик модуля ядра, драйвер он вам не поставит.
В nouveau же CUDA не завезли, и вряд ли когда либо он там появится. А без CUDA карточка в ДЦ не особо то и нужна.
с nouveau не будет работать cuda

На новых видеокартах даже nouveau толком не работает, потому что зеленые факеры не публикуют firmware, а без нее невозможно, как минимум, увеличение частоты видеокарты с минимальной по умолчанию.

Я что-то не понял, как это нарушит работы ЦОД, где карточек сотни. По производительности тесла в 20 раз лучше, а по цене в 10 больше, в итоге цена/флопс в два раза меньше.
Если поискать "выделенный сервер GPU", то окажется, что в минимальной кофигурации предлагают GeForce 1080/1070. Это означает, что хостеры должны поменять все эти карты на Tesla. Угадайте, за чей счет будет банкет?
Знаете, при цене в 10 тыс/месяц. Народу, которым требуется такая конфигурация, просто тупо ее купит за ~100 тысяч.
Нам недавно предлагали в некоем облаке 40 гигабайт SSD за 3 тысячи рублей в месяц.
И что самое смешное, руководство подписалось.
Что же в этой истории действительно вызывает фейспалм, так это то, что по результатам тестов внутри ВМ скорость была около 150МБ/с, что на SSD никак не тянет.
1Гб iSCSI скорее всего между хранилищем и хостом. Пичалька.

Наверное, вы покупали не только ссд? Аренда за физический промышленный ссд в месяц в выделенном сервере может и дешевле стоить, а тут у них хранилка, она на единицу места не дороже может быть. Тем более что в ссд (и вообще в хранении) важны не столько мб/сек, а чаще iops, чтобы все было поотзывчевее, как у вас с этим?

У вас тут еще прослойка между облаком и SSD. Так что скорость падает заметно. На физических серверах скорость SSD в разы больше
# dd if=/dev/zero of=test.bin bs=512k count=4k
4096+0 records in
4096+0 records out
2147483648 bytes (2.1 GB) copied, 7.57911 s, 283 MB/s

виртуалка в ESXI с подключенной через FC флешовой полкой, естественно не единственная использующая хранилище
прослойка в виде облака обычно наоборот немного завышает параметры из-за нескольких слоёв кеширования
Так завышает, что Gitlab свой кластер Ceph вывез из Azure на железо из-за длительных падений IOPS до 10. В AWS конечно есть Provisioned IOPS SSD, но и ценник соответствующий.
Выделенный сервер vult дают точно ту же скорость в iops, что и невыделенный с ssd. Такчто невсегда выше.
Если смотреть на практические задачи машинного обучения, для которых в последнее время, на сколько я знаю, в основном и закупают видеокарты в ДЦ, тесла P100 лишь слегка опережает 1080TI, в свою очередь V100, в лучшем случае, в 2 раза быстрее, чем P100.
Да, в этом случае беда.
По производительности тесла в 20 раз лучше, а по цене в 10 больше

для 64 битных вычислений, которые мало кому нужны для тех задач, под которые берут видеокарты.

Например, Floating-point performance (он нужен для задач симуляции) 11,340 gflops для Ti, 14,029 gflops для Tesla V100 — то есть, Tesla дает 124% от производительности Ti.

Можно еще сказать, что тензорные ядра в Тесле рулят для машинного обучения, но не надо забывать, что они не только там есть, а еще и в Titan V.

В самом деле, все очень просто — старая практика маркетологов по сегментации рынка. Те, кто хочет играть/майнить/готовы на коленках делать себе железо для размещения в ЦОДе, договариваться с владецем ЦОДа, что тот не выдаст, получат продукт по справедливой цене. Остальные заплатят в 5-7 раз больше, но их это тоже устроит.
по производительности в fp64. fp32/int — такого огромного выигрыша не будет.

ну и да, вся возня — из-за нового титана, у которого будет непорезаный fp64.
В переводе: «Мы посмотрели, что вы в серьезном бизнесе пользуетесь дешевыми картами, давайте используйте дорогие, а то нам кушать хочется».
Так вот мне не совсем понятно — это просто сказали «нельзя» и все решили слушаться или это какие-то реальные технические ограничения, которые почему-то абсолютно невозможно обойти?
Это сильное «нельзя», юридически значимое. Нарушая его, ЦОД будет считаться использующим пиратское ПО.
это если ЦОД сам это всё ставит.

ЦОД в Голландии может фильмы стримить без проблем, а вы говорите про карты. Там такая цепочка может быть юрлиц, то соглашения нвидии вызовут улыбку
Цод выделил пользователю сервер. С нвидиа на борту. Никаких драйверов там разумеется нет от слова совсем.
В итоге за что с него спрашивать?
Кто ставил драйвер, с того и спрашивать.
Только я не понял, как по вашему ЦОД предоставляет сервер — без операционки, что ли? Те предложения, что я видел, предлагают операционку на выбор.
А если образ операционки от ЦОДа, то драйвер в комплекте.
А ЦОД обязать проверять какие драйвера стоят? Так наверное можно.
Все сервера которые я брал, были без ОС. Заходиш в rescue и накатываешь ОС в комплекте которой драйвер нвидии совсем не факт что присутствует. Как правило отстутствует, а ставить придется из репозитория.
дрова ставятся на сервер в офисе, сервер везется в ДЦ.
Но те, что уже работают, смогут свободно работать и дальше, так ведь? Ничего не нарушая.
Конечно. На старые установленные драйвера распространяется старая лицензия.
Закономерно. Сначала технология обкатывается и уходит в массы, а потом монополист начинает грести на этом неоправданные сверхприбыли
Не зря же все-таки...

Ну да, только однобоко как-то сделали, да и выглядит так-же… Блокчейн-молотилка то бишь, понимаешь не "связана с высокими требованиями к аппаратным и программным решениям в режиме 24x7". Ну-ну…
Или трусы или крестик, nvidia ©.

НЛО прилетело и опубликовало эту надпись здесь
это именно, ровно так. Других причин нет.
При этом нельзя гарантировать работоспособность этих карт в помещении с высокой плотностью оборудования в стойках и, соответственно, высокой температурой окружающей среды.

А при майнинге, значит, можно?
К тому же не очень понятно, почему нельзя было просто указать допустимый температурный режим.
А при майнинге, значит, можно?
Ви таки не поверите…

История тут такая: при высокой температуре могут возникать изредка однобитовые ошибки.

Если это 3D-картинка, то, в общем, пофигу: вы что — заметите один неправильно рассчитанный пиксель, когда вокруг всё взрывается и горит?

При майнинге — это тоже не катастрофа: ну намайните вы с вероятностью 0.01% «неправильный» блок — так его ж остальные участники сети отвергнут и всё!

А вот всякие нейронные сети… с ними сложнее. Впрочем и там огромное количество алгоритмов редкие ошибки нормально «переваривают», так что запрет — это скорее перестраховка.
Если эта однобитовая ошибка попала в геометрию (например в координаты вершин), то заметите еще как, когда у вас вершины полигонов начнут улетать в произвольные координаты.
В Теслах, есть встроенная коррекция ошибок.
ЕМНИП, есть коррекция части ошибок памяти. Но есть варианты, как все равно перевернутые биты могут проскакивать (даже тесла с коррекцией ошибок это далеко не уровень CPU вычислений по вероятности ошибки памяти). Поэтому да, вероятность получить перевернутый бит на тесле значительно ниже, но вот, скажем, финансовые транзакции все равно процессить не выйдет.
А они дают определение, что такое дата-центр? Выписываем приказ, что зал X не является дата-центром. И все.
Ага, и выносим на всякий случай СХД в соседний зал.
«Нету у нас тут никакой даты, мы чиста греемся — зима на улице»
Решение простое, преобразовываем машинное обучение в майнинг операцию. :D

Уже. Всякие TensorCoin и иже с ними.

No Datacenter Deployment. The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted» и касается продуктов NVIDIA GeForce и Titan. Теперь запрещено использовать эти карты для любых задач, кроме работы с блокчейн-технологиями.

Я конечно не дока в английском, но разве «blockchain processing in a datacenter is permitted» это не «обработка блокчейнов разерешена в этом датацентре»?
А чем он занимается, а особенно занимается эта карточка тут не регулируется?
И одна минивиртуалка крутящая хеши, а то и просто инструкция, не запрещающая это делать автоматически разрешает установку ПО?

Тоже сложилось такое мнение.
Может текст всё-таки о том, что нвидиа "запрещает запрещать майнинговые вычисления в ДЦ использующих её драйвера".

Дословный перевод:
ПО не лицензировано для использования в датацентрах, кроме случаев когда датацентр разрешает майнинг/использование блокчейна.
Я тоже понимаю это именно так. Если у вас майнинг разрешён, впринципе, то можете использовать наши карты. Или другими словами, если используете наши карты, разрешите майнинг.

Альтернативный перевод (как я понял эту фразу): "Запрещено использование в ЦОД. Это ПО не лицензировано для использования в ЦОД. Исключением является то, что майнинг в ЦОД разрешен."
Мне кажется, имелось в виду именно это.

Ну и ладно. Если сравнивать Radeon vs Tesla по performance/$, то Radeon выигрывает, даже с учётом лучшей оптимизации доступного CUDA-кода по сравнению с OpenCL. GeForce ещё лучше, но если не хотят наших денег…
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Уже было такое — nvidia зарезали софтом производительность операциям с double precision на geforce по сравнению с карточками quadro, предназначенными исключительно для рендеринга/проектировочного софта(solidworks и тд). Для нейронок важен объем памяти и его пропускная способность, их софтом не урежешь. Вот и пытаются притянуть юристов на это поле.
Я слышал, что Nvidia, аппаратно режет производительность своих игровых чипов, типа лазером на заводе чего-то перерезают.
Я слышал, что Nvidia, аппаратно режет производительность своих игровых чипов, типа лазером на заводе чего-то перерезают

Это норма в чипостроении. И в процессорах делают также на Интел, к примеру.


Дело в том что нельзя гарантировать 100 % выхода качественных чипов. Но они не бесплатны, поэтому брак с размером кэша к примеру не выкидывают а маркируют как модель попроще и тоже продают. Это нормально.


Но нет никаких гарантий что моделей попроще будет столько сколько нужно рынку. Поэтому в моделях получше, да, действительно пережигают чтобы выпустить на рынок побольше моделей подешевле


Все это связано только с тем что технология не позволяет гарантировать выход из производства старшей или младшей модели в нужном количестве

> последняя карта Tesla V100, заточенная под ЦОДы, стоит около тысяч долларов.

Пропущено числительное — сколько именно тысяч

А игры как запускать в дата центре? Драйвера GTX обновляются раз в 2 недели, серверные карты дай бог раз в 2 месяца.

Paperspace+parsec
playkey
liquidsky
geforce now
При этом нельзя гарантировать работоспособность этих карт в помещении с высокой температурой окружающей среды.

— Вообще-то в датацентрах прохладно, как в холодильнике — там как-бы стоят сплитсистемы

Кстати, я умею пропатчивать драйвера от квадры под жифорсы — в тестах SolidWorks 12.1 разницы никакой, но хотелось бы ещё потестить для сравнения этот тест с плавающей запятой — подскажите что за прога, скиньте ссылку
— Вообще-то в датацентрах прохладно, как в холодильнике — там как-бы стоят сплитсистемы
Зависит от того, умеют ли люди считать деньги.

Охлаждение — важная статья расходов любого дата-центра, а чем выше температура в дата-центре, тем меньше затраты на охлаждение.

В дата-центрах, где размещается оборудование с оплатой за 1U — там да, может быть как в холодильнике, так как за порчу оборудования придётся платить, а затраты на охлаждение всегда можно переложить на заказчика. А вот если в дата-центре только своё оборудование… по всякому может быть.

Как правило при оплате за 1u очень жесткие требования по мощности БП.

— Вообще-то в датацентрах прохладно, как в холодильнике — там как-бы стоят сплитсистемы

В помещении в целом?
Ха ха ха.
Речь то о плотном размещении в серверах и стойках.
Как вы думаете почему в датацентрах пытаются сделать прохладнее?
Потому что компоненты очень плотно размещены и все равно греются сильно

забавно как — только сегодня наткнулся на Parsec и смог даже немного погонять Tomb Raider на AWS (g2.2xlarge), работало идеально. А позже сегодня пришел инвайт на бету Geforce Now. Теперь играть можно будет только в официальном nvidia-облаке?

Они запретили использовать иначе чем в дата центрах, где обработка блокчейна разрешена. Как в анекдоте про программиста, батон и яйца: у вас в ДЦ можно блокчейна баловаться? — Да. — Тогда мы поставим наши платы к вам и будет заниматься на них ML.


Понимаю, что цель лицензии другая, но почему тогда не написать прямо, и почему именно по ДЦ пишут? Если я построю на речке электростанцию, в ее здании оборудуют серверную, и завезу туда нвидивские карты, то это будет использование не ГЭС, а не в ДЦ, и вся их хитрость ни о чем.

Если я построю на речке электростанцию, в ее здании оборудуют серверную, и завезу туда нвидивские карты, то это будет использование не ГЭС, а не в ДЦ, и вся их хитрость ни о чем.

Это вам нужно не нас будет убеждать.
А суд


Даже не знаю с чего я это взял: но юристы у НВидиа посильнее чем dmitry_ch. Мне ТАК кажется почему то

Вопрос-то прямо по тексту поста: почему вместо прямого запрета парни написали так витиевато, что оставили некий запас лазеек?
почему вместо прямого запрета парни написали так витиевато, что оставили некий запас лазеек?


Расплывчатость закона запрета — сильно расширяет круг лиц, подпадающий под оный и, соответственно, перспективы правоприменения монетизации.
Крутящих всякие tensorflow дома на кухне это как-то затронет?

Ваш кухонный дата-центр разрешает майнить?

НЛО прилетело и опубликовало эту надпись здесь
Можно же использовать старую версию драйверов. Не нравится новое лицензионное соглашение — не обновляйтесь, вот и все.
НЛО прилетело и опубликовало эту надпись здесь
Не уверен что это достаточная причина для возврата. Вам же по идее никто и не обещал саппорт, то что они выпускают обновления драйверов — исключительно их добрая воля. Вот если в договорах о покупках пункт о саппорте есть — тогда да. Но если вы просто карт в обычном магазине накупили (как наверняка делают всякие дц поменьше) то никто вам исправную карту вернуть не даст, нет оснований.
А тут есть хоть кто-нибудь, кто лицензионное соглашение осилил?
Просто интересно, покупая видеокарту, ты покупаешь железку или железку+обслуживание софтом. Если там второй вариант, то получается, что производитель либо запрещает тебе использовать железку, либо вынуждает отказаться от обслуживания (обновления драйеров). Два стула в чистом виде
Что-то несколько раз в комментариях перевод фразы писали, и всё время не особо правильный.
No Datacenter Deployment. The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted

Нельзя устанавливать на машины в датацентрах. Это ПО не лицензировано для установки на машины в датацентрах, исключение — работа с блокчейном [прим. с помощью этого ПО] в датацетре".


То есть на игровых видеокартах, которые установлены в датацентре, можно только майнить. Нейросетки, вычислительная гидродинамика, высокочастотный трейдинг и всё остальное — только но теслах.
Это ПО не лицензировано для установки на машины в датацентрах, исключение — работа с блокчейном [прим. с помощью этого ПО] в датацетре"

Я конечно не знаю, но по-русски это означает, что если где-то в датацентре с помощью этого ПО (т.е. драйвере) работают с блокчейном, ьл все ОК.

Максимум можно выжать, что если на машине с помощью этого ПО не работают с блокчейном (как — не сказано), то все ОК.

Да не. Имеется в виду как раз что с помощью ПО разрешена работа с блокчейном.

Очень некрасивый ход от NVidia — очередным обновлением просто запрещать использовать видеокарты для определённых целей. Кто гарантирует, что в следующем обновлении драйверов не придёт соглашение, запрещающее майнить? или, к примеру, использовать в части игр? Они подрывают доверие покупателей, причём именно бизнес-сегмента(который не может просто так забить и нарушить это самое лицензионное соглашение)…
НЛО прилетело и опубликовало эту надпись здесь
Владелец исключительных прав на ПО вправе менять лицензию на новые версии ПО как ему вздумается. Такое уже было и не раз. А железо — пожалуйста, пользуйтесь. С открытым драйвером или версиями драйвера со старой лицензией. Т.е. этот финт ушами обратной силы не имеет, а вот на будущие покупки — да, серьезно подгадили.

Оборудование ради бога используйте (хотя есть прецеденты ограничения, например турбины в Крыму), но драйвера — это софт, а не оборудование.

По мне так наоборот хорошо. Как я трактую. Нвидиа запретила использование софта в цод. Но если цод разрешает блокчейн в своем цоде то сфот может быть использован. То есть не только для блокчейна а вообще использоваться для всего.
Думаю так они хотят заставить цоды разрешить пользователям использовать их мощности для майнинга. Тогда они будут вынцждены купить еще больше карточек. И нвидиа в профите. И как бы о людях заботится.

Да нет же, они очень расстраиваются, что для всяких нейросеток покупают геймерские geforce за $800 вместо «профессиональных» tesla за $5000. Вон в прошлом году Сбербанк скупил дофига видеокарт для лаборатории искусственного интеллекта, читай — для нейросеток и деревьев всяких.
Ну на универы- где сели, там и слезли. В каждом универе- по юр. факультету.

Очевидно, что в этом семестре курсовая работа: «Как решение NVIDIA противоречит Consumer Protection Act». Потом профессор отполирует — и в прокуратуру.

Плавали, знаем.
Вопрос: а на Colocation это отразится?

К примеру, я принес личный сервер с GeForce картой. На такие ситуации как реагировать? Ведь по сути этот сервер лично мой и никто не имеет права в него лазить, и никому нет дела, по сути, что там на борту, пока я не вытворяю ничего военного.

Буду крайне признателен, если знающие люди просветят в этом вопросе

Судя повсему, отразится. А проверять лицензионность софта на вашем сервере некоторые органы имеют право.

непонятно про драйвера и версии, какие версии имели ввиду quadro под geforce патчить или версии все ранее 390 в которых нет изменений лицензионного соглашения?

НЛО прилетело и опубликовало эту надпись здесь

Мелькнула мысль, а может дата-центры пролоббировали изменения? Проектировали под одну мощность всё, пускай 400 Вт на юнит, а тут на киловатты счёт пошёл...

Совершенно аналогичный шаг был предпринят NVidia в момент, когда виртуализация стала действительно популярной. Тогда Новая версия драйверов перестала работать в виртуальных средах, а поддержки новых карт в старых драйверах не было. Кажется, это были карты на чипе Fermi. Зато, поддержка виртуализации была в профессиональной Quadro-серии.
Проблема лечилась заменой Id игровой карты на Qaudro-аналог и использование Quadro-драйверов. Правда, замена Id обычно была связана с перепайкой резисторов на карте и, иногда, прошивкой (гуглится по "Hacking NVidia Cards"). Разница в цене окупала риски.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий