Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Ampere — новейшая игровая архитектура NVIDIA. Самое важное из вайт пейпера

Блог компании PixonicВысокая производительностьКомпьютерное железоВидеокартыПроцессоры
Перевод


С момента изобретения своего первого графического процессора в 1999 году NVIDIA находится в авангарде трехмерной графики и вычислений с ускорением на графическом процессоре. Каждая архитектура NVIDIA тщательно разработана для обеспечения революционного уровня производительности и эффективности.

A100, первый графический процессор с архитектурой NVIDIA Ampere, был выпущен в мае 2020 года. Он обеспечивает колоссальное ускорение для обучения ИИ, высокопроизводительных вычислений и анализа данных. В основе A100 лежит чип GA100 — чисто вычислительный и, в отличие от GA102, еще не игровой.

Графические процессоры GA10x основаны на архитектуре графических процессоров NVIDIA Turing. Turing — первая архитектура в мире, предлагающая высокопроизводительную трассировку лучей в реальном времени, графику с ИИ-ускорением и профессиональный рендеринг графики — все в одном устройстве.

В этой статье мы разберем основные изменения в архитектуре новых видеокарт NVIDIA по сравнению с предшественницей.
Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры14K
Комментарии 16

Что покупать для глубокого обучения: личный опыт и советы использования GPU

Машинное обучениеПроцессоры
Перевод
Перевод статьи Тима Деттмерса, кандидата наук из Вашингтонского университета, специалиста по глубокому обучению и обработке естественного языка

Глубокое обучение (ГО) – область с повышенными запросами к вычислительным мощностям, поэтому ваш выбор GPU фундаментально определит ваш опыт в этой области. Но какие свойства важно учесть, если вы покупаете новый GPU? Память, ядра, тензорные ядра? Как сделать лучший выбор по соотношению цены и качества? В данной статье я подробно разберу все эти вопросы, распространённые заблуждения, дам вам интуитивное представление о GPU а также несколько советов, которые помогут вам сделать правильный выбор.

Статья написана так, чтобы дать вам несколько разных уровней понимания GPU, в т.ч. новой серии Ampere от NVIDIA. У вас есть выбор:

  1. Если вам не интересны детали работы GPU, что именно делает GPU быстрым, чего уникального есть в новых GPU серии NVIDIA RTX 30 Ampere – можете пропустить начало статьи, вплоть до графиков по быстродействию и быстродействию на $1 стоимости, а также раздела рекомендаций. Это ядро данной статьи и наиболее ценное содержимое.
  2. Если вас интересуют конкретные вопросы, то наиболее частые из них я осветил в последней части статьи.
  3. Если вам нужно глубокое понимание того, как работают GPU и тензорные ядра, лучше всего будет прочесть статью от начала и до конца. В зависимости от ваших знаний по конкретным предметам вы можете пропустить главу-другую.

Каждая секция предваряется небольшим резюме, которое поможет вам решить, читать её целиком или нет.
Читать дальше →
Всего голосов 31: ↑29 и ↓2 +27
Просмотры16.7K
Комментарии 14

Играемся с 3090 и пробуем MIG на A100

Обработка изображенийМашинное обучениеКомпьютерное железоВидеокартыNatural Language Processing


Каждый раз, когда встает заветный вопрос, апгрейдить ли карточки в серверной или нет, я просматриваю подобные статьи и смотрю такие видосы (нет, маркетинговым материалам от Nvidia конечно верить нельзя, как показал недавний кейс с числом CUDA-ядер).


Канал "Этот Компьютер" очень сильно недооценен, но автор не занимается ML. А в целом при анализе сравнений акселераторов для ML в глаза как правило бросаются несколько вещей:


  • Авторы учитывают как правило только "адекватность" для рынка новых карт в США;
  • Рейтинги далеки от народа и делаются на весьма стандартных сетках (что наверное в целом хорошо) без деталей;
  • Популярная мантра тренировать все более гигантские сетки вносит свои коррективы в сравнения;

Не нужно быть семи пядей во лбу, чтобы знать очевидный ответ на вопрос "а какая карта лучше?": карточки серии 20* в массы не пошли, 1080 Ti с Авито до сих очень привлекательны (и не особо дешевеют как ни странно, вероятно по этой причине).


Все это прекрасно и вряд ли стандартные бенчмарки сильно врут, но недавно я узнал про существование технологии Multi-Instance-GPU для видеокарт А100 и нативную поддержку TF32 и мне пришла идея поделиться своим опытом реального тестирования карточек на архитектуре Ampere (3090 и А100). В этой небольшой заметке я постараюсь ответить на вопросы:


  • Стоит ли свеч обновление на Ampere? (спойлер для нетерпеливых — да);
  • Стоят ли своих денег A100 (спойлер — в общем случае — нет);
  • Есть ли кейсы, когда A100 все-таки интересны (спойлер — да);
  • Полезна ли технология MIG (спойлер — да, но для инференса и для очень специфичных случаев для обучения);

За деталями прошу под кат.

Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Просмотры6.6K
Комментарии 25

Playing with Nvidia's New Ampere GPUs and Trying MIG

Обработка изображенийBig DataМашинное обучениеКомпьютерное железоNatural Language Processing


Every time when the essential question arises, whether to upgrade the cards in the server room or not, I look through similar articles and watch such videos.


Channel with the aforementioned video is very underestimated, but the author does not deal with ML. In general, when analyzing comparisons of accelerators for ML, several things usually catch your eye:


  • The authors usually take into account only the "adequacy" for the market of new cards in the United States;
  • The ratings are far from the people and are made on very standard networks (which is probably good overall) without details;
  • The popular mantra to train more and more gigantic models makes its own adjustments to the comparison;

The answer to the question "which card is better?" is not rocket science: Cards of the 20* series didn't get much popularity, while the 1080 Ti from Avito (Russian craigslist) still are very attractive (and, oddly enough, don't get cheaper, probably for this reason).


All this is fine and dandy and the standard benchmarks are unlikely to lie too much, but recently I learned about the existence of Multi-Instance-GPU technology for A100 video cards and native support for TF32 for Ampere devices and I got the idea to share my experience of the real testing cards on the Ampere architecture (3090 and A100). In this short note, I will try to answer the questions:


  • Is the upgrade to Ampere worth it? (spoiler for the impatient — yes);
  • Are the A100 worth the money (spoiler — in general — no);
  • Are there any cases when the A100 is still interesting (spoiler — yes);
  • Is MIG technology useful (spoiler — yes, but for inference and for very specific cases for training);
Read more →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры1.3K
Комментарии 0

NVIDIA Ampere против AMD RDNA 2: битва архитектур

Блог компании PixonicРазработка игрКомпьютерное железоПроцессоры
Перевод

Спустя два года после запуска Turing в сентябре 2020 года NVIDIA сменила архитектуру своих видеокарт на Ampere. AMD не осталась в стороне и вскоре после этого тоже обновила архитектуру RDNA до второй версии.  

Всем хотелось, чтобы новые видеокарты RX 6000 могли составить конкуренцию лучшим продуктам NVIDIA. И теперь, когда обе серии вышли в продажу, геймеры оказались избалованы выбором (по крайней мере, теоретически), куда вложить свои деньги.

Но что насчет чипов, лежащих в их основе? Какой из них лучше?

Читать далее
Всего голосов 37: ↑37 и ↓0 +37
Просмотры15.4K
Комментарии 39

NVIDIA показала наброски GeForce RTX 30-й серии: в ней будет новый коннектор питания, но в коробку положат переходник

Компьютерное железоВидеокартыИгры и игровые приставкиIT-компании

Компания NVIDIA опубликовала видеоролик, в котором показала наброски видеокарт нового поколения GeForce RTX 30-й серии и раскрыла некоторые детали. В частности, в видео сообщается, что в видеокарты встроят новый 12-контактный коннектор питания вместо двух 8-контактных.

Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Просмотры11.9K
Комментарии 31

NVIDIA представила новую линейку видеокарт на Ampere

Компьютерное железоВидеокартыИгры и игровые приставки
image

NVIDIA представила свои новые видеокарты линейки Ampere. Это GeForce RTX 3090, RTX 3080 и RTX 3070. При этом NVIDIA заявила, что на RTX 3090 впервые можно будет играть в разрешении 8K с частотой обновления 60 кадров в секунду.
Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры17.3K
Комментарии 78

Microsoft выпустила новую версию DeepSpeed+ZeRO для тренировки нейросетей

Блог компании ITSummaВысокая производительностьGPGPUМашинное обучение
image

Компания Microsoft выпустила в свет новую версию библиотеки для тренировки нейросетей DeepSpeed+ZeRO, о чем свидетельствуют обновления соответствующего репозитория на GitHub. Теперь библиотека способна работать по 1 трлн параметров против 100 млрд, заявленных в первой версии DeepSpeed+ZeRO.

Ранняя версия библиотеки была представлена публике еще в феврале этого года и позиционировалась как инструмент, который значительно расширяет возможности по тренировке нейросетей по большому спектру параметров.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры2.2K
Комментарии 1

Nvidia представила RTX 3060: $329

Компьютерное железоВидеокартыНоутбуки

Компания Nvidia представила видеокарту RTX 3060, которая стала самой доступной в линейке Ampere. Стоимость новинки — $329, или чуть больше 24 тыс. рублей по курсу на момент публикации. Официальная рекомендованная цена для России выше — 31 800 рублей. RTX 3060 появится в продаже в феврале.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры16.1K
Комментарии 18

Китайские майнеры обнаружили, что сейчас добывать криптовалюту выгодно даже на ноутбуках

НоутбукиКриптовалюты

В Китае постепенно набирает популярность новый способ майнинга. Цена криптовалюты Ethereum выросла настолько, что ее стало выгодно добывать на ноутбуках. 

Читать далее
Всего голосов 27: ↑26 и ↓1 +25
Просмотры61K
Комментарии 119