Pull to refresh

Comments 7

UFO landed and left these words here
Дата-процессинг это не поиск? Окей…
Вы вообще текст читали, хотя бы первые 2 абзаца про то кто там докладчик?
Очень сильно. Прямо, вау.
В том году, а может и в 2016 зимой, был в mail.ru на конференции по нейронным сетям, где представитель NVidia как раз рассказывал, что в железе и фреймворках была реализована оптимизация ускорения работы алгоритмов обучения за счёт использования целых чисел вместо плавучек. С потерей качества вычислений, но с приростом в скорости.

Проблема, что когда ты эту проблему решил, тренировке это особо не помогает. Все методы, что они предложили для inference, такие как удалять какие-то веса, использовать квантизацию, фактически это взять 32-битный floating point, плавучку, и превратит ее в 16 бит, 8 или 4. Все эти механизмы для тренировки не работают, потому что теряется качество вычислений, и обычно используется какой-то алгоритм stochastic gradient descend, он просто перестает сходиться. Мы пересмотрели эти алгоритмы, никто из них к тренировке напрямую не применим. Также они не очень хорошо ложатся на современные GPU, все эти статьи предлагают сделать новый ISAC, что-то похоже на TPU или давайте используем в лучшем случае какую-то программируемую логику типа FPGA для этого. На GPU все эти техники не очень хорошо ложились


И если ему верить, то есть группа задач, где возможна потеря точности вычислений. Не готов ввязываться в спор по этому вопросу. Помню, что тогда понял, как мало я знаю про нейронные сети. И сейчас такое же чувство.

Спасибо за статью.
Нашел. Максим Милаков, рассказ про TenzorRT:

Пересмотрел, да, там про Inference. В комментарии выше я был не прав.
UFO landed and left these words here
Раз нашли решение хранить не байты, а биты, то сильно ли замедляет доступ к единичным битам? Может ли оказаться, что в будущих аппаратных нейросетях выгоднее будет ускорить такой доступ? Или там банально AND-ится?

Очень интересная статья. Жаль, что не редактировалась (выдрали автоматические субтитры с ютюба?), поэтому читать было сложновато.
Only those users with full accounts are able to leave comments. Log in, please.

Information

Founded
Location
Россия
Website
www.yandex.ru
Employees
over 10,000 employees
Registered

Habr blog