Pull to refresh

Comments 7

UFO just landed and posted this here
Дата-процессинг это не поиск? Окей…
Вы вообще текст читали, хотя бы первые 2 абзаца про то кто там докладчик?
Очень сильно. Прямо, вау.
В том году, а может и в 2016 зимой, был в mail.ru на конференции по нейронным сетям, где представитель NVidia как раз рассказывал, что в железе и фреймворках была реализована оптимизация ускорения работы алгоритмов обучения за счёт использования целых чисел вместо плавучек. С потерей качества вычислений, но с приростом в скорости.

Проблема, что когда ты эту проблему решил, тренировке это особо не помогает. Все методы, что они предложили для inference, такие как удалять какие-то веса, использовать квантизацию, фактически это взять 32-битный floating point, плавучку, и превратит ее в 16 бит, 8 или 4. Все эти механизмы для тренировки не работают, потому что теряется качество вычислений, и обычно используется какой-то алгоритм stochastic gradient descend, он просто перестает сходиться. Мы пересмотрели эти алгоритмы, никто из них к тренировке напрямую не применим. Также они не очень хорошо ложатся на современные GPU, все эти статьи предлагают сделать новый ISAC, что-то похоже на TPU или давайте используем в лучшем случае какую-то программируемую логику типа FPGA для этого. На GPU все эти техники не очень хорошо ложились


И если ему верить, то есть группа задач, где возможна потеря точности вычислений. Не готов ввязываться в спор по этому вопросу. Помню, что тогда понял, как мало я знаю про нейронные сети. И сейчас такое же чувство.

Спасибо за статью.
UFO just landed and posted this here
Раз нашли решение хранить не байты, а биты, то сильно ли замедляет доступ к единичным битам? Может ли оказаться, что в будущих аппаратных нейросетях выгоднее будет ускорить такой доступ? Или там банально AND-ится?

Очень интересная статья. Жаль, что не редактировалась (выдрали автоматические субтитры с ютюба?), поэтому читать было сложновато.
Sign up to leave a comment.