Как стать автором
Обновить

Комментарии 5

>значительно снижает цену до 374 изображений/с на $

Это число 374 не цена, а производительность, и она не снижается, а повышается. Ну т.е. тут слегка невнятно сформулировано и может вводить в заблуждение.

Google вроде никогда и не заявляла, что TPU будут значительно быстрее на этапе обучения. А вот при инференсе прирост обещали в десятки раз. Было бы замечательно, если бы вы сделали такой бенчмарк на ResNet50.

Nvidia рекомендует для нескольких V100 использовать MXNet или реализации TensorFlow, доступные в виде образов Docker на облаке Nvidia GPU Cloud. К сожалению, выяснилось, что обе реализации не очень хорошо сходятся с настройками по умолчанию при работе на нескольких GPU с большими обучающими выборками. Необходимо вносить изменения, в частности, в скорость обучения (learning rate schedule).

Вместо этого, мы взяли реализацию ResNet-50 из репозитория бенчмарков TensorFlow и запустили её как образ Docker (tensorflow/tensorflow:1.7.0-gpu, CUDA 9.0, CuDNN 7.1.2). Она значительно быстрее, чем рекомендованная Nvidia реализация TensorFlow и лишь немного уступает (примерно на 3%, см. ниже) реализации MXNet. Зато хорошо сходится. К тому же появляется дополнительное преимущество, что мы сравниваем две реализации на одинаковой версии фреймворка (TensorFlow 1.7.0).


Тест плохой, тк сравнивать надо максимально возможную производительность. MXNet сильно быстрее чем TF. И то что им сложно менять lr — это нежелание дать равные условия в тесте, те они нечестные ребята.
Однако на практике чаще всего главное — это время и финансовые затраты, необходимые для достижения определённой точности на конкретной задаче

гугл существенно дешевле, ок. Но не стоит класть все яйца в одну корзину. По моему опыту — по другим сервисам гугла — он не стесняется задирать стоимость в разы, он не стесняется ронять качество сервисов и не восстанавливать его. Наконец, он не стесняется корреным образом перестраивать API доступа и ставить клиентов перед фактом необходимости глубоких переделок. Просто к сведению.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории