Nvidia рекомендует для нескольких V100 использовать MXNet или реализации TensorFlow, доступные в виде образов Docker на облаке Nvidia GPU Cloud. К сожалению, выяснилось, что обе реализации не очень хорошо сходятся с настройками по умолчанию при работе на нескольких GPU с большими обучающими выборками. Необходимо вносить изменения, в частности, в скорость обучения (learning rate schedule).
Вместо этого, мы взяли реализацию ResNet-50 из репозитория бенчмарков TensorFlow и запустили её как образ Docker (tensorflow/tensorflow:1.7.0-gpu, CUDA 9.0, CuDNN 7.1.2). Она значительно быстрее, чем рекомендованная Nvidia реализация TensorFlow и лишь немного уступает (примерно на 3%, см. ниже) реализации MXNet. Зато хорошо сходится. К тому же появляется дополнительное преимущество, что мы сравниваем две реализации на одинаковой версии фреймворка (TensorFlow 1.7.0).
Тест плохой, тк сравнивать надо максимально возможную производительность. MXNet сильно быстрее чем TF. И то что им сложно менять lr — это нежелание дать равные условия в тесте, те они нечестные ребята.
Чем лучше Yarn + Airflow? Ваш планировщик задач умный? Он набирает статистику по джобам и оптимизирует время работы отдельных тасков и пропускную способность кластера? Если да, раскажите про планировщик)
Очень круто. Есть возможность покупки отдельных курсов? Где посмотреть силлабус курса по мат статистике? Ни разу не делал курсы на вашей платформе, по сложности сравнимы с университетскими или расчитаны на всех. И еще, объем материала курсов семестровый или маленький кусочек?
Давно пора сделать ФКНу блог на хабре. Чем мы хуже МФТИ и СПБАУ. А хабру стоит сделать возможность добавляться в профайлы универов в качестве выпускников.
Платили за какие либо лицензии или подписки, если да, то зачем, почти все опенсорсное, какие преимущества у платных версий? Если так много данных, то почему не Apache Storm?
Вообще если Яндекс собирает геолокацию, то он знает где вы живете, то есть вас можно идентифицировать. Так что вполне возможно, что закон о перс данных был нарушен. Если в договоре ничего такого не прописано.
Тест плохой, тк сравнивать надо максимально возможную производительность. MXNet сильно быстрее чем TF. И то что им сложно менять lr — это нежелание дать равные условия в тесте, те они нечестные ребята.
И еще есть замечательное выступление Fei Fei Li: www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures?language=en
Всем советую!
ru.wikipedia.org/wiki/%D0%A1%D0%BE%D0%BB%D0%BD%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%BF%D0%B0%D1%80%D1%83%D1%81