Comments 26
У меня только два вопроса:
1. Почему сравнивалась однопоточная реализация? MirGLAS не умеет в многопоточность?
2. Почему такие игрушечные матрицы? 2000*2000 в double = 30,5 мегабайт. Все три матрицы 100 мегабайт занимают. Т.е. данные неплохо закэшированы будут, может этим и объясняются почти одинаковые результаты многих тестов. Хотелось бы тест на матрицах бОльших размеров, хотя бы 10К*10К. А то компьютер с 16ГБ оперативки и используете 100МБ.
1. Почему сравнивалась однопоточная реализация? MirGLAS не умеет в многопоточность?
2. Почему такие игрушечные матрицы? 2000*2000 в double = 30,5 мегабайт. Все три матрицы 100 мегабайт занимают. Т.е. данные неплохо закэшированы будут, может этим и объясняются почти одинаковые результаты многих тестов. Хотелось бы тест на матрицах бОльших размеров, хотя бы 10К*10К. А то компьютер с 16ГБ оперативки и используете 100МБ.
Сюда же можно добавить, что нет исходников кода тестов для остальных библиотек, нет информации о версиях и ключах компилятора. Да и сравнение только на макбуке выглядит не очень логично, стоило бы добавить хотя бы Федора.
Да и производительность IntelMKL зависит от того, лежит ли рядышком нужная dll или используется универсальная реализация, не использующая AVX и прочие специфичные оптимизации.
Intel MKL и Accelerate предоставлены только бинарными файлами. Для Eigen указаны ключи для cmake (в статье и переводе: `cmake -DCMAKE_BUILD_TYPE=Release -DEIGEN_TEST_AVX=ON -DEIGEN_TEST_FMA=ON `), clang стандартный. OpenBLAS вообще по сути на ассемблере написан. Чем собирается Mir доступно на Github проекта, ему тоже явно никаких ключей, кроме `-mcpu=native` не пересылается.
1. Mir пока только однопоточный.
2. Результаты для больших размеров такие же как и для 2000*2000. Размеры не игрушечные, а достаточные. Мне было бы очень интересно узнать время умножения матриц 10К*10К вашей любимой BLAS библиотекой из используемых в данной статье :-)
2. Результаты для больших размеров такие же как и для 2000*2000. Размеры не игрушечные, а достаточные. Мне было бы очень интересно узнать время умножения матриц 10К*10К вашей любимой BLAS библиотекой из используемых в данной статье :-)
Абсолютная цифра, выданная «моим любимым MKL» ничего не значит, потому что у меня другой компьютер и, вообще, Windows. Сравнивать-то в одинаковых условиях нужно.
Размер 2К*2К очень скромный, даже для обработки изображений уже могут потребоваться бОльшие размеры.
Я чаще имею дело с разреженными матрицами, правда размером в гигабайты. Mir поддерживает разреженные и/или симметричные матрицы?
Ну и, пожалуй, самое важное: есть функция обращения матрицы?
Размер 2К*2К очень скромный, даже для обработки изображений уже могут потребоваться бОльшие размеры.
Я чаще имею дело с разреженными матрицами, правда размером в гигабайты. Mir поддерживает разреженные и/или симметричные матрицы?
Ну и, пожалуй, самое важное: есть функция обращения матрицы?
Да, есть CSR и COO. Обращения пока нет. Это первый анонс результатов работы над Mir GLAS. Размер 2К*2К достаточен для тестов. Это не очевидно, но вытекает из логики кэширования, если она с ошибками, то проблемы начинаются на размерах 900x900.
Не обратил внимания, что это только-только зарождающийся проект. Тогда весьма неплохо.
Лично для меня бесполезен, пока не реализуют обращение матрицы. И многопоточность.
Лично для меня бесполезен, пока не реализуют обращение матрицы. И многопоточность.
Размер 2k на 2k недостаточен для тестирования как минимум по вопросу численной стабильности алгоритмов.
Проблемы с логикой кеширования — зависит от того на каком процессоре выполняется. Возьмем производительный Intel Xeon E5-2650 v3 с 25 Mb кеша — и проблемы могут начаться позже. Плюс, если результаты хороши и выше — то их стоит публиковать. По нынешним стандартам проход до 10k x 10k — стандартен.
Проблемы с логикой кеширования — зависит от того на каком процессоре выполняется. Возьмем производительный Intel Xeon E5-2650 v3 с 25 Mb кеша — и проблемы могут начаться позже. Плюс, если результаты хороши и выше — то их стоит публиковать. По нынешним стандартам проход до 10k x 10k — стандартен.
UFO just landed and posted this here
Ну и не представлен ATLAS (который, опять же, надо собирать на целевой платформе).
Intel MKL и Accelerate предоставлены только бинарными файлами. Для Eigen указаны ключи для cmake (в статье и переводе: `cmake -DCMAKE_BUILD_TYPE=Release -DEIGEN_TEST_AVX=ON -DEIGEN_TEST_FMA=ON `), clang стандартный. OpenBLAS вообще по сути на ассемблере написан. Чем собирается Mir доступно на Github проекта, ему тоже явно никаких ключей, кроме `-mcpu=native` не пересылается.
Что то я солверов не нашел в документации. Cholesky, LU, прочие декомпозиции присутствуют? Солвер с прекондишенером?
Ай, молодец! Вставки асма — это зло.
Наш любимый C быстр. Не стоит забывать, что ваш любимый D так удачно молотит циферки, потому что LLVM.
Наш любимый C быстр. Не стоит забывать, что ваш любимый D так удачно молотит циферки, потому что LLVM.
А не лучше ли использовать что-то такое?
https://github.com/CNugteren/CLBlast
Тем, кто занимается системами машинного обучения и компьютерным зрением, хорошо знакома такая библиотека как OpenBLAS (Basic Linear Algebra Subprograms). OpenBLAS написан на C и используется повсеместно там где нужна работа с матрицами. Так же у него есть несколько альтернативных реализаций таких как Eigen и двух закрытых имплементацией от Intel и Apple. Все они написаны на С\С++.
Reference-имплементация — Netlib BLAS — на фортране, альтернативная OpenBLAS — на фортране, ATLAS — на си и фортране (использует reference implementation). На чём написан Intel MKL не знаю, но там упомянуты ручные оптимизации под конкретные камни, так что с большой вероятностью там куски на asm или intrinsics.
Можете прокомментировать по вопросу используемых алгоритмов — удовлетворяют ли они стандартам? Например, не используется ли рекурсивная арифметика в стандартных алгоритмах? (типа Штрассена для gemm)
Насколько проверена стабильность вычислений? ибо скорость — конечно, наше все. Но все же, хотелось бы и шашечки.
Еще очень бы хотелось увидеть другой тип сравнения производительности: log-log график затраченного времени по отношению к размеру матрицы. И тут, кстати, придется идти от 10x10 до 10000x10000 в размерностях — иначе будет слишком куце. Тем самым можно будет посмотреть еще и абсолютное время исполнения (платформа-то — одна) и сравнить курс выхода на асимптотику.
Насколько проверена стабильность вычислений? ибо скорость — конечно, наше все. Но все же, хотелось бы и шашечки.
Еще очень бы хотелось увидеть другой тип сравнения производительности: log-log график затраченного времени по отношению к размеру матрицы. И тут, кстати, придется идти от 10x10 до 10000x10000 в размерностях — иначе будет слишком куце. Тем самым можно будет посмотреть еще и абсолютное время исполнения (платформа-то — одна) и сравнить курс выхода на асимптотику.
Сложность алгоритма O(m*n*k), рекурсивные алгоритмы не используются. Только кэш-ориентированное разбиение с упаковкой удобной для хранения промежуточных результатов в SIMD регистрах процессора, prefetch. Было бы интересно узнать о каких еще стандартах еще идет речь? В случае с gemm все просто, но в планах trsm и LU, и там уже больше возможностей для маневра, и хотелось бы знать требованиям, если такие есть.
Работает достаточно хорошо, с разным блочным разбиением, транспонированием. Планируется добавить BLAS и CBLAS API и прогнать набор тестов от Netlib с нормальными и пониженными размерами блоков. В 2017 году планируется заменить OpenBLAS в Julia.
Буду рад более детальному обсуждению тестов в новом issue в https://github.com/libmir или по почте ilyayaroshenko на gmail. Знаком с BLIS, работой коллег из вашего университета.
Работает достаточно хорошо, с разным блочным разбиением, транспонированием. Планируется добавить BLAS и CBLAS API и прогнать набор тестов от Netlib с нормальными и пониженными размерами блоков. В 2017 году планируется заменить OpenBLAS в Julia.
Буду рад более детальному обсуждению тестов в новом issue в https://github.com/libmir или по почте ilyayaroshenko на gmail. Знаком с BLIS, работой коллег из вашего университета.
Sign up to leave a comment.
Так ли быстр ваш любимый С или нативная реализация линейной алгебры на D