Comments 6
Можно сжимать и сверточные слои. Была у нас работа с группой Виктора Лемпицкого. Он сегодня будет читать блестящую лекцию, всем рекомендую.
Там мы ТТ не применяли, применили каноническое разложение. Сверточный слой можно представить как свертку с четырехмерным тензором, который мы просто засунули в ПО, считающее малоранговые аппроксимации. Оказалось, что можно восемь раз сжать. Там есть детали, напрямую оно не сработало, но результат следующий: можно действительно сжать восемь раз, и без особой потери точности.
Тут стоит заметить, что сжимать то свертки можно путем того-же разложения Таккера, но после этого надо долго и нудно дотренировывать сеть, т.к. без файнтюнинга качество просадает ну ооочень сильно.
з.ы. а какую именно сетку в 8 раз можно пожать только за счет разложения? Вроде бы для самых ходовых типа Vgg-16, GoogLeNet, AlexNet etc. в лучшем случае раз в 5 получается пожать.
0
Что еще кроме компрессии дает такое представление? Можно ли теперь быстро решить уравнение вида Ax = b, где A это тензор?
Что если у меня другая задача — есть матрица которую можно рассматривать как тензор большой размерности. Имеет ли смысл рассматривать ее как тензор чтоб решить уравнение как выше?
Что если у меня другая задача — есть матрица которую можно рассматривать как тензор большой размерности. Имеет ли смысл рассматривать ее как тензор чтоб решить уравнение как выше?
0
книжку «Gold One Loan»
Это просто пять баллов. Gene H. Golub, Charles F. Van Loan «Matrix Computations». Довольно толковая книжка по матрицам, есть русское издание.
+1
Все круто, но матричные вычисления сложны для ПК. Наткнулись на очень серьезные проблемы. пришлось искать другой подход для работы с матрицами и нашли однако :)
0
Sign up to leave a comment.
Тензорные разложения и их применения. Лекция в Яндексе