Pull to refresh

Comments 6

Можно сжимать и сверточные слои. Была у нас работа с группой Виктора Лемпицкого. Он сегодня будет читать блестящую лекцию, всем рекомендую.
Там мы ТТ не применяли, применили каноническое разложение. Сверточный слой можно представить как свертку с четырехмерным тензором, который мы просто засунули в ПО, считающее малоранговые аппроксимации. Оказалось, что можно восемь раз сжать. Там есть детали, напрямую оно не сработало, но результат следующий: можно действительно сжать восемь раз, и без особой потери точности.

Тут стоит заметить, что сжимать то свертки можно путем того-же разложения Таккера, но после этого надо долго и нудно дотренировывать сеть, т.к. без файнтюнинга качество просадает ну ооочень сильно.


з.ы. а какую именно сетку в 8 раз можно пожать только за счет разложения? Вроде бы для самых ходовых типа Vgg-16, GoogLeNet, AlexNet etc. в лучшем случае раз в 5 получается пожать.

Что еще кроме компрессии дает такое представление? Можно ли теперь быстро решить уравнение вида Ax = b, где A это тензор?
Что если у меня другая задача — есть матрица которую можно рассматривать как тензор большой размерности. Имеет ли смысл рассматривать ее как тензор чтоб решить уравнение как выше?
книжку «Gold One Loan»

Это просто пять баллов. Gene H. Golub, Charles F. Van Loan «Matrix Computations». Довольно толковая книжка по матрицам, есть русское издание.
Все круто, но матричные вычисления сложны для ПК. Наткнулись на очень серьезные проблемы. пришлось искать другой подход для работы с матрицами и нашли однако :)
Sign up to leave a comment.