iphysic 23 июн 2017 в 14:40

Автоэнкодеры в Keras, Часть 2: Manifold learning и скрытые (latent) переменные

11 мин

26K

Python *Алгоритмы *Машинное обучение *

Туториал

+32

Комментарии 5

barmaley_exe 24 июн 2017 в 12:17

codes = encoder.predict(x_test)
sns.jointplot(codes[:,1], codes[:,3])```

Так вы рисуете гистограмму апостериорного p(Z|X), а не маргинального p(Z). Для получения последнего нужно взять мат. ожидание первого по x_test.

iphysic 24 июн 2017 в 13:54

Не могу согласиться. В гистограмме плотность вероятности p(Z) оценивается по количеству X отображенных в нужный интервал по Z. Проходясь по сэмплированной выборке мы и приближаем мат ожидание по p(X). А p(Z|X) в представлении энкодера — это вообще дельта функция.

barmaley_exe 25 июн 2017 в 11:31

И правда, я ошибся.

AlexSerbul 25 июн 2017 в 01:33

Спасибо за пост

AlexSerbul 28 июн 2017 в 17:50

Тут Andrey Ng поясняет, как делать back-propogation на скрытом слое «кода» с хитрым трюком, если в функции ошибки добавлен штраф на величину активаций скрытого слоя. Правда на примере KL-divergence, то все равно познавательно :-) https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf

Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Автоэнкодеры в Keras, Часть 2: Manifold learning и скрытые (latent) переменные

Комментарии 5

Публикации

Истории