Comments 4
" ужас с формулами в виде картинок" — тэг классный получился)
Поправьте пожалуйста, если я ошибаюсь, но разве оценочная функция не имеет локальные максимумы? Разве там не будет другим последний график?
Как выбрать начальное приближение, чтобы не попасть в такой?
Как выбрать начальное приближение, чтобы не попасть в такой?
Баум доказал теоретически, что алгоритм Велша работает: каждая итерация гарантировано увеличивает целевую функцию. Так что целевая функция будет расти. Другое дело, что нет никакой гарантии, что в итоге мы достигнем глобального максимума, а не локального.
Для борьбы с этим мне известны 4 подхода; ни один из них не позволяет гарантировано найти глобальный максимум, но они позволяют хотя бы найти параметры получше.
Первый подход — пробовать много разных случайных начальных точек, и в конце выбирать лучший результат. Вроде в обработке речи это используют. Баум-Велш сам по себе «тормоз», так что сильно много начальных точек выбирать может быть непрактично.
Второй подход — выбирать начальное приближение исходя из каких-то эвристик, основанных на соображениях из конкретной предметной области.
Третий подход — предварительно натренировать HMM на небольшом количестве обучающих примеров (=supervised), и затем просто пытаться эти параметры улучшить с помощью Баума-Велша на неразмеченных данных (=unsupervised). В статье это как-то явно не выделено; Баум-Велш — алгоритм для обучения без учителя, ему не нужны размеченные данные.
Четвертый подход — зафиксировать часть параметров HMM исходя из каких-то особенностей предметной области, и обновлять только оставшиеся параметры Баум-Велшем. Например, иногда можно зафиксировать значения P(наблюдаемый символ | состояние) исходя из каких-то соображений, а Баумом-Велшем обновлять (в случае HMM первого порядка) только P(состояние | предыдущее состояние) — в таком случае задача оказывается проще.
Для борьбы с этим мне известны 4 подхода; ни один из них не позволяет гарантировано найти глобальный максимум, но они позволяют хотя бы найти параметры получше.
Первый подход — пробовать много разных случайных начальных точек, и в конце выбирать лучший результат. Вроде в обработке речи это используют. Баум-Велш сам по себе «тормоз», так что сильно много начальных точек выбирать может быть непрактично.
Второй подход — выбирать начальное приближение исходя из каких-то эвристик, основанных на соображениях из конкретной предметной области.
Третий подход — предварительно натренировать HMM на небольшом количестве обучающих примеров (=supervised), и затем просто пытаться эти параметры улучшить с помощью Баума-Велша на неразмеченных данных (=unsupervised). В статье это как-то явно не выделено; Баум-Велш — алгоритм для обучения без учителя, ему не нужны размеченные данные.
Четвертый подход — зафиксировать часть параметров HMM исходя из каких-то особенностей предметной области, и обновлять только оставшиеся параметры Баум-Велшем. Например, иногда можно зафиксировать значения P(наблюдаемый символ | состояние) исходя из каких-то соображений, а Баумом-Велшем обновлять (в случае HMM первого порядка) только P(состояние | предыдущее состояние) — в таком случае задача оказывается проще.
Благодарю за развернутый комментарий. Первый, второй и четвертый способы, вроде бы, встречались и были описаны в курсах Coursera («Графические модели», «Нейронные сети» и т.д.). Действительно, оказывается, что он гарантированно сойдется в худшем случае к локальному максимуму, поэтому и с графиком все в порядке.
Sign up to leave a comment.
Скрытые цепи Маркова, алгоритм Баума-Велша