Как стать автором
Обновить

Комментарии 13

Есть СС основанная на КИХ-фильтре. В основе лежит вектор весов. 1. Не знаете как оценить оптимизацию/переоптимизацию при обучении вектора весов? 2. Не знаете лучший способ обучения вектора весов?
Классический способ проверки — разбивайте данные на две части — одна для оптимизации — вторая для проверки оптимизации. Пока результат улучшается для двух наборов данных — оптимизация идет успешно, когда для второй части результат перестает изменяться/ухудшаться — пора завязывать.
ИМХО наибольшее значение тут имеет подготовка данных, их не противоречивость…
Как не крути, а вектора весов будут оптимизированы для статистически более значимых состояний исследуемой системы.
Одно дело когда у нас зашумленный но вполне конкретный сигнал датчика, и совсем иное рынок который по определению противоречив.
Недавно для анализа быстрых изменений температуры вычитал из сигнала его скользящее среднее. Но я даже предположить не могу, что для этого есть отдельный термин «детрендинг». Спасибо)
Результат сглаживания похож на непараметрическую оценку регрессии. Не хотите ли и про нее в дальнейшем написать?
Так это и есть частный случай непараметрической оценки регрессии. Называется «метод парзеновского окна», если я не путаю
Похоже, но сам до конца не разобрался. (если я правильно понимаю терминологию, то сглаживание включает регрессию параметрическую и непараметрическую — типа скользящего среднего, медиан и т.д.). Конечно, планирую писать про разные методы «непараметрической регрессии».

Собственно, для того и затевался цикл статей про машинное обучение — самому разбираться на простых примерах, делясь и обсуждая с сообществом. Существующие лекции, конечно, хороши (например, русские лекции ШАД), но (для меня) как-то не очень понятны.
Мне в свое время показались ОЧЕНЬ хорошими лекции товарища Воронцова (линк), если хочется разбираться дальше — есть Бишоп =)
Ну, собственно на видеолекции Воронцова в ШАД и я дал ссылку. Еще я бы отметил книжки Trevor Hastie+Robert Tibshirani+ по Statistical Learning и видеокурс NG на Курсере.
ИМХО если уж упоминать МА применительно к котировкам, то стоит упомянуть и временной лаг, в смысле оставь надежду всяк сюда входящий. Торговая система на пересечении двух МА с разными периодами, классика жанра работающая лишь в теории, где можно скомпенсировать временной лаг простым сдвигом, но системе реального времени, когда данных из будущего нет, она практически бесполезна.

И второй момент, связанный с котировкам, если обрабатывая сигналы с датчиков мы фильтруем их и выбираем надлежащие частоты выборки, то с традиционными котировками в этом плане все совсем плохо…
типа скользящего среднего, медиан и т.д.

Про медиану поисследуйте, пожалуйста. Насколько помню, она и фильтрует (удаляет ВЧ шум) и не сглаживает резкие изменения.
Да, скользящие медианы хорошо убирают выбросы. Смысл очень простой — по окну берется не среднее, а медианное значение. Например:
image
А по 5 точкам:
image
(это расчеты данных ионосферной станции с орбитального комплекса «Мир»)
Напишите пожалуйста в следующей статье о применении ARIMA, а то в интернете не так уж много информации на эту тему. ARIMA не очень точный метод (хотя даже он точнее MA), но достаточно простой и популярный, чтобы им можно было пользоваться.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий