Комментарии 11
Звучит как волшебная сказка. Хотелось бы понять, что использовалось в роли данных для обучения и что в роли данных для оценки качества прогнозирования. Если расчётные данные, то это немножко портит сказку.
А что, как-будто никто не пробовал бахнуть ML'ем погоду? ;) Думаю, дело не столько в «резервуарных вычислениях», сколько в Байесе…
---А что, как-будто никто не пробовал бахнуть ML'ем погоду?
Для этого надо покрыть всю Землю равномерной сеткой в 2км метеостанциями
Для этого надо покрыть всю Землю равномерной сеткой в 2км метеостанциями
Совсем не обязательно. Вообще тема погоды и ML выглядит весьма аппетитно. Только не надо особо рассчитывать на пробивку времени Ляпунова.
обосновать сможете? я пару лет назад видел документалку от discovery или national geographic. Там, правда речь была не про сетку, а про то, что на погоду очень влияют океаны моря, поэтому для улучшения прогнозов в них необходимо раскидать большое количество автономных буйков с датчиками и постоянным подключением к интернету для сброса данных, тогда это позволит быстрее обновлять модели. Спутниковых данных для этой цели им недостаточно. сейчас такие станции существуют, но в основном в индийском океане и в весьма малых количествах.
Нет, на данный момент никто не пробовал бахнуть ML'eм погоду. По непонятной мне причине все, кто занимаются погодой, обходят эту идею стороной. Сейчас ML используют только для пре- и пост- процессинга, но не для самого рассчета. Я обсуждал это с настоящими метеорологами и меня полностью проигнорировали — для них прогноз погоды должен основываться на численных алгоритмах, математически выведенных из дифференциальных уравнений, и ничего другого они представить не могут. Все остальные боятся изменять алгоритм рассчета погоды, поэтому модификации делаются либо на входе и выходе из алгоритма, либо в некоторых хорошо изолированных и понятных функциях внутри. Плюс, не метеорологи хотят иметь как можно меньше дел с фортраном, на котором написаны все алгоритмы рассчета погоды.
Я не климатолог и я пробовал, и самое сложное в этом было достать датасет. Скажем так, результат для поставленных целей оказался приемлемым. Если бы не NDA, я бы рассказал, а так ограничусь только некоторыми примечаниями, больше относительно ML.
1. В погоне за точностью конкретных чисел часто теряется много информации, если преобразовывать величины (суммы, дельты, скользящие и прочее), в них часто появляются более моделируемые закономерности. Ну, это, собственно, одна из основных идей (S)ARIMA(X).
2. Стекинг бывает хорошо нивелирует ошибки «низлежащих» алгоритмов — или когда ошибка этих алгоритмов систематическая, или когда они не объясняют как раз ненужную для целевого признака дисперсию. Тут я тоже ничего нового не сказал.
3. Я там и Байеса не зря упомянул. Собственно, если прогнозируют по дифурам, то даже о максимуме правдоподобия речь не идет — отсюда и эффект бабочки (модель говорит одно после времени Ляпунова, факт пошел другой). Стандартный для ML максимум апостериори определяет те параметры, при которых прогноз наиболее реален (при сохранении поведения системы, а для многих величин в погоде это куда как больше времени Ляпунова).
1. В погоне за точностью конкретных чисел часто теряется много информации, если преобразовывать величины (суммы, дельты, скользящие и прочее), в них часто появляются более моделируемые закономерности. Ну, это, собственно, одна из основных идей (S)ARIMA(X).
2. Стекинг бывает хорошо нивелирует ошибки «низлежащих» алгоритмов — или когда ошибка этих алгоритмов систематическая, или когда они не объясняют как раз ненужную для целевого признака дисперсию. Тут я тоже ничего нового не сказал.
3. Я там и Байеса не зря упомянул. Собственно, если прогнозируют по дифурам, то даже о максимуме правдоподобия речь не идет — отсюда и эффект бабочки (модель говорит одно после времени Ляпунова, факт пошел другой). Стандартный для ML максимум апостериори определяет те параметры, при которых прогноз наиболее реален (при сохранении поведения системы, а для многих величин в погоде это куда как больше времени Ляпунова).
Яндекс так делает habr.com/company/yandex/blog/317626
с одной стороны хорошо — научились делать долгосрочные прогнозы (8 времен Ляпунова вместо одного), с другой стороны — не очень, потому что дифуры и аналитическое решение люди понять еще могли (хоть и не все), а вот нейронную сетку с миллион+ весов — точно никто понять не сможет (радуются успехам хотя бы визуализации её отдельных особозначимых особенностей).
Развивающееся решение этого уравнения ведет себя как фронт пламени, продвигающегося через горючую среду.Эм… А при чем тут хаос для этой задачи? И при чем тут машинное обучение для этой задачи? Теплопроводность, диффузия и энергия выделяющая при реакции вполне достаточно для точного моделирования процесса. Реакторы в химии (а это бывает гораздо сложнее чем просто фронт пламени) моделируют давном давно и без всей этой трескотни.
Судя по всему, это перевод вот этой статьи: www.quantamagazine.org/machine-learnings-amazing-ability-to-predict-chaos-20180418 в которой есть ссылки на оригинальные публикации по теме, если кому интересно (в переводе бы они тоже смотрелись вполне уместно).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
«Способность» машинного обучения предсказывать будущее хаотических систем