Комментарии 12
Нейросетевая архитектура — интересное обыгрывание seq2seq с использованием конволюций.
Может быть кстати идеи из seq2seq (типа attention) как раз помогут ещё улучшить точность прогноза.
По поводу лосса: а нельзя сделать вычислить карту прогноза выпадения осадков, собрать реальные данные и минимизировать разницу между предсказаниями и фактами, давая приоритет например городу, а не лесу.
Может быть кстати идеи из seq2seq (типа attention) как раз помогут ещё улучшить точность прогноза.
По поводу лосса: а нельзя сделать вычислить карту прогноза выпадения осадков, собрать реальные данные и минимизировать разницу между предсказаниями и фактами, давая приоритет например городу, а не лесу.
НЛО прилетело и опубликовало эту надпись здесь
Ребята, похоже, нейросеть, следящая за погодой в Петербурге, уехала на майские вместе со всеми кушать шашлыки: то, что за окном и то, что пишет о том, что за окном Яндекс.Погода для Ведроида — прямо противоположные вещи уже второй день.
А вообще, крутая штука получилась, в большинстве (даже в подавляющем большинстве) случаев она оказывается права, спасибо!
А вообще, крутая штука получилась, в большинстве (даже в подавляющем большинстве) случаев она оказывается права, спасибо!
ждем второй статьи из цикла: «и почему они (краткосрочные прогнозы) у нас не работают».
У нас в Казани, благодаря метеорадару, прогноз очень точный дождь начинается и кончается плюс минус 5 минут от прогноза. Хотя и до этого, когда был доступен радар для простых смертных а не только для яндекса, достаточно просто и точно можно было определить тоже самое, видя карту радара, на которой в том числе скорость и направление ветра.
Всё-таки облака — чаще всего необходимое, но отнюдь не достаточное условие выпадения осадков, есть много других факторов, таких как температура, в т.ч. на разных высотах, смешение холодных и тёплых воздушных масс, а также много других характеристик, используемых в профессиональной метеорологии, которые используются как в краткосрочных, так и в долгосрочных прогнозах.
Было бы интересно узнать, что из этого набора реально используется / готовится к использованию.
Я правильно понимаю, что частотнадзор пришел к человеку домой и помог настроить точку доступа? =)
Без умных моделей эти числодробилки — игра и раздувание щек. А так как придумывать тяжело, то давай сюда нейросеть — она, даст бог, сама разберётся.
Закавыка в том, что появление людей, которые могли бы придумывать метеомодели убито отсутствием финансового стимулирования. Вот придумает кто-то хорошую, рабочую модель и что? Нынешний копирайт приведет к тому, что разработка будет отобрана у автора жирными котами. Ладно со стимулированием автора и, прости господи, со справедливостью. Так ведь разработка остановится!
Конечно, хорошо, что хоть можно посмотреть причесанные данные с метеорадаров. На пару часов линейная интерполяция, естественно, работает.
Закавыка в том, что появление людей, которые могли бы придумывать метеомодели убито отсутствием финансового стимулирования. Вот придумает кто-то хорошую, рабочую модель и что? Нынешний копирайт приведет к тому, что разработка будет отобрана у автора жирными котами. Ладно со стимулированием автора и, прости господи, со справедливостью. Так ведь разработка остановится!
Конечно, хорошо, что хоть можно посмотреть причесанные данные с метеорадаров. На пару часов линейная интерполяция, естественно, работает.
Скажите, а вы не думали делать прогнозы «чуть более планетарного» масштаба?
Наверное, в некоторых случаях это могло бы спасти человеческие жизни: например, в округе Японии 6 июля за полдня выпали месячные осадки, в результате произошло наводнение и погибли как минимум 15 человек.
Наверное, в некоторых случаях это могло бы спасти человеческие жизни: например, в округе Японии 6 июля за полдня выпали месячные осадки, в результате произошло наводнение и погибли как минимум 15 человек.
Говоря про зоопарк форматов данных метеорадаров, следовало бы упомянуть доморощенный BUFR от ИРАМа. Который сам по себе зоопарк в зоопарке. Почему не попробовали STEPS? Хотя, нейронная сеть интересное решение для этой задачи. Как получаете радарные данные, договор с ЦАО?
P.S. не ОРФ а ВОРФ (WRF в оригинале, произносится как ВОРФ, уж не знаю почему) поправьте пожалуйста.
P.S. не ОРФ а ВОРФ (WRF в оригинале, произносится как ВОРФ, уж не знаю почему) поправьте пожалуйста.
Очень интересный поход к решению задач: Попробуем, что то написать на основе тех блоков которые есть. Если не будет работать, поменяем блок. Очень интересно, сколько трудочасов на это все ушло?
Знание Теории автоматического управления очень бы помогло разработчикам прогноза, во всяком случае, более точно поставить задачу и определиться с показателями качества для каждого блока системы и системы в целом.
Я бы почитал для начала: Теорему Котельникова (Частота Найквиста) понял с какой частотой нужно получать данные от метеостанций, что бы теоретически можно было получить заданную точность.
Затем в модель добавил бы контуры по первой может быть еще по второй и третьей производной, это бы убрало скачки по положению. Дальше, данные должны приходить в каждый отсчет, если их нет берем прогнозируемые. Не стабильная частота очень сильно влияет на ошибку. После того как определились с моделью и критериями качества можно переходить к моделированию в Matlab. Можно в самом Матлабе делать или в его компоненте Simulink. В Матлабе даже есть блок реального времени.
После того как добились на модели приемлемых результатов, можно пробовать писать это на языке более низкого уровня.
Но реальность такова, что у нас есть только программисты, из всех остальных областей люди переучиваются на программистов для веба…. :(
Знание Теории автоматического управления очень бы помогло разработчикам прогноза, во всяком случае, более точно поставить задачу и определиться с показателями качества для каждого блока системы и системы в целом.
Я бы почитал для начала: Теорему Котельникова (Частота Найквиста) понял с какой частотой нужно получать данные от метеостанций, что бы теоретически можно было получить заданную точность.
Затем в модель добавил бы контуры по первой может быть еще по второй и третьей производной, это бы убрало скачки по положению. Дальше, данные должны приходить в каждый отсчет, если их нет берем прогнозируемые. Не стабильная частота очень сильно влияет на ошибку. После того как определились с моделью и критериями качества можно переходить к моделированию в Matlab. Можно в самом Матлабе делать или в его компоненте Simulink. В Матлабе даже есть блок реального времени.
После того как добились на модели приемлемых результатов, можно пробовать писать это на языке более низкого уровня.
Но реальность такова, что у нас есть только программисты, из всех остальных областей люди переучиваются на программистов для веба…. :(
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как мы делали краткосрочный прогноз осадков. Лекция в Яндексе