Comments 62
Скажу про свой город (Казань). Раньше аэродром в одном месте публиковал снимки с погодного радара, обновлялись они раз в 5 минут. И так как было видно направление и скорость ветра, можно было на глаз определить когда начнется дождь или когда он закончится.
Пару лет назад они прекратили это делать, но теперь это делает Яндекс. И он перестал попадать даже в текущую ситуацию. "Дождь будет через 2 часа", а по факту он уже идёт и так далее. Про краткосрочный прогноз я вообще молчу. Листаешь время вперёд и видишь что то неадекватное, типа того что тучи внезапно куда то изчезают или появляются из ниоткуда.
Листаешь время вперёд и видишь что то неадекватное, типа того что тучи внезапно куда то исчезают или появляются из ниоткуда.
Это не тучи, это наличие и интенсивность осадков — поэтому небо может быть затянуто полностью, но на карте будет чисто :).
Но да, в последнее время возникают расхождения с прогнозом на карте, вроде ливня когда «в ближайшие два часа осадков не ожидается», и наоборот(причём эта ситуация не сильно далеко от крупного московского аэропорта). Раньше было точнее, что было очень полезно при строительных работах на даче — чтобы успеть убрать электроинструмент под крышу, или вообще не приступать к работам на улице.
Для Казани у нас есть измерения с радара ДМРЛ-С, которые проводятся каждые 10 минут. Возможем вариант, когда осадки возникли во время проведения измерения, тогда да, к сожалению мы покажем их с 10 минутной задержкой. Сейчас есть идея, как сделать лучше, как раз для этого мы и вернули нейросеть, чтобы учитывать информацию не только у земли, но и в самом облаке. Постараемся вас порадовать выпуском улучшенной версии и поменьше ошибаться :)
Если же расхождения прям все время возникают — пожалуйста, сообщайте про это через опрос на карте осадков, по ним мы учитываем отклонение прогноза и обращаем внимание на проблемные зоны. Чем больше репортов, тем сильнее для нас сигнал.
Если же расхождения прям все время возникают — пожалуйста, сообщайте про это через опрос на карте осадков, по ним мы учитываем отклонение прогноза и обращаем внимание на проблемные зоны. Чем больше репортов, тем сильнее для нас сигнал.
А нельзя просто результаты с радаров (где они есть) на карте отображать? Толку куда больше будет.
В том то и дело, что на глаз по этой картинке с радара, получалось гораздо точнее чем сейчас. Меня тогда считали некоторые каким то шаманом, который знал секрет как предсказать погоду на ближайшие пол часа.
Поддержу вопрос выше. Достаточно ли посмотреть ситуацию что было 10 минут, чтоб увидеть фактическую обстановку, не испорченную нейросетями?
Поддержу вопрос выше. Достаточно ли посмотреть ситуацию что было 10 минут, чтоб увидеть фактическую обстановку, не испорченную нейросетями?
До момента «сейчас» мы показываем снимки с радаров. После этого начинаются предсказания. Таким образом, на моменте «сейчас» чаще всего показывается первый шаг предсказания. Это связано с тем, что имеются накладные расходы на доставку и обработку свежих снимков
Расскажите, пожалуйста, как вы получаете данные с ДМРЛ?
Несколько лет назад госгидромед запретил выкладывать данные в реальном времени, именно из-за них можно найти данные только суточной давности.
habr.com/ru/post/266303
www.change.org/p/росгидрометцентру-вернуть-открытый-доступ-снимков-дмрл-радары?source_location=petitions_share_skip
Несколько лет назад госгидромед запретил выкладывать данные в реальном времени, именно из-за них можно найти данные только суточной давности.
habr.com/ru/post/266303
www.change.org/p/росгидрометцентру-вернуть-открытый-доступ-снимков-дмрл-радары?source_location=petitions_share_skip
На днях через знакомых работающих в аэропорту, сравнили картинку с радара и то что показывает яндекс, пусть даже с поправкой на «10 минут назад» — разница очень и очень большая.
Команда Яндекс.Погоды — сколько не пишите статей, вы все равно делаете убогий продукт из-за убогой лживой информации, этим продуктом создаваемой.
Новосибирск.
Температура. Расхождение в текущей температуре до 10 градусов зимой. 10!!! Это типа -10 и -20. В принципе разные температуры.
Сейчас расхождение 5 градусов (от 18 градусов это почти 30%!!!)
Дожди. Расхождение по времени до 2 часов!!! У вас же спутниковые карты, КАРЛ!
Я в окно вижу надвигающуюся грозовую темную тучу, а у вас "… осадков не ожидается" и чистое небо без каких-либо туч. Вы эти спутниковые данные чем обрабатываете, что такая чушь получается?
Прогноз. Даже на ближайшие сутки — намного более точный прогноз дает буржуйский ресурс DarkSky. Вы, делая российский продукт для россиян, не можете тупо сделать банальный прогноз на сутки. Да хоть спарсите у других, у Росгидрометеоцентра хотя бы!
Есть хорошая поговорка про дохлую лошадь. Слезьте уже с нее.
Новосибирск.
Температура. Расхождение в текущей температуре до 10 градусов зимой. 10!!! Это типа -10 и -20. В принципе разные температуры.
Сейчас расхождение 5 градусов (от 18 градусов это почти 30%!!!)
Дожди. Расхождение по времени до 2 часов!!! У вас же спутниковые карты, КАРЛ!
Я в окно вижу надвигающуюся грозовую темную тучу, а у вас "… осадков не ожидается" и чистое небо без каких-либо туч. Вы эти спутниковые данные чем обрабатываете, что такая чушь получается?
Прогноз. Даже на ближайшие сутки — намного более точный прогноз дает буржуйский ресурс DarkSky. Вы, делая российский продукт для россиян, не можете тупо сделать банальный прогноз на сутки. Да хоть спарсите у других, у Росгидрометеоцентра хотя бы!
Есть хорошая поговорка про дохлую лошадь. Слезьте уже с нее.
Как бы вам сказать, спутник-то тоько раз в несколько часов летает :) Радара в Новосибирске нет (или по крайней мере не было).
Спасибо за ваш отзыв. Наш убогий продукт используется на более 70 млн устройств, не чувствуем перед собой морального права слезать. А хочется понять причину и исправить, так как прогноз мы делаем в первую очередь для того, чтобы радовать наших пользователей.
Открыты к конструктивному диалогу. Подскажите вот про факт, вижу для Новосибирска сейчас +20. Полчаса метеостанция в аэропорту измерила +19 градусов, полтора часа в городе измерила +18. Хочется понять, откуда откуда набегает ошибка в 5 градусов в фактической температуре.
Открыты к конструктивному диалогу. Подскажите вот про факт, вижу для Новосибирска сейчас +20. Полчаса метеостанция в аэропорту измерила +19 градусов, полтора часа в городе измерила +18. Хочется понять, откуда откуда набегает ошибка в 5 градусов в фактической температуре.
Вспоминается давно подслушанный разговор в автобусе, когда двое приятелей встретились, и один у другого спросил чего тот такой кислый.
Тот студент, писал диплом про что-то с погодой. Взял погодные данные с трёх станций что у нас на тот момент были живые. Если брать данные всех трёх станций — погрешность больше допустимой, а учитывать данные с двух станций (тогда погрешность пусть со крипом, но пролезает) нельзя по методике.
Метеоспутников у России нет. Международный обмен раньше был с задержкой. Метерпдары — ушли в мутные воды.
Метеостанции — тоже, как бы про них особо не слышно.
Тот студент, писал диплом про что-то с погодой. Взял погодные данные с трёх станций что у нас на тот момент были живые. Если брать данные всех трёх станций — погрешность больше допустимой, а учитывать данные с двух станций (тогда погрешность пусть со крипом, но пролезает) нельзя по методике.
Метеоспутников у России нет. Международный обмен раньше был с задержкой. Метерпдары — ушли в мутные воды.
Метеостанции — тоже, как бы про них особо не слышно.
Вот кстати про метеостанции. Я когда еду по КАД питерскому — регулярно вижу вдоль дороги на опорах метеорологические анемометры (такая крутилка со штуками, похожими на ложки, торчащими в сторону). Во-первых интересно, зачем они нужны. Во-вторых — можно ли как-то инфу вытаскивать с них? Это же получается довольно масштабная сеть метеостанций вокруг города (пусть даже примитивных, но уж если они скорость ветра меряют то наверное и всякую температуру-влажность-давление тоже, а что еще нужно?)
Я слышал, начинали мутить с Мегафоном, что бы те ставили метео на своих базовых станциях, и передавали данные в центр.
Но потом как-то дело затормозилось и нынешний статус — не знаю.
Я в этой теме не завязан, просто в своё время в частной беседе знакомые упомянули что вокруг Иванова, юридически остались две метеостанции, а фактически — одна.
Про масштабные проекты не слышал.
Но потом как-то дело затормозилось и нынешний статус — не знаю.
Я в этой теме не завязан, просто в своё время в частной беседе знакомые упомянули что вокруг Иванова, юридически остались две метеостанции, а фактически — одна.
Про масштабные проекты не слышал.
Справедливости ради, сколько раз была ситуация, когда грозовая тёмная туча надвигается, висит, уходит, а дождя так и не было. Раз уж у Яндекса столько пользователей, что они могут индекс самоизоляции делать и многое другое, надо, чтобы Яндекс у всех через push-уведомления спрашивал «над вами тёмная туча. дождь идёт или нет?». Потом придумают, что делать с данными.
пользуюсь я.погодой уже примерно год и почти весь этот период ее ближайший прогноз был исключительно точным(живу в ближайшем Подмосковье). Но в последний месяц, действительно, появились проблемы.
Сейчас расхождение 5 градусов (от 18 градусов это почти 30%!!!)А разница в один градус между 0 и +1 будет давать аж 100% расхождения!!!
это почти 30%
Проценты в шкале Цельсия считать — это такое. Если бы в Кельвинах посчитали, было бы больше физического смысла.
Сейчас расхождение 5 градусов (от 18 градусов это почти 30%!!!)
Не вычисляйте проценты от градусов, это бессмысленно.
upd: да, надо было посмотреть предыдущие комментарии… я уже третий.
Есть такая новая присказка про сверхкраткосрочные прогнозы: «врёт, как я.погода».
Поддерживаю комментарий выше про расхождение до 2х часов. С моим личным анектодическим опытом — вообще никогда не видел попадание во время. Уже хорошо, если просто есть попадание в факт (т.е. при прогнозе «дождь» этот дождь реально в окрестности ±2часа есть, а при прогнозе «сухо» — дождя реально нет).
ЗЫ: Сильнейший ливень в прошлом году Питере я наблюдал как раз тогда, когда я.погода бодро сообщала, что осадков нет. И не будет. И даже через 2 часа не будет.
Поддерживаю комментарий выше про расхождение до 2х часов. С моим личным анектодическим опытом — вообще никогда не видел попадание во время. Уже хорошо, если просто есть попадание в факт (т.е. при прогнозе «дождь» этот дождь реально в окрестности ±2часа есть, а при прогнозе «сухо» — дождя реально нет).
ЗЫ: Сильнейший ливень в прошлом году Питере я наблюдал как раз тогда, когда я.погода бодро сообщала, что осадков нет. И не будет. И даже через 2 часа не будет.
Москва — тоже полная чушь по осадкам.
Верните розыгрыш погоды.
rand() это теперь нейросети? =)
А какие лоссы используются для инпейнтинга границ?
Мы использовали оригинальный алгоритм, предложенный NVidia [1], и адаптировали его под специфику радарных и спутниковых данных [2]
[1] arxiv.org/abs/1804.07723
[2] arxiv.org/abs/1812.10915
[1] arxiv.org/abs/1804.07723
[2] arxiv.org/abs/1812.10915
Минск — раньше (осенью) карта погоды была относительно правдивая, сейчас (последние три недели) дожди вообще не соответствуют. На улице ливень — на карте сухо. И наоборот.
Раз уж пошла такая пьянка, что все устроили перекличку своих городов, я тоже добавлю. Пару дней назад, а именно 7 июня утром смотрел прогнозы Яндекс.Погоды для точки у МКАДа и для центра Москвы. Осадки не ожидались весь этот день и ещё несколько дней после. В итоге получилось, что днём где-то посередине между этими точками пошёл дождь, не сильный, не слабый, средний, который с небольшим перерывом длился минут 30-45. Если мне не изменяет память, приложение Яндекс показывало во время дождя, что дождя нет и не будет.
Предложение. Яндекс же знает координаты автобусных остановок, ларьков (с навесами) и магазинов (а вот координаты деревьев с плотной листвой — нет). Если все пешеходы (это же фильтруется для Яндекс.Пробок) с любыми приложениями Яндекса резко в один момент времени попрятались под этими объектами, то логично было бы обратить на это внимание, отправить им push-уведомление с вопросом «прямо сейчас идёт дождь?» или позволить отправить эту информацию самому в разделе «погода». Это уникальная ситуация, в других случаях люди не будут сначала идти по своим делам по своему маршруту, со своей скоростью и далеко друг от друга, а затем резко толпиться под козырьками, доставая смартфоны от скуки. Можно и проверять достоверность прогноза, и очень точно отслеживать перемещение дождя, и не сообщать пользователям приложения, что нет дождя, когда он идёт. Разумеется, если Яндекс соберёт такие краудсорсинговые данные, было бы неплохо их в реальном времени публиковать по свободной лицензии для повторного использования.
Предложение. Яндекс же знает координаты автобусных остановок, ларьков (с навесами) и магазинов (а вот координаты деревьев с плотной листвой — нет). Если все пешеходы (это же фильтруется для Яндекс.Пробок) с любыми приложениями Яндекса резко в один момент времени попрятались под этими объектами, то логично было бы обратить на это внимание, отправить им push-уведомление с вопросом «прямо сейчас идёт дождь?» или позволить отправить эту информацию самому в разделе «погода». Это уникальная ситуация, в других случаях люди не будут сначала идти по своим делам по своему маршруту, со своей скоростью и далеко друг от друга, а затем резко толпиться под козырьками, доставая смартфоны от скуки. Можно и проверять достоверность прогноза, и очень точно отслеживать перемещение дождя, и не сообщать пользователям приложения, что нет дождя, когда он идёт. Разумеется, если Яндекс соберёт такие краудсорсинговые данные, было бы неплохо их в реальном времени публиковать по свободной лицензии для повторного использования.
Такие репорты мы уже собираем от наших пользователей и учитываем при оценке ошибок прогноза. Тут вы совершенны правы, что на базе пользовательских репортов можно построить «народную» карту осадков, так как измерения как радаров, так и спутников не идеально точные.
А возможно даже без репортов? Если поведение пешеходов резко изменилось, то, например, для этой точки быстро и автоматически перестать показывать «дождя нет и не будет», а показать или «по старым данным, дождя сейчас нет. сообщите о дожде», или «нет данных». В таких случаях просто не показывать никакую информацию от радаров и спутников, потому что в этот момент становится очевидно, что расхождения с реальностью слишком большие, а именно это и вызывает негодование пользователей. Затем посмотреть по ответам на push-уведомления, куда перемещается дождь, и там заранее отключить прогноз «дождя не будет».
Да, это хорошая идея и мы её прорабатываем. Следите за нашими новостями :)
Можно будет потом весело поглумиться, устроив флеш-моб под совершенно безоблачным небом.
Весь флэшмоб ради того, чтобы поменять «осадков не ожидается» на «нет данных»? Если человек 5 из жителей соседних домов и пешеходов сообщат, что дождя нет, то тогда просто не надо шутникам верить. Нужна база смартфонов без влагозащиты, и если пешеход долго идёт с таким смартфоном (лучше подороже) и сообщает, что нет дождя, ему и верить. =)) А вот под совершенно безоблачным (см. радары и спутники) не может быть дождя.
Я тучка, тучка, тучка, а вовсе не медведь…
Достаточно продвинутая технология позволяет не только пробки рисовать, но и тучки!
Пару лет назад мы с коллегой изготовили автономное устройство, потребляющее чуть более чем ничего (основной потребитель – модуль передачи данных) и способное автоматом детектить дождь (от мелкого до ливня), снег, морось и туман с дифференциацией по сигналу. Писали в яндекс, но, конечно же, «недостаточно настойчиво». Думаю, менеджмент называет такие предложения беспеспективными и продолжит гадание на нейросетях и радарах (которые «светят» на высоте 1км), потому что это модные технологии.
Я думаю, что проблема в том, что мы больше замечаем те моменты, когда погода не совпала и не замечаем те, когда совпала. Что-то вроде селективного восприятия, одного из часто встречающихся когнитивных искажений.
У нас на прошлой неделы было много дождей, и были случаи, когда яндекс говорил, дождя не будет — я выходил в магазин и попадал под дождь. Но так же были и случаи, когда яндекс обещал, что дождь будет к вечеру, и действительно, хоть весь день было пасмурно, дождь начался уже часов в 6 вечера.
У нас на прошлой неделы было много дождей, и были случаи, когда яндекс говорил, дождя не будет — я выходил в магазин и попадал под дождь. Но так же были и случаи, когда яндекс обещал, что дождь будет к вечеру, и действительно, хоть весь день было пасмурно, дождь начался уже часов в 6 вечера.
Все равно наиболее точный прогноз по России считают норвежцы — yr.no. Такие дела.
"Формально все верно, а по сути издевательство". Сколько слежу за вашим продуктом, вы время от времени сообщаете о
тех или иных прорывах в решении задач анализа данных.
Уверен, что ваши инженеры делают реально большую и сложную научно-практическую работу. В плане интерфейса это один из лучших сервисов. Однако буквально пару часов назад ваш сайт показывал отличную погоду для прогулок на вечер в Минске, а сейчас вынужден прятаться от ливня у друзей. :)
Со стороны выглядит так, что для повышения точности прогнозов нужно что-то принципиально менять. Возможно руководство боится ставить амбициозные цели, а менеджмент не может решать нестандартные вопросы? Вон Маск когда надо получает бюджеты, строит ракеты и запускает спутники.
UFO just landed and posted this here
Очень давно использую АМС Davis VantagePro2 и вправляю данные в WeaterUnderground за что раньше получал шикарный прогноз для своего дома, а теперь (после покупки WU IBM) частота расчёта прогноза заметно сократилась. Так что, стал пользоваться иногда прогнозом от Яндекс.Погоды, тем более, что местный радар (Ижевск) так же как в других регионах перестал публиковаться. И вот очень мне не хватает количественной оценки осадков по часам. Нынешние картинки весьма непонятны и трактуются очень неоднозначно разными людьми, а когда указан прогноз 3мм с вероятностью 60% то сразу всё понятно… ну и вероятность конечно полезна по отношению к интервалам (сейчас она показывается слева как одна цифра). Ну и в плане интерфейса, мне кажется, что было бы удобно если бы четверти дня раскрывались в часовые прогнозы там где это возможно, конечно. Рад что вы прогрессируете!!! Молодцы!!!
У Яндекса же есть развёрнутая сеть «наземных» спутников – Я.Такси, почему бы не использовать её для проверки фактической погоды? Пусть облачность/осадки снимают на регистратор/допкамеру/датчик осадков раз в 10 мин, выборочно, ну или еще как-нибудь. Главное не в автомойке съемку вести;)
Обвешать часть пепелацев датчиками, и вот вам уже карта осадков, загрязнённости воздуха на магистралях, уровень инсоляции… Да много чего)
Обвешать часть пепелацев датчиками, и вот вам уже карта осадков, загрязнённости воздуха на магистралях, уровень инсоляции… Да много чего)
UFO just landed and posted this here
Вот вчера, как и третьего дня, никто не обещал на сегодня дождь в Москве и окрестностях.
Масса комментариев указывает (не в первый раз) на среднемасштабные проблемы в прогнозе (1-2 часа), а на рисунке 6 показано как подмалевать мелкие нестыковки. Кажется, что решаемая задача сильно отличается от требований пользователя. Может нужно начать с выяснения почему другие сервисы могут?
А что это за dice такой в «ставшей классической сумме кросс-энтропии и dice»?
На самом деле я большой поклонник Яндекс Погоды и всегда считал что продукт просто замечательный с точки зрения точности и удобства например езды на мотоцикле когда сильно не хочется попасть по дождь, но вот недавно, месяц наверное или несколько месяцев началась беда с прогнозами, похоже нейросети вы зря вернули. Либо что очень вероятно характер поведения погоды поменялся и их надо переобучать. (а пока отключить)
Я пользуюсь вашей погодой и не жалуюсь. Круто всё это по иным причинам:
- Это сложная задача и вы ей занимаетесь,
- Вы умудрились "подменить" задачу и добиться улучшения,
- Вы делитесь знаниями, спасибо!
Sign up to leave a comment.
Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс.Погоды