Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Европейские ученые начали создавать цифрового двойника Земли

Высокая производительностьСуперкомпьютерыЭкология

Европейские ученые в середине 2021 года приступят к созданию цифровой копии Земли, чтобы бороться с изменением климата и экологическими катастрофами. Им понадобится суперкомпьютер мощностью 20 МВт с 20 тысячами графических процессоров для запуска полномасштабного моделирования.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Просмотры3.9K
Комментарии 6

Методы оценки качества прогноза

Чулан
Часто при составлении любого прогноза — забывают про способы оценки его результатов. Потому как часто бывает, прогноз есть, а сравнение его с фактом отсутствует. Еще больше ошибок случается, когда существуют две (или больше) модели и не всегда очевидно — какая из них лучше, точнее. Как правило одной цифрой (R2) сложно обойтись. Как если бы вам сказали — этот парень ходит в синей футболке. И вам сразу все стало про него ясно )

В статьях о методах прогнозирования при оценке полученной модели я постоянно использовал такие аббревиатуры или обозначения.
  • R2
  • MSE
  • MAPE
  • MAD
  • Bias

Попробую объяснить, что я имел в виду.
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Просмотры14.6K
Комментарии 16

Когда прогнозирование бессильно

Чулан
В прошлых статьях я описал проверенные статистические методы прогнозирования.

А теперь давайте подумаем. Все, что мы можем делать — это прогнозировать, используя короткие временные периоды. Ведь современные компании живут очень мало: многие ли из вас работают там, где есть статистика хотя бы за пять лет? Наша цель — построить достоверный прогноз на год, к примеру. Но современный бизнес кривляется и не желает быть предсказуемым.


Читать дальше →
Всего голосов 28: ↑25 и ↓3 +22
Просмотры578
Комментарии 21

Новый путь мирового развития

Чулан
Узнал вчера на «Подмосковных вечерах» о том, что существует актуальное научное обоснование определенного мирового порядка. Разработана, ни много ни мало, программа «новый путь мирового развития»

Докладчики вообще-то рассказывали всего лишь о своей прогнозирующей системе. Эта вещь хранит статистическую информацию за годы работы компании-заказчика и пытается помогать ее руководству в принятии управленческих решений. Софтину продают для прогнозирования будущих нагрузок в телеком, энергетикам и т.п. Погрешности предсказаний неплохие получаются, пара процентов для телекома и пять для энергетиков. Очень забавно они перед началом проекта заказчика убеждают в точности софтины. Либо экстраполируют более поздние данные на более ранние. Либо ось времени не крутят, но прогнозируют на конец уже известного периода по неполным статистическим данным. Это мне уже на порядок понятнее, чем «ничего-не-скажу-но-оно-может-все» бывших разведчиков. На этом закончим о конкретном решении, речь все же не о системе, а об интересной истории развития ее коллег и «новом пути мирового развития»

Читать дальше →
Всего голосов 6: ↑3 и ↓3 0
Просмотры489
Комментарии 11

Прикладная S-образность: Планируем Стартап

Чулан
Как понимание законов развития систем и S-образной кривой развития в частности, может помочь выбрать область, в которой стоит начинать свой стартап?

Допустим, Вам пришла идея на миллион, и хочется срочно брать ее и делать. Но как же узнать, выстрелит она или нет? Как подстраховать себя от бессмысленных трат времени и денег?
Читать дальше →
Всего голосов 44: ↑38 и ↓6 +32
Просмотры561
Комментарии 25

Программа DARPA: в погоне за злоумышленниками

Научно-популярное
Профилактика преступлений – это скучно, а вот прогнозирование – значительно более веселое занятие. Нам приходилось читать о проектах по предотвращению преступлений и раньше, но большинство из них попахивало сумасбродством. Но это были цветочки по сравнению с недавней разработкой компании DARPA под названием SMITE (расшифровка аббревиатуры переводится на русский как «устранение угрозы злонамеренного инсайдерского проникновения" — Suspected Malicious Insider Threat Elimination). Детали проекта пока почти неизвестны, поскольку находятся на стадии проработки, а его суть – создать базу данных действий, которые попадают под понятие злонамеренного поведения – например, шпионаж. Предполагается, что злостные намерения можно выявить до совершения преступления. Как минимум затея вызывает массу этических и философских вопросов. А как максимум, поскольку речь идет о DARPA, есть шансы, что дальше идеи проект не продвинется.

via engadget.com
Всего голосов 8: ↑6 и ↓2 +4
Просмотры286
Комментарии 4

Прогнозирование результатов матчей чемпионата мира

Искусственный интеллект
Недавно завершился чемпионат мира, в котором победила сборная Испании. Самым известным «предсказателем» мундиаля стал осьминог Пауль, безошибочно предсказавший восемь результатов футбольных матчей подряд (в том числе исход финала).

Но, как оказалось, английские ученые тоже решили не отставать от осьминога и разработали модель, которая позволила предсказать победу Испании в финале и объяснить поражении Англии против Германии.
Читать дальше →
Всего голосов 61: ↑37 и ↓24 +13
Просмотры1.8K
Комментарии 82

Прогнозирование временных рядов

Алгоритмы
Из песочницы
Привет.
Я хочу рассказать об одной задаче, которая очень заинтересовала меня в свое время, а именно, о задаче прогнозирования временных рядов и решении этой задачи методом муравьиного алгоритма.

Для начала вкратце о задаче и о самом алгоритме:
Читать дальше →
Всего голосов 45: ↑38 и ↓7 +31
Просмотры34.8K
Комментарии 15

3 000 000 $ за лучший алгоритм

Алгоритмы
Привет, Хабр!

4 мая 2011 года крупнейшая здравоохранительная организация штата Калифорния «Heritage Provider Network» сообщила о проведении конкурса на лучший алгоритм прогнозирования, благодаря которому станет возможным сократить расходы на здравоохранение.

Конкурс стартовал ещё 4 апреля 2011 года в 19:00 по Гринвичу и будет длиться почти 2 года — до 3 апреля 2013 года.

Главный приз конкурса, а именно 3 000 000 $, получит тот, кто разработает алгоритм, позволяющий предсказать с наибольшей достоверностью на основе данных за предыдущие годы, сколько дней в этом году пациенты проведут в больнице.

В качестве исходных данных предоставляются анонимные выборки аналогичных данных за минувшие 3 года.

Подробнее под катом
Всего голосов 78: ↑75 и ↓3 +72
Просмотры1.3K
Комментарии 118

О современных методах околоземной астрономии

Научно-популярноеКосмонавтика

Вступление лирическое


Если бы античный человек попал в наше время и взглянул на ночное небо, он бы наверное начал немедленно молиться своим богам, а может быть подумал, что пришёл судный день. Для нас, людей, чьё небо скрыто за световым загрязнением городов и деревень, такое утверждение может показаться абсурдным: «Звёзды такие же звёзды, что с них взять то?». Но если разобраться — оно обретёт смысл.
image
Выйдете вечером на природу и посмотрите в небо. Ничего не видите? Смотрите внимательнее! Практически в любой момент по небу будут лететь 2-3 ярких точки, а если присмотреться, то можно найти ещё с пяток более медленных и тусклых. Иногда (раза 3-4 за ночь) вам может посчастливиться и вы увидите ярчайшую вспышку на небе, лишь луна сравниться с ней по яркости. Всё это достижения человеческого прогресса — спутники. Для античного человека, для которого небо было символом постоянности, которое он видит над собой из ночи в ночь всё это мельтешение было бы воспринято как что-то противоестественное.

Вступление прагматическое


Хаброюзер — он не античный человек и в звёздах в большинстве своём не разбирается. И даже если воспользуется специальным софтом и литературой , то научиться разбираться на уровне древних ему потребуется не одна неделя втыкания в небо и зубрёжки античных легенд. Но, Хаброюзер, — он человек современный, технически подкованный и в своём большинстве разбирается в науке. А это значит, что среди древних он бы смог прослыть мудрецом — предсказателем, умеющим предсказывать появление этих новомодных летающих звёзд. Если бы знал, как это сделать. А вот именно о том как это сегодня делается я тут и расскажу.



Читать дальше →
Всего голосов 26: ↑25 и ↓1 +24
Просмотры703
Комментарии 12

Обработка сложных событий с помощью цепочек

ПрограммированиеАлгоритмы
В статье описывается метод обработки сложных событий с помощью цепочек. В качестве практического приложения была выбрана относительно простая задача — прогнозирование движения валютного курса.

При построении цепочек использовалась методология, описанная в статье “Автоматический анализ текстов без модераторов” и в комментариях к ней. После описания алгоритма будут предложена стратегия с положительным математическим ожиданием прибыли.
Читать дальше →
Всего голосов 19: ↑17 и ↓2 +15
Просмотры5.4K
Комментарии 18

Алгоритм предсказывает преступления, отслеживая мобильные телефоны

Data MiningАлгоритмы
Уже много лет учёные экспериментируют с алгоритмами, способными предсказывать преступность. Предполагается, что преступники склонны повторять успешные действия — по крайней мере, они не используют ГСЧ для выбора места и времени преступлений, так что их действия предсказуемы по определению.

Например, год назад калифорнийский город Санта-Крус первым в мире внедрил математическую модель расчёта вероятности преступлений, которая каждый день составляет новый маршрут для патрульных машин, основываясь на статистике преступлений по улицам. Учитываются день недели, время суток, наличие/отсутствие футбольных матчей по ТВ и другие факторы.

Исследователь из Бирмингемского университета Мирко Мусолези (Mirco Musolesi) применил совершенно другой подход. Его метод основан не на статистике, а на оперативных данных из сетей сотовой связи. Мусолези начал с того, что научил алгоритм с высокой степенью вероятности прогнозировать перемещения каждого абонента: он даже выиграл конкурс Nokia Mobile Data, наиболее точно предсказав перемещения 25-ти добровольцев по сигналам их телефонов, истории звонков и текстовым сообщениям. Иногда алгоритм прогнозирует координаты пользователя с точностью до 20 м2.
Читать дальше →
Всего голосов 55: ↑51 и ↓4 +47
Просмотры5.1K
Комментарии 70

Как устроен краткосрочный прогноз на Яндекс.Пробках

Блог компании ЯндексData MiningАлгоритмы
Информация о пробках появилась на Яндексе в 2006 году. Начинали мы с необходимого — научились строить схему загруженности городских улиц и учитывать текущую ситуацию при прокладывании маршрутов. Автомобилисты, ориентируясь перед выездом на эту информацию, уже могли сэкономить время в пути:
image

Затем, чтобы помогать водителям непосредственно во время движения, мы добавили в мобильные Яндекс.Карты (и, как следствие, в Яндекс.Навигатор) автоматическое перестроение маршрута. Приложения научились адаптировать маршрут при каждом заметном изменении ситуации в городе.

Собрав на десктопе и в мобильном информацию про «сейчас», мы перешли к решению вопроса «а как будет потом?»:
image

Первым шагом стала статистическая карта пробок — на ней можно посмотреть, как в среднем стоит и едет город в конкретный час конкретного дня недели. Мы предполагали, что у карты «обычных» пробок может быть полезный побочный эффект — возможность по ним спрогнозировать заторы на ближайшее время. Но практика показала, что усреднённая картина помогает примерно спланировать только, например, завтрашнюю поездку в аэропорт — но не помогает выезжающим сейчас избежать новых пробок. По нашим измерениям, даже в конце часового маршрута картина пробок на момент выезда обычно ближе к фактической, чем усреднение:

image

Неделю назад на Яндекс.Картах появилась возможность посмотреть изменения пробок в ближайший час — следующий наш шаг в решении вопроса про будущее. Для тех, кто в этом году не смог приехать на Yet another Conference, мы сегодня расскажем, что у нашего прогноза внутри, и как оно там оказалось.
Переходим к подробностям!
Всего голосов 133: ↑128 и ↓5 +123
Просмотры71.7K
Комментарии 131

Система прогнозирования на базе нейронных сетей в промышленности

Разработка веб-сайтов
Из песочницы
Все больше внимания уделяется оптимизации процессов, в-основном, в виде снижения затрат на производство продукции. Снижения затрат можно достигнуть модернизированием оборудования, но данный подход влечет за собой множество затрат на проектирование, покупку, реконструкцию и пр., а также сопровождается недополученной прибылью во время простоя реконструируемого объекта. Но также возможно использовать математический подход для поиска неэффективности в технологическом процессе, об и этом и пойдет речь далее.
Читать дальше →
Всего голосов 11: ↑8 и ↓3 +5
Просмотры50K
Комментарии 8

Обзор моделей прогнозирования временных рядов: проба пера

Математика
Tutorial
В рамках своей диссертации «Модель прогнозирования по выборке максимального подобия» мне нужно было делать обзор моделей прогнозирования. Кроме обзора, я сделала вариант классификации, который мне тогда не очень удался. Классификацию уже немного поправила, теперь хочется разобраться в существующих моделях прогнозирования временных рядов. Такие модели называют стохастическими моделями (stochastic models).

По оценке некто Тихонова в его «Прогнозировании в условиях рынка» на сегодняшний день (2006 год) существует около 100 методов и моделей прогнозирования. Эта оценка звучит бредово, я полно разбирала ее! Давайте теперь вместе разберемся, какие же модели прогнозирования временных рядов существуют на сегодняшний день.

  1. Регрессионные модели прогнозирования
  2. Авторегрессионные модели прогнозирования (ARIMAX, GARCH, ARDLM)
  3. Модели экспоненциального сглаживания (ES)
  4. Модель по выборке максимального подобия (MMSP)
  5. Модель на нейронных сетях (ANN)
  6. Модель на цепях Маркова (Markov chains)
  7. Модель на классификационно-регрессионных деревьях (CART)
  8. Модель на основе генетического алгоритма (GA)
  9. Модель на опорных векторах (SVM)
  10. Модель на основе передаточных функций (TF)
  11. Модель на нечеткой логике (FL)
  12. Что еще?...

Разберемся по очереди со всеми
Всего голосов 43: ↑35 и ↓8 +27
Просмотры85.8K
Комментарии 33

Методология расчета нагрузки, количества пользователей информационной системы — web-сайта или сервиса

Проектирование и рефакторинг
Из песочницы
При разработке/создании web-сайта, мобильного приложения, WEB-сервиса – иными словами Информационной системы (ИС) встает вопрос о требующих аппаратных ресурсах – количестве серверов (виртуальных машин).

Приведённая методика описывает расчет количества пользователей и «оборудования» для территории Российская федерация.

Исходные данные


  • Веб сайт «Визитка»;
  • WEB-сервис для мобильных приложений, работающий по протоколу http/https, взаимодействующий с Базой данных;
  • База данных SQL (NOSQL);
  • WEB-клиент – реализующий функционал мобильного приложения для web пользователей, также взаимодействующий с Базой данных.

Читать дальше →
Всего голосов 11: ↑7 и ↓4 +3
Просмотры21.6K
Комментарии 1

Пять инноваций, которые изменят нашу жизнь в следующие пять лет

Блог компании IBM
IBM опубликовала восьмой ежегодный прогноз «IBM 5 in 5» (#ibm5in5), посвященный пяти инновациям, способным в ближайшие пять лет повлиять на нашу жизнь, работу и стиль общения.


Читать дальше →
Всего голосов 24: ↑16 и ↓8 +8
Просмотры32.5K
Комментарии 19

Проблемы прогнозирования финансовых рынков

Финансы в IT
Из песочницы
image

Благодаря стремительному развитию информационных технологий, появилась возможность за считанные секунды проводить анализ большого объёма информации, строить сложные математические модели, решать задачи многокритериальной оптимизации. Учёные, занимающиеся вопросами циклического развития экономики, стали разрабатывать теории, полагая, что отслеживание тенденций ряда экономических переменных позволит прояснить и предсказать периоды подъёма и спада. Одним из объектов для изучения был выбран фондовый рынок. Предпринимались многократные попытки построить такую математическую модель, которая успешно бы решала задачу прогнозирования приращения цены акций. В частности, широкое распространение получил «технический анализ».
Читать дальше →
Всего голосов 21: ↑13 и ↓8 +5
Просмотры15.2K
Комментарии 14

Математическая модель для прогнозирования пробок. Семинар в Яндексе

Блог компании ЯндексАлгоритмыГеоинформационные сервисы
Для качественного построения маршрутов в городских условиях нужно как можно более точно оценивать время движения по маршруту. При этом желательно учитывать не только текущую ситуацию, но и то, как она может измениться. Пару лет назад мы уже публиковали пост о прогнозировании ситуации на дорогах. Текст позволяет составить общее представление об этой теме. Более подробно вопрос прогнозирования пробок рассмотрел в своем докладе Михаил Хохлов. Он рассказал о различных математических подходах к прогнозированию дорожных затруднений на ближайшее время, в том числе и о методе линейной авторегрессии, который используется в Яндекс.Пробках. С тех пор многое изменилось, однако основные проблемы и методы их решения остались прежними и заслуживают внимания.


Слайды к докладу
Всего голосов 43: ↑41 и ↓2 +39
Просмотры16.4K
Комментарии 16