Самого главного не сказали — проблема использовать машинное обучение для данных сейсморазведки начинается с того, что данные сейсморазведки это не геологические данные. Например, в них в принципе нет информации о глубине, а есть временная координата сейсмосигнала — то есть геолог смотрит на некоторую априори известные геологическую информацию и говорит, что одна миллисекунда глубины сейсмопрофиля примерно соответствует одному метру глубины… что является лишь грубым приближением, так как связь времени и глубины сильно нелинейная. Далее, предобработка сейсмических данных выполняется по-разному разными их поставщиками и на разных территориях — в итоге сравнивать сейсмические картинки между собой становится сложно и, порой, невозможно даже вручную.
Помимо топлива у нас есть масса производств, где применяются продукты переработки нефти. Та же химическая промышленность, фарма. И каких-то альтернатив в ближайшее время мы там не найдем.
Альтернатива давно найдена и активно используется — природный газ. Пока что попутный газ в диких масштабах сжигают по всему миру, что уже намекает, что его скорее избыток, чем недостаток. И только уже известных газовых месторождений хватит ну очень надолго.
Плюс нефть — это все-таки невозобновляемый источник. Больше ее не становится.
Ну это уж совсем за гранью… Процессы образования нефти (и не только нефти, разумеется) продолжаются непрерывно — в геологических масштабах времени. Также известна цикличность нефтяных месторождений с периодом в десятки лет — да в том же Баку, упоминаемом в статье, уже несколько раз как выкачали всю нефть из первых открытых месторождений, а она там появляется снова и снова. Сколько нефти в тех глубоких пластах, откуда она поступает, мы можем только предполагать. А есть и годовая цикличность — уровень грунтовых вод влияет на давление в нефтяном пласте и продуктивность скважины может заметно варьироваться в течении года. Вдобавок, почти каждый год в мире открывают новые огромные месторождения, так что и разведанных запасов нефти становится больше.
Так что восстановление цены — это вопрос времени.
Вопрос цены совершенно не технический и из содержания статьи вообще никаких выводов о текущих и ожидаемых ценах на нефть мы сделать не можем. К примеру, даже уже готовые и рентабельные проекты по глубоководной добыче в Мексиканском заливе несколько лет назад откладывались в пользу добычи сланцевой нефти — то, что сейчас добывается в США из сланцев, можно было бы заместить нефтью из залива, если бы был сделан такой выбор. Под сланцевой нефтью зачастую находятся немалые залежи традиционной нефти, только риски бурения выше и продолжительность проектов в разы увеличивается — при волатильности нефтяных цен компании предпочитают ограничиться добычей сланцевой нефти. Да и традиционная нефть может располагаться пластами, так что можно на выработанном участке пробурить на пару километров глубже и снова качать много нефти — вопрос баланса рисков глубокого бурения и ожидаемого профита. Цена бурения зависит не только и не столько от технологий — в целом, саудовская нефть имеет низкую себестоимость, хотя они бурят и очень глубокие скважины.
Нет, я занимался только данными, потому и сделал такое уточнение в тексте. Для других проектов я гружу OSM в PostgreSQL — все аналогично, используйте формат вывода PostgreSQL Dump для ogr2ogr и для SQL скриптов классификатора требуются небольшие правки с помощью sed.
Ok, принято. Хотите пробежаться по сложностям и решениям для роутинга уровня коммерческих сервисов или просто вводную статью? Скажем, для решения задачи коммивояжера в PgRouting нельзя использовать oneway пути, но где-то в документации есть упоминание, что эта проблема решаема в теории графов — так что любую маршрутную сеть с однонаправленными участками возможно преобразовать в поддерживаемую маршрутную сеть. Цена такого решения — удвоение размера сети. Аналогично, ценой удвоения сети можно еще много возможностей добавить. Опять же, если построенная маршрутная сеть будет актуальна день-неделю-месяц, можно подготовить ее в PostgreSQL/PostGIS/PgRouting и выгрузить в SQLite3/Spatialite чтобы сделать очень быстрый роутинг. Также интересна возможность роутинга масштабов планеты — так, чтобы на одной (огромной) маршрутной сети можно было быстро построить любой маршрут (идея в том, чтобы несколько маршрутных сетей соединить oneway связями так, что маршруты в пределах города/страны/континента вычисляются на сетях разных масштабов). Могу перечислить такие (неочевидные) вещи обзорно, а могу что-то выборочно с кодом (PL/PgSQL) показать детально. Все разом детально рассказать не возьмусь, это придется многие выполненные проекты за последние лет 10 смотреть-вспоминать да и писательского опыта у меня маловато для такой задачи.
P.S. А еще аналогичные графовые алгоритмы в биоинформатике используются для моделирования и синтеза лекарств… только там огромная проблема с исходными данными, так что просто что-то взять и попробовать без доступа к специальным базам данных не получится.
Смотрим до хаброката: "На рисунке показана идеальная плоскопараллельная пластина радиусом 200км". Вкупе с рисунком — это все, что нужно для оценки разницы с реальной Землей. Разве не так?
А еще я до хаброката привел значение радиуса этой пластины — так, что можно легко и быстро прикинуть отклонение этой плоской модели от сферической Земли. Полученное значение настолько абсурдно велико, что больше разъяснений и не требуется. Серьезно, на техническом ресурсе (разве нет?) вы протестуете против простейших вычислений? Ну хорошо, требуемое значение легко нагуглить. Это тоже уже слишком сложно? Мне кажется это оскорблением читателей — включать такие вычисления или ссылку на вики в тест.
Спасибо, ссылку посмотрел — увы, там нет ни кода, ни формул, так что я только потратил время и ничему не научился. Написано классно, но это просто развлекательная статья, на мой взгляд. К счастью, как раз на хабре и на мой вкус изрядно статей публикуется :)
Смысла в поправке Буге нет, о том и статья. Такой вот пример легаси в геофизике, существующий столетия — а как часто мы ругаем легаси в программном коде, написанном "всего лишь" десятилетия назад :)
Стоит лишь прикинуть отклонение плоской модели Земли от сферической для указанного масштаба, как весь комизм ситуации становится совершенно ясным. Кроме того, ссылка на специализированное издание с подробным анализом приведена в статье, равно как и ссылка на исходный код на питоне с экспериментальной проверкой указанного факта.
Это примерно аналогично использованию ньютоновских формул на субсветовых скоростях. Попробуйте прикинуть значение ошибки для модели плоской Земли радиусом 200км? Если не хочется считать, можно глянуть известные таблицы, ну хотя бы вики: ru.wikipedia.org/wiki/Горизонт
Расстояние до видимого горизонта d=159.8 км соответствует высоте h=2км над поверхностью сферы — то есть отклонение плоской модели радиусом 200км от сферы превышает 2км! Не нужно быть специалистом в геофизике, чтобы понимать — современные измерения высоты выполняются несравнимо точнее.
Что интересно, опытные отечественные геологи (с геологическим образованием) прекрасно представляют применимость и формул и коэффициентов геофизики — то есть зачастую у геологов теоретические знания лучше, чем у многих геофизиков. Может, геологическое образование в стране сильно лучше геофизического или практический опыт позволяет понять больше — не знаю, просто такое вот жизненное наблюдение.
б) Можно и нужно. Только их не выкладывают, а выкладывают результаты обработки различными поправками.
г) Для анализа многими современными методами нужны именно измеренные значения, которые недоступны.
Если вы столкнетесь с геофизическими данными и начнете применять методы data science — то уже на этапе проверки входных данных обнаружите в них большие и часто неустранимые проблемы. Измеренные данные не найти, разрешение данных после интерполяции в N раз тоже как бы увеличивается в N раз (декларируемое разрешение не имеет никакого отношения к реальному, этим грешат все или почти все поставщики геоданных, вот недавно от Airbus смотрел сэмплы сверхдетального рельефа разрешением 1м, который на самом деле имеет разрешение 10м, т.к. в пространственном спектре практически отсутствуют компоненты в полосе 0-10м),… А уж что творится с 3D сейсмикой...
Смотрите — для различных целей (поиск полезных ископаемых, изучение строения коры Земли и проч.) проводятся гравиметрические съемки (измерения) различной детальности. Потом эти данные обрабатываются разными методами — в зависимости от целей исследования. Но опубликованные данные измерений, как правило, доработаны — к ним применена поправка Буге и/или другие, которые на деле лишь ухудшают эти данные! За последние десятилетия множество публикаций вышло с критикой всех этих легаси поправок, но, как говорится, воз и ныне там.
Некоторые известные отечественные ученые уже давно нашли выход — они выполняют пространственную полосовую фильтрацию после применения поправки Буге и получают корректный результат. Да, на самом деле, достаточно полосовой фильтрации, зато "и волки сыты, и овцы целы". Соглашусь, что эти специалисты не верят в плоскую Землю, а вот все остальные под вопросом. Думаю, что неприятие логических аргументов и есть вера.
Вы правы, но многие геофизики действительно верят, что указанная поправка верна. Поскольку переубедить их с помощью логических аргументов и специальной литературы не удается — видимо, это все же скрываемая вера в плоскую Землю.
Вопрос отличный — потому что эта поправка уже почти столетие (примерно с 1930х годов) действительно не имеет смысла ввиду возросшей точности получаемых данных и доступности хотя бы арифмометров для их анализа. Поправка Буге придумана столетия назад для упрощения обработки первых гравиметрических измерений. По смыслу, это способ выполнить полосовую пространственную фильтрацию без каких-либо вычислительных машин. Для современной точности измерений поправка плоха вообще всем — приведенная в ссылках книга на 145 страниц рассказывает обо всем подробно.
На графиках даны двумерные коррелограммы, то есть графики корреляции пространственных компонент двух растров (графики и топографии). Подробнее и с кодом на питоне смотрите в указанной статье на линкедине. Фактически, это вариант визуализации пространственной когерентности, вот здесь я воспроизвел довольно известную статью авторов из НАСА (в книгу рецептов открытого датасета топографии GEBCO входит) и сравнил графики радиальной когерентности и двумерную коррелограмму: https://www.linkedin.com/pulse/computing-coherence-between-two-dimensional-gravity-grids-pechnikov/
Смотрите мой комментарий выше — если вы используете формулы на плоской Земле, а не на сферической, хотя результаты значительно отличаются, то как это иначе назвать?
В статье дан ответ — верят, потому что так сложилось исторически. Как доказать, что верят? А потому, что используют именно поправку для плоской Земли. Для сферической Земли поправка Буге значительно отличается:
Рис. 1.8. Разность поправок за сферический и плоский промежуточный слой в зависимости от высоты пункта гравиметрических наблюдений (Бычков, С. Г., 2015)
Сравнение формул для плоского (1.13) и сферического (1.14 б) промежуточного слоя
(плотностью 2.67 г/см3) при различных радиусах S в зависимости от высоты гравиметрического пункта H приведены на рис. 1.8. Как видно из рисунка, расхождение между величинами поправок весьма большое и нелинейно зависит от высоты пункта. Градиент разности поправок для S = 200 км составляет примерно 0.001 мГал/м. Поэтому даже для относительно равнинных территорий с превышениями высот рельефа до 100 – 200 м погрешность, вносимая в аномалии Буге применением модели плоского промежуточного слоя, в десятки раз превосходит точность определения наблюденных значений силы тяжести, т.е. погрешность, вносимая в аномалии Буге неучѐтом сферичности Земли, будет определяться не только выбором радиуса сегмента, но и изрезанностью рельефа местности на площади исследований и не может быть устранена при интерпретации.
Итак, по факту, геофизики верят в плоскую Землю, так как используют формулы для плоской Земли вместо сферической.
Задаете в mantaflow внутреннюю конфигурацию цилиндра и симулируете процесс сгорания топлива, при этом двигая границу, соответствующую поршню. Коленвал и прочая механика к симуляции потоков вообще отношения не имеет.
В теории, можно кластеризовать всю эту уйму точек и показать наиболее важные для нас кластеры, выделить поверхности и т.п. На практике же необходимо интерактивно посмотреть-покрутить весь кубик (а также сделать сечения, посчитать градиенты, выделить изоповерхности...), чтобы принять решение, как с ним дальше работать и что важно, а что нет. Вот посмотрите последнюю картинку в посте — там уже выделены геологически интересные структуры как поверхности, но для этого нужно было поработать с полным кубом данных. И возможность быстро и просто покрутить такой куб данных чрезвычайно ускоряет и облегчает работу. ParaView позволяет и анализ многомерных данных делать — выделить поверхности и много всего еще, возможно, и об этом доберусь написать. Плюс к тому, в ParaView можно вставлять код на питон для дополнительной обработки данных, у меня много таких сниппетов кода выложено в гитхаб репозитории: github.com/mobigroup/gis-snippets/tree/master/ParaView
Разумеется, это не отменяет использования matplotlib. Кстати, а вы умеете быстро визуализировать, скажем, 100 ГБ двумерных данных на среднем ноутбуке? И с этим тоже приходится сталкиваться, если будет интерес, могу показать еще много всего.
Самого главного не сказали — проблема использовать машинное обучение для данных сейсморазведки начинается с того, что данные сейсморазведки это не геологические данные. Например, в них в принципе нет информации о глубине, а есть временная координата сейсмосигнала — то есть геолог смотрит на некоторую априори известные геологическую информацию и говорит, что одна миллисекунда глубины сейсмопрофиля примерно соответствует одному метру глубины… что является лишь грубым приближением, так как связь времени и глубины сильно нелинейная. Далее, предобработка сейсмических данных выполняется по-разному разными их поставщиками и на разных территориях — в итоге сравнивать сейсмические картинки между собой становится сложно и, порой, невозможно даже вручную.
Альтернатива давно найдена и активно используется — природный газ. Пока что попутный газ в диких масштабах сжигают по всему миру, что уже намекает, что его скорее избыток, чем недостаток. И только уже известных газовых месторождений хватит ну очень надолго.
Ну это уж совсем за гранью… Процессы образования нефти (и не только нефти, разумеется) продолжаются непрерывно — в геологических масштабах времени. Также известна цикличность нефтяных месторождений с периодом в десятки лет — да в том же Баку, упоминаемом в статье, уже несколько раз как выкачали всю нефть из первых открытых месторождений, а она там появляется снова и снова. Сколько нефти в тех глубоких пластах, откуда она поступает, мы можем только предполагать. А есть и годовая цикличность — уровень грунтовых вод влияет на давление в нефтяном пласте и продуктивность скважины может заметно варьироваться в течении года. Вдобавок, почти каждый год в мире открывают новые огромные месторождения, так что и разведанных запасов нефти становится больше.
Вопрос цены совершенно не технический и из содержания статьи вообще никаких выводов о текущих и ожидаемых ценах на нефть мы сделать не можем. К примеру, даже уже готовые и рентабельные проекты по глубоководной добыче в Мексиканском заливе несколько лет назад откладывались в пользу добычи сланцевой нефти — то, что сейчас добывается в США из сланцев, можно было бы заместить нефтью из залива, если бы был сделан такой выбор. Под сланцевой нефтью зачастую находятся немалые залежи традиционной нефти, только риски бурения выше и продолжительность проектов в разы увеличивается — при волатильности нефтяных цен компании предпочитают ограничиться добычей сланцевой нефти. Да и традиционная нефть может располагаться пластами, так что можно на выработанном участке пробурить на пару километров глубже и снова качать много нефти — вопрос баланса рисков глубокого бурения и ожидаемого профита. Цена бурения зависит не только и не столько от технологий — в целом, саудовская нефть имеет низкую себестоимость, хотя они бурят и очень глубокие скважины.
Хорошо, принято. Постараюсь не затягивать с публикацией.
Нет, я занимался только данными, потому и сделал такое уточнение в тексте. Для других проектов я гружу OSM в PostgreSQL — все аналогично, используйте формат вывода PostgreSQL Dump для ogr2ogr и для SQL скриптов классификатора требуются небольшие правки с помощью sed.
Ok, принято. Хотите пробежаться по сложностям и решениям для роутинга уровня коммерческих сервисов или просто вводную статью? Скажем, для решения задачи коммивояжера в PgRouting нельзя использовать oneway пути, но где-то в документации есть упоминание, что эта проблема решаема в теории графов — так что любую маршрутную сеть с однонаправленными участками возможно преобразовать в поддерживаемую маршрутную сеть. Цена такого решения — удвоение размера сети. Аналогично, ценой удвоения сети можно еще много возможностей добавить. Опять же, если построенная маршрутная сеть будет актуальна день-неделю-месяц, можно подготовить ее в PostgreSQL/PostGIS/PgRouting и выгрузить в SQLite3/Spatialite чтобы сделать очень быстрый роутинг. Также интересна возможность роутинга масштабов планеты — так, чтобы на одной (огромной) маршрутной сети можно было быстро построить любой маршрут (идея в том, чтобы несколько маршрутных сетей соединить oneway связями так, что маршруты в пределах города/страны/континента вычисляются на сетях разных масштабов). Могу перечислить такие (неочевидные) вещи обзорно, а могу что-то выборочно с кодом (PL/PgSQL) показать детально. Все разом детально рассказать не возьмусь, это придется многие выполненные проекты за последние лет 10 смотреть-вспоминать да и писательского опыта у меня маловато для такой задачи.
P.S. А еще аналогичные графовые алгоритмы в биоинформатике используются для моделирования и синтеза лекарств… только там огромная проблема с исходными данными, так что просто что-то взять и попробовать без доступа к специальным базам данных не получится.
Что именно интересует? Как я вижу, OSM популярностью не пользуется в рунете, потому обо всем рассказывать смысла и нет.
Смотрим до хаброката: "На рисунке показана идеальная плоскопараллельная пластина радиусом 200км". Вкупе с рисунком — это все, что нужно для оценки разницы с реальной Землей. Разве не так?
А еще я до хаброката привел значение радиуса этой пластины — так, что можно легко и быстро прикинуть отклонение этой плоской модели от сферической Земли. Полученное значение настолько абсурдно велико, что больше разъяснений и не требуется. Серьезно, на техническом ресурсе (разве нет?) вы протестуете против простейших вычислений? Ну хорошо, требуемое значение легко нагуглить. Это тоже уже слишком сложно? Мне кажется это оскорблением читателей — включать такие вычисления или ссылку на вики в тест.
Спасибо, ссылку посмотрел — увы, там нет ни кода, ни формул, так что я только потратил время и ничему не научился. Написано классно, но это просто развлекательная статья, на мой взгляд. К счастью, как раз на хабре и на мой вкус изрядно статей публикуется :)
Смысла в поправке Буге нет, о том и статья. Такой вот пример легаси в геофизике, существующий столетия — а как часто мы ругаем легаси в программном коде, написанном "всего лишь" десятилетия назад :)
Стоит лишь прикинуть отклонение плоской модели Земли от сферической для указанного масштаба, как весь комизм ситуации становится совершенно ясным. Кроме того, ссылка на специализированное издание с подробным анализом приведена в статье, равно как и ссылка на исходный код на питоне с экспериментальной проверкой указанного факта.
Это примерно аналогично использованию ньютоновских формул на субсветовых скоростях. Попробуйте прикинуть значение ошибки для модели плоской Земли радиусом 200км? Если не хочется считать, можно глянуть известные таблицы, ну хотя бы вики: ru.wikipedia.org/wiki/Горизонт
Расстояние до видимого горизонта d=159.8 км соответствует высоте h=2км над поверхностью сферы — то есть отклонение плоской модели радиусом 200км от сферы превышает 2км! Не нужно быть специалистом в геофизике, чтобы понимать — современные измерения высоты выполняются несравнимо точнее.
Что интересно, опытные отечественные геологи (с геологическим образованием) прекрасно представляют применимость и формул и коэффициентов геофизики — то есть зачастую у геологов теоретические знания лучше, чем у многих геофизиков. Может, геологическое образование в стране сильно лучше геофизического или практический опыт позволяет понять больше — не знаю, просто такое вот жизненное наблюдение.
б) Можно и нужно. Только их не выкладывают, а выкладывают результаты обработки различными поправками.
г) Для анализа многими современными методами нужны именно измеренные значения, которые недоступны.
Если вы столкнетесь с геофизическими данными и начнете применять методы data science — то уже на этапе проверки входных данных обнаружите в них большие и часто неустранимые проблемы. Измеренные данные не найти, разрешение данных после интерполяции в N раз тоже как бы увеличивается в N раз (декларируемое разрешение не имеет никакого отношения к реальному, этим грешат все или почти все поставщики геоданных, вот недавно от Airbus смотрел сэмплы сверхдетального рельефа разрешением 1м, который на самом деле имеет разрешение 10м, т.к. в пространственном спектре практически отсутствуют компоненты в полосе 0-10м),… А уж что творится с 3D сейсмикой...
Смотрите — для различных целей (поиск полезных ископаемых, изучение строения коры Земли и проч.) проводятся гравиметрические съемки (измерения) различной детальности. Потом эти данные обрабатываются разными методами — в зависимости от целей исследования. Но опубликованные данные измерений, как правило, доработаны — к ним применена поправка Буге и/или другие, которые на деле лишь ухудшают эти данные! За последние десятилетия множество публикаций вышло с критикой всех этих легаси поправок, но, как говорится, воз и ныне там.
Некоторые известные отечественные ученые уже давно нашли выход — они выполняют пространственную полосовую фильтрацию после применения поправки Буге и получают корректный результат. Да, на самом деле, достаточно полосовой фильтрации, зато "и волки сыты, и овцы целы". Соглашусь, что эти специалисты не верят в плоскую Землю, а вот все остальные под вопросом. Думаю, что неприятие логических аргументов и есть вера.
Вы правы, но многие геофизики действительно верят, что указанная поправка верна. Поскольку переубедить их с помощью логических аргументов и специальной литературы не удается — видимо, это все же скрываемая вера в плоскую Землю.
Вопрос отличный — потому что эта поправка уже почти столетие (примерно с 1930х годов) действительно не имеет смысла ввиду возросшей точности получаемых данных и доступности хотя бы арифмометров для их анализа. Поправка Буге придумана столетия назад для упрощения обработки первых гравиметрических измерений. По смыслу, это способ выполнить полосовую пространственную фильтрацию без каких-либо вычислительных машин. Для современной точности измерений поправка плоха вообще всем — приведенная в ссылках книга на 145 страниц рассказывает обо всем подробно.
На графиках даны двумерные коррелограммы, то есть графики корреляции пространственных компонент двух растров (графики и топографии). Подробнее и с кодом на питоне смотрите в указанной статье на линкедине. Фактически, это вариант визуализации пространственной когерентности, вот здесь я воспроизвел довольно известную статью авторов из НАСА (в книгу рецептов открытого датасета топографии GEBCO входит) и сравнил графики радиальной когерентности и двумерную коррелограмму: https://www.linkedin.com/pulse/computing-coherence-between-two-dimensional-gravity-grids-pechnikov/
Смотрите мой комментарий выше — если вы используете формулы на плоской Земле, а не на сферической, хотя результаты значительно отличаются, то как это иначе назвать?
В статье дан ответ — верят, потому что так сложилось исторически. Как доказать, что верят? А потому, что используют именно поправку для плоской Земли. Для сферической Земли поправка Буге значительно отличается:
Рис. 1.8. Разность поправок за сферический и плоский промежуточный слой в зависимости от высоты пункта гравиметрических наблюдений (Бычков, С. Г., 2015)
Итак, по факту, геофизики верят в плоскую Землю, так как используют формулы для плоской Земли вместо сферической.
Стоит добавить рельеф и можно моделировать наводнения, цунами и много всего еще:
Разумеется, это не отменяет использования matplotlib. Кстати, а вы умеете быстро визуализировать, скажем, 100 ГБ двумерных данных на среднем ноутбуке? И с этим тоже приходится сталкиваться, если будет интерес, могу показать еще много всего.