Как стать автором
Обновить

Взгляд химика, тестировщика и аналитика данных на чёрную металлургию и большие данные в ней

Время на прочтение12 мин
Количество просмотров6K
Всего голосов 10: ↑10 и ↓0+10
Комментарии16

Комментарии 16

Имел опыт работы над проектом по моделированию свойств полимеров, резин и пленок для одного из крупных российских компаний химической промышленности. Большинство трудностей вызывает именно работа с сырыми данными. Кроме того имеется проблема со сбором данных, в моем случае это именно ручной ввод данных операторами в бумажные журналы, и, в последствии, было обнаружено много очевидных ошибок в данных. Как итог, высокая зашумленность данных привела к низкому качеству полученных моделей. Кстати, в качестве дополнительных исследований пришлось разрабатывать методы, которые позволяют определять ошибочные записи в данных, чтобы обосновать низкую точность моделей. Кроме того имеет место быть сильное смещение в исходных данных: как правило, операторы исследовательских отделов стараются подобрать оптимальные условия синтеза полимера, при этом при подборе они исходят из собственного профессионального опыта, что позволяет им задать более или менее оптимальные условия. В итоге получается, что при моделировании мы видим только уже примерно хорошие входные параметры синтеза и хорошие выходные свойства полимера, другими словами модель не видит плохих примеров и синтеза и обучается в очень узком диапазоне входных параметров, что значительно ограничивает область ее применимости. В целом, хочется подчеркнуть, что есть проблемы, которые являются общими для промышленных процессов, что требует нестандартного подходы к решению проблем возникающих при моделировании.
Спасибо за подробный комментарий!
Да, кстати, бумажные журналы — это и правда неизбежное зло пока что. Меньше 2 недель назад были на заводе цветной металлургии, там в одном из цехов почти нет данных в цифровом виде, все результаты химического анализа собираются в аналоговые журналы, которые затем отправляются в архив.
Так что наше предложение по цифровой трансформации этого цеха состояло в переходе на Excel для начала, и в накоплении массива данных хотя бы за полгода.

И спасибо за наводку про смещение данных при ручном вводе, изучим этот вопрос:)
НЛО прилетело и опубликовало эту надпись здесь
За работами зарубежных коллег в области цифровой трансформации и оптимизации производства мы, конечно же, следим, но пока что поработать с ними непосредственно не довелось. Сейчас сосредоточены на российских предприятиях, но у нас есть амбициозный план по выходу на международный рынок! Знаем, что как минимум в чёрной металлургии в этом плане лидируют Германия (в которой и появилась программа Industrie 4.0) и Южная Корея. Знакомы, например, с продукцией Danieli. Для тех, кто незнаком с миром металлургии: это производитель высокотехнологичных агрегатов и даже целых заводов под ключ для металлургической промышленности.

В этой ситуации радует то, что несмотря на консервативность, на всех предприятиях, где мы бывали, есть не только понимание необходимости развития, но и уже делаются реальные шаги в этом направлении (иначе мы бы туда не попали). На некоторых заводах этими вопросами занимаются отделы КИПиА или IT, а кое-где сформированы специальные структуры, вроде Бюро по развитию. И, кстати, они обычно тоже в курсе мировых новостей в своих отраслях.
НЛО прилетело и опубликовало эту надпись здесь

Учился по специальности "Металлургия стали", в 2000-х был на Череповецком Металлургическом, наблюдал двух еще живых "динозавров" в мартеновском цеху… Больше всего запомнилось, как рабочий пробивал лётку для выпуска, и когда пошел металл, его всего окутало расплавленными искрами, брызгами, а он стоял как ни в чем не бывало.
В данный момент как раз совершаю переход от тестировщика в аналитику данных. Было интересно почитать статью, спасибо! В частности, очень удивил консерватизм на пром. предприятиях. Вроде во все том же ООО "Северсталь" есть свое собственное ИТ-подразделение, и в то же время — ручные записи в журналы… Вообще тема ИТ в промышленности довольно интересная и нераскрытая, хотелось бы больше публикаций.
В частности, хотелось бы узнать у автора, какие боевые задачи приходилось решать, какие инструменты использовались, каким образом справлялись с трудностями и т.д. Буду с интересом следить за темой!

Рад приветствовать коллегу со схожим извилистым путём в профессии:)


Тему раскрываем! У нас опубликовано уже несколько статей. Если ещё не читали — рекомендую!
В черную металлургию за реальными делами: опыт Datana
Как мы побывали на металлургическом заводе в Аше
А одна из реальных боевых задач описана вот тут:
Как мы внедряли искусственный интеллект на металлургическом заводе
Сейчас задачи стали существенно сложнее: уже не только разрабатываем модели, но и занимаемся установкой датчиков на агрегаты, собираем сырые данные с контроллеров.


Уровень цифровой трансформации предприятий сильно неоднороден, в том числе, и внутри компаний. Так что Вы правы, в Северстали и, скажем, НЛМК действительно есть подразделения не просто IT, а конкретно занимающиеся анализом данных и машинным обучением. Тем не менее, и с этими компаниями мы находим общие точки и проекты, работы хватает.

Извините за несколько странный вопрос. По-моему, описанным в статье (фактически — разгребанием бардака) должны заниматься технолог и бизнес-аналитик. Что такое «цифровое с/х» я примерно понимаю — собираем данные с более высокой детализацией, чем делалось раньше, грубо говоря, переходим с квантования по гектарам на квантование по метрам, вносим минимум воды и удобрений, собираем по готовности, а что такое «цифровая металлургия»? Вот у нас конвертер на 5 тонн чугуна, вот к нему технология, что мы можем улучшить, если технология соблюдается?
Качество соблюдения технологии?
Как именно? Извините за наивные вопросы, но я с металлургами только пил.

Спасибо за вопрос!


Описанный бардак и его разгребание — это лишь первый этап работы, которую мы делаем.
Чёрная металлургия состоит из последовательности химических и физико-химических процессов: окисление углерода и металлов кислородом и угарным газом, переход компонентов через границу шлак-металл, перемешивание металла газами.
Построить адекватную математическую модель плавки только на основании законов химии и физики практически невозможно — слишком много параллельных процессов, кроме того, крайне сложно оперативно получить точную информацию о состоянии системы из-за экстремальных условий (температура более 1500 градусов). В связи с этим технологические инструкции на заводах в значительной степени эмпирические.
Поэтому, имея достаточно большой массив данных, даже неточных, можно успешно строить оптимизационные модели, которые позволяют снижать расход материалов и энергии при том же результате. Например, если уменьшить расход добавок всего на 1% это может дать весьма существенную экономию, порядка миллионов или даже десятков миллионов рублей в год — при нулевых капитальных затратах.


Надеюсь, что ответил на тот вопрос, который был задан:)

Правильно ли я понял, что имея достаточно точные данные о входе и выходе (продукта и шлака), вы строите более точную модель происходящего в данном конкретном, например, конвертере?

Если под "моделью происходящего" понимается некое формализованное описание физико-химического процесса в конвертере, то это не совсем так. Модель машинного обучения может не быть интерпретируемой. То есть, давать результат "неизвестно как".
Но в целом всё та: чем больше данных и чем они точнее — тем лучше будет работать модель

Спасибо, так хоть стало понятнее :) А результат машинного обучения насколько хорошо переносится между конвертерами и входами сырья? Или надо каждый раз заново учиться, отбрасывая старые данные?

Это зависит от сложности модели. Если она основана, грубо говоря, на паре параметров — то теоретически может показать удовлетворительный результат на другом агрегате или на незнакомой марке стали, например. Также можно попробовать вручную "подкрутить" веса параметров, если они более-менее понятные.
Но это скорее исключение. Обычно модель учитывает множество параметров, да ещё и непонятно как. Так что проще будет обучиться заново, а скорее придётся конструировать новую модель с новыми гиперпараметрами.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий