Введение
В статье показан опыт использования платформы SAP HANA для оптимизации системы создания отчетности крупной строительной компании. Проект реализован специалистами Return on Intelligence (ROI) — бизнес-партнера SAP. ROI – международная компания по оказанию услуг в области высоких технологий. Мы предоставляем консалтинг по технологическим решениям, системную интеграцию и коммерческую разработку программных решений. Наши решения предоставляют максимальный рост, конкурентные преимущества, увеличение прибыли и снижение сложности бизнес-процессов.
За 15 лет нашими клиентами стали более 200 международных компаний, работающих в сфере страхования, финансовых услуг, здравоохранения, телекоммуникаций и государственном секторе.
Компания объединяет более 800 профессионалов, работающих в центрах разработки в Санкт-Петербурге, Нижнем Новгороде, Риге и Днепропетровске. Штаб квартира Return on Intelligence расположена в США.
Return on Intelligence работает в сотрудничестве с SAP, что подтверждено наличием статусов SAP PartnerEdge Partner, VAR-реселлер и Consulting Services Partner. Как член партнерской программы SAP PartnerEdge (моделирование, разработка, продажа, внедрение, обслуживание и поддержка решений SAP) компания Return on Intelligence, Inc. (ROI) участвует в разработке решений, позволяющих клиентам приобретать и удерживать значительное конкурентное преимущество в своей отрасли. Использование лучших практик, отраслевых моделей, методов, инструментов, технологий и фреймворков дает возможность клиентам ROI переосмыслить и улучшить свой способ ведения бизнеса.
Ориентация SAP на технологии, отрасли и регионы полностью согласуется с нашими навыками, приоритетами и сильными сторонами.
• Мы являемся глобальным партнером по внедрению страховых решений SAP Camilion, SAP Claims и FS-CD
• Наша компания является глобальным экспертом в области страхования
• Мы являемся специалистами, поддерживающими консультативную аналитику в страховании (BOBJ и HANA)
• У нас есть высококвалифицированные разработчики программного обеспечения, поставляющие услуги по разработке продукта непосредственно для SAP
1. Платформа SAP HANA: техническая информация – краткий обзор
SAP HANA является современной in-memory платформой для работы аналитических и транзакционных приложений в реальном времени. SAP HANA позволяет организациям анализировать бизнес-операции, использующие большой объем разнообразных детализированных данных. Первые внедрения приложений SAP на базе SAP HANA показали, что время реакции системы при работе бизнес-пользователей составляет доли секунды, что открывает новые возможности для бизнеса.
SAP HANA полностью использует все преимущества самых современных аппаратных технологий, сочетая хранение данных по столбцам, массово-параллельную обработку (MPP) и вычисления по технологии “in memory” благодаря оптимизированной структуре программного обеспечения.
Программный комплекс SAP HANA представляет собой гибкий, многоцелевой и независимый от источника данных программный комплекс на базе технологии “In-memory”, который объединяет программные компоненты SAP, оптимизированные для аппаратных средств ведущих мировых вендоров – партнеров SAP – Cisco, Dell, IBM, HP,Fujitsu и Hitachi Data Systems.
Благодаря сочетанию технологий оперативного анализа данных и оперативной обработки транзакций в единой СУБД SAP HANA позволяет создать целостную инфраструктуру для обработки корпоративных данных, получаемых из транзакционных систем, систем бизнес-анализа, поддержки принятия решений и планирования. Аналитические приложения реального времени и оперативные приложения реального времени, включая планирование, могут выполняться совместно с другими операциями.
2.Бизнес – проблема
Заказчик решения — крупная строительная компания с чистым доходом более $70 млн в год. Компания существует на рынке более 100 лет и предоставляет услуги в разных секторах экономики. Основные направления работы: инфраструктурные работы, энергетика и добывающая отрасль. За свою многолетнюю историю компания построила большую сеть клиентов и поставщиков. Как следствие активной деятельности, внутри компании появилось большое количество разнородных информационных систем, которые перестали выполнять свою основную задачу — ускорять и упрощать работу сотрудников компании. В ходе реструктуризации IT инфраструктуры было принято решение создать централизованную отчетную систему. На момент интеграции у заказчика уже имелись другие продукты SAP: ERP, CRM, SRM, BW и вполне логично, что при выборе решения выбор остановился на технологическом стеке SAP продуктов.
Существующая инфраструктура оказалась сложной и характеризовалась следующим:
1. отсутствие мастер данных
2. 4 отдельные системы отчетности без единой точки входа
3. более 600 различных отчетов, с перекрывающимися областями и неконсистентными данными
4. низкая производительность
5. нарастающая сложность и стоимость поддержки
3. Технологии и архитектура
Основные бизнес процессы и система отчетности, в общем, единообразны в большинстве компаний, в частности, если в качестве системы управления процессами и взаимодействия с партнёрами используется решение от SAP.
Для решения задач хранения, переноса, подготовки и представления данных были выбраны следующие продукты:
1) SAP HANA
2) SAP Business Object (BObj) Data Services как средство ETL и инструмент контроля качества данных
3) SAP BObj Rapid Marts в качестве слоя метаданных для стандартных отчетов
4) SAP BObj BI 4.1 как основной инструмент визуализации.
Первостепенной задачей было построение основного хранилища данных (Data Warehouse) в котором должны храниться мастер данные организации качества, целостности данных и реконселяция — проверка правильности/консистентности переноса. Стоит отметить, что SAP HANA использовалась для создания хранилища мастер данных только для информации, которая разным причинам не хранится в ERP и BW, например данные получаемые из систем компаний партнёров, которые не имеют прямого отношения к операционной деятельности организации, но интересны с точки зрения аналитики… Таким образом, все необходимые данные можно было получить из двух источников: SAP HANA и SAP BW (SAP BW бы настороен на использование SAP HANA в качестве внутреннего хранилища).
Все данные были перенесены, консолидированы и проверены, время создавать модели метаданных понятные и удобные для применения специалистам бизнеса.
Отражением бизнес модели, говорящей с пользователями бизнес языком, являются юниверсы. Для ускорения интеграции большая часть юниверсов для системы отчетности поставлялась через SAP Rapid Marts. Rapid Marts автоматически генерирует юниверсы для стандартных процессов и отчетов, на основе конфигураций и данных SAP систем. Для данных, которые выгружались в HANA из 3-х систем, юниверсы строились вручную через SAP BObj Information Design Tool. IDT это специальный инструмент от SAP, который позволяет в удобном графическом интерфейсе создать необходимые связи между данными необходимыми для отчетности, а так же выделить и переобозначить в понятные выражения поля таблиц хранилища.
Понятно, что стандартные юниверсы Rapid Marts не могли покрыть всех нужд и были прилично дополнены командой разработки. Были внесены специфичные для компании факты и измерения.
4. Результаты и преимущества
После 8 месяцев разработки появились результаты в виде оптимизированных процессов, консистентного хранилища данных, а так же средств для принятия решений в виде красивых графиков, интерактивных отчетов и информационных панелей. В качестве систем визуализации были выбраны BObj BI Web Intelligence и Dashboard Designer с возможностями создания интерактивных отчетов и дашбордов различной сложности и имеющими все необходимые инструменты, такие как детализация, консолидация, создание параметризированных срезов.
В итоге было построено около 400 отчетных форм в различных представлениях с возможностью доступа через корпоративный портал, систему отчетности с дополнительными преимуществами самостоятельной параметризации, а также появился новый способ доступа к отчетной системе через мобильные устройства.
Мое впечатление от подхода и использования компонентов в ходе реализации в большей степени положительно.
1. HANA отлично интегрируется со всеми используемыми компонентами SAP
2. Отсутствие дополнительного ETL процесса для построения многомерной модели. В HANA он был реализован логически и выполнялся практически мгновенно благодаря её архитектуре, что сводило латентность данных к нулю. А так же не создавало новых данных.
3. На платформе HANA были построены аналитические модели (Analytical views), которые позволяли использовать данные в системе отчетности напрямую, почти без изменения модели метаданных.
4. Все необходимые для отчетности данные доступны в SAP BObj и легко связываются.
5. «Тяжелые» расчеты были перенесены из BI платформы на SAP HANA, которая выполняет такие расчеты в несколько раз быстрее.
6. Фильтрация является одной из основных операций при построении отчетов, на SAP HANA работает намного быстрее, ввиду колоночного хранения данных.
Следует отметить определенные сложности, с которыми мы столкнулись на этапе подготовки данных и разворачивания инфраструктуры, такие как согласование гранулярности различных источников, отсуствие некоторого специфичного фунционала в системе отчетности, который присутствовал в старых системах, организация процесса тестирования. Однако эти сложности не повлияли на конечный результат и общую удовлетворенность заказчика.
Подводя краткий итог, я считаю, что для бизнеса, который задумывается над производительностью своих отчетных систем, современной с точки зрения дизайна, быстрой и удобной системой отчетности, стоит присмотреться к преимуществам, которые предоставляет HANA в сочетании с инструментами визуализации.
Дополнительную информацию по использованным технологиях и программах можно найти на следующих ресурсах:
http://go.sap.com/partner.html — партнерская часть портала SAP
http://hana.sap.com/ — SAP HANA portal
http://go.sap.com/solution/platform-technology/business-intelligence.html — SAP BusinessObjects
http://www.sap.com/pc/tech/data-warehousing/software/netweaver-business-warehouse/index.html -SAP BW
www.sap.com/pc/tech/enterprise-information-management/software/data-services/index.html — SAP Data Sevices
http://scn.sap.com/community/developer-center — SAP Developer Center
В статье показан опыт использования платформы SAP HANA для оптимизации системы создания отчетности крупной строительной компании. Проект реализован специалистами Return on Intelligence (ROI) — бизнес-партнера SAP. ROI – международная компания по оказанию услуг в области высоких технологий. Мы предоставляем консалтинг по технологическим решениям, системную интеграцию и коммерческую разработку программных решений. Наши решения предоставляют максимальный рост, конкурентные преимущества, увеличение прибыли и снижение сложности бизнес-процессов.
За 15 лет нашими клиентами стали более 200 международных компаний, работающих в сфере страхования, финансовых услуг, здравоохранения, телекоммуникаций и государственном секторе.
Компания объединяет более 800 профессионалов, работающих в центрах разработки в Санкт-Петербурге, Нижнем Новгороде, Риге и Днепропетровске. Штаб квартира Return on Intelligence расположена в США.
Return on Intelligence работает в сотрудничестве с SAP, что подтверждено наличием статусов SAP PartnerEdge Partner, VAR-реселлер и Consulting Services Partner. Как член партнерской программы SAP PartnerEdge (моделирование, разработка, продажа, внедрение, обслуживание и поддержка решений SAP) компания Return on Intelligence, Inc. (ROI) участвует в разработке решений, позволяющих клиентам приобретать и удерживать значительное конкурентное преимущество в своей отрасли. Использование лучших практик, отраслевых моделей, методов, инструментов, технологий и фреймворков дает возможность клиентам ROI переосмыслить и улучшить свой способ ведения бизнеса.
Ориентация SAP на технологии, отрасли и регионы полностью согласуется с нашими навыками, приоритетами и сильными сторонами.
• Мы являемся глобальным партнером по внедрению страховых решений SAP Camilion, SAP Claims и FS-CD
• Наша компания является глобальным экспертом в области страхования
• Мы являемся специалистами, поддерживающими консультативную аналитику в страховании (BOBJ и HANA)
• У нас есть высококвалифицированные разработчики программного обеспечения, поставляющие услуги по разработке продукта непосредственно для SAP
1. Платформа SAP HANA: техническая информация – краткий обзор
SAP HANA является современной in-memory платформой для работы аналитических и транзакционных приложений в реальном времени. SAP HANA позволяет организациям анализировать бизнес-операции, использующие большой объем разнообразных детализированных данных. Первые внедрения приложений SAP на базе SAP HANA показали, что время реакции системы при работе бизнес-пользователей составляет доли секунды, что открывает новые возможности для бизнеса.
SAP HANA полностью использует все преимущества самых современных аппаратных технологий, сочетая хранение данных по столбцам, массово-параллельную обработку (MPP) и вычисления по технологии “in memory” благодаря оптимизированной структуре программного обеспечения.
Программный комплекс SAP HANA представляет собой гибкий, многоцелевой и независимый от источника данных программный комплекс на базе технологии “In-memory”, который объединяет программные компоненты SAP, оптимизированные для аппаратных средств ведущих мировых вендоров – партнеров SAP – Cisco, Dell, IBM, HP,Fujitsu и Hitachi Data Systems.
Благодаря сочетанию технологий оперативного анализа данных и оперативной обработки транзакций в единой СУБД SAP HANA позволяет создать целостную инфраструктуру для обработки корпоративных данных, получаемых из транзакционных систем, систем бизнес-анализа, поддержки принятия решений и планирования. Аналитические приложения реального времени и оперативные приложения реального времени, включая планирование, могут выполняться совместно с другими операциями.
2.Бизнес – проблема
Заказчик решения — крупная строительная компания с чистым доходом более $70 млн в год. Компания существует на рынке более 100 лет и предоставляет услуги в разных секторах экономики. Основные направления работы: инфраструктурные работы, энергетика и добывающая отрасль. За свою многолетнюю историю компания построила большую сеть клиентов и поставщиков. Как следствие активной деятельности, внутри компании появилось большое количество разнородных информационных систем, которые перестали выполнять свою основную задачу — ускорять и упрощать работу сотрудников компании. В ходе реструктуризации IT инфраструктуры было принято решение создать централизованную отчетную систему. На момент интеграции у заказчика уже имелись другие продукты SAP: ERP, CRM, SRM, BW и вполне логично, что при выборе решения выбор остановился на технологическом стеке SAP продуктов.
Существующая инфраструктура оказалась сложной и характеризовалась следующим:
1. отсутствие мастер данных
2. 4 отдельные системы отчетности без единой точки входа
3. более 600 различных отчетов, с перекрывающимися областями и неконсистентными данными
4. низкая производительность
5. нарастающая сложность и стоимость поддержки
3. Технологии и архитектура
Основные бизнес процессы и система отчетности, в общем, единообразны в большинстве компаний, в частности, если в качестве системы управления процессами и взаимодействия с партнёрами используется решение от SAP.
Для решения задач хранения, переноса, подготовки и представления данных были выбраны следующие продукты:
1) SAP HANA
2) SAP Business Object (BObj) Data Services как средство ETL и инструмент контроля качества данных
3) SAP BObj Rapid Marts в качестве слоя метаданных для стандартных отчетов
4) SAP BObj BI 4.1 как основной инструмент визуализации.
Первостепенной задачей было построение основного хранилища данных (Data Warehouse) в котором должны храниться мастер данные организации качества, целостности данных и реконселяция — проверка правильности/консистентности переноса. Стоит отметить, что SAP HANA использовалась для создания хранилища мастер данных только для информации, которая разным причинам не хранится в ERP и BW, например данные получаемые из систем компаний партнёров, которые не имеют прямого отношения к операционной деятельности организации, но интересны с точки зрения аналитики… Таким образом, все необходимые данные можно было получить из двух источников: SAP HANA и SAP BW (SAP BW бы настороен на использование SAP HANA в качестве внутреннего хранилища).
Все данные были перенесены, консолидированы и проверены, время создавать модели метаданных понятные и удобные для применения специалистам бизнеса.
Отражением бизнес модели, говорящей с пользователями бизнес языком, являются юниверсы. Для ускорения интеграции большая часть юниверсов для системы отчетности поставлялась через SAP Rapid Marts. Rapid Marts автоматически генерирует юниверсы для стандартных процессов и отчетов, на основе конфигураций и данных SAP систем. Для данных, которые выгружались в HANA из 3-х систем, юниверсы строились вручную через SAP BObj Information Design Tool. IDT это специальный инструмент от SAP, который позволяет в удобном графическом интерфейсе создать необходимые связи между данными необходимыми для отчетности, а так же выделить и переобозначить в понятные выражения поля таблиц хранилища.
Понятно, что стандартные юниверсы Rapid Marts не могли покрыть всех нужд и были прилично дополнены командой разработки. Были внесены специфичные для компании факты и измерения.
4. Результаты и преимущества
После 8 месяцев разработки появились результаты в виде оптимизированных процессов, консистентного хранилища данных, а так же средств для принятия решений в виде красивых графиков, интерактивных отчетов и информационных панелей. В качестве систем визуализации были выбраны BObj BI Web Intelligence и Dashboard Designer с возможностями создания интерактивных отчетов и дашбордов различной сложности и имеющими все необходимые инструменты, такие как детализация, консолидация, создание параметризированных срезов.
В итоге было построено около 400 отчетных форм в различных представлениях с возможностью доступа через корпоративный портал, систему отчетности с дополнительными преимуществами самостоятельной параметризации, а также появился новый способ доступа к отчетной системе через мобильные устройства.
Мое впечатление от подхода и использования компонентов в ходе реализации в большей степени положительно.
1. HANA отлично интегрируется со всеми используемыми компонентами SAP
2. Отсутствие дополнительного ETL процесса для построения многомерной модели. В HANA он был реализован логически и выполнялся практически мгновенно благодаря её архитектуре, что сводило латентность данных к нулю. А так же не создавало новых данных.
3. На платформе HANA были построены аналитические модели (Analytical views), которые позволяли использовать данные в системе отчетности напрямую, почти без изменения модели метаданных.
4. Все необходимые для отчетности данные доступны в SAP BObj и легко связываются.
5. «Тяжелые» расчеты были перенесены из BI платформы на SAP HANA, которая выполняет такие расчеты в несколько раз быстрее.
6. Фильтрация является одной из основных операций при построении отчетов, на SAP HANA работает намного быстрее, ввиду колоночного хранения данных.
Следует отметить определенные сложности, с которыми мы столкнулись на этапе подготовки данных и разворачивания инфраструктуры, такие как согласование гранулярности различных источников, отсуствие некоторого специфичного фунционала в системе отчетности, который присутствовал в старых системах, организация процесса тестирования. Однако эти сложности не повлияли на конечный результат и общую удовлетворенность заказчика.
Подводя краткий итог, я считаю, что для бизнеса, который задумывается над производительностью своих отчетных систем, современной с точки зрения дизайна, быстрой и удобной системой отчетности, стоит присмотреться к преимуществам, которые предоставляет HANA в сочетании с инструментами визуализации.
Дополнительную информацию по использованным технологиях и программах можно найти на следующих ресурсах:
http://go.sap.com/partner.html — партнерская часть портала SAP
http://hana.sap.com/ — SAP HANA portal
http://go.sap.com/solution/platform-technology/business-intelligence.html — SAP BusinessObjects
http://www.sap.com/pc/tech/data-warehousing/software/netweaver-business-warehouse/index.html -SAP BW
www.sap.com/pc/tech/enterprise-information-management/software/data-services/index.html — SAP Data Sevices
http://scn.sap.com/community/developer-center — SAP Developer Center