External Tools SAP HANA

SAP Landscape Transformation (SLT)

В предыдущей статье «Обзор предоставления данных в SAP HANA» мы рассказали о различных методах предоставления данных в HANA. 

В этой статье мы узнаем больше о SLT.

 Одной из основных особенностей HANA является то, что он может предоставлять данные в реальном времени клиенту в любой момент времени. Это стало возможным благодаря использованию SLT (SAP Landscape Transformation), где данные реального времени загружаются в HANA из исходных систем SAP или Non-SAP.

Что такое SLT?

SAP Landscape Transformation Replication Server - сервер репликации ретрансляции SAP («SLT»).

• для всех клиентов SAP HANA, которым необходима репликация данных в реальном времени или по расписанию, источники из источников SAP и NON-SAP
• Использует технологию на основе триггеров для передачи данных из любого источника в SAP HANA в режиме реального времени.

Сервер SLT может быть установлен в отдельной системе или в SAP ECC System.

Преимущества системы SLT

• Позволяет реплицировать данные в режиме реального времени или по расписанию.
• Во время репликации данных в режиме реального времени мы можем перенести данные в формате SAP HANA.
•  SLT обрабатывает таблицы кластера и пула.
• Это полностью интегрировано с SAP HANA Studio.
•  SLT имеют возможности настройки и преобразования таблиц.
• У SLT есть возможности мониторинга с SAP HANA Solution Manager.

Обзор архитектуры SLT между SAP System и SAP HANA

Сервер репликации SLT преобразует все определения таблиц метаданных из исходной системы ABAP в SAP HANA. Для источника SAP соединение SLT имеет следующие функции:

• Если ваша исходная система - это SAP, тогда вы можете установить SLT как отдельную систему или сам источник.
• Когда таблица реплицируется, сервер репликации SLT создает таблицы журналов в исходной системе.
• Модуль чтения создается в исходной системе SAP.
• Соединение между SLT и SAP Source устанавливается как RFC-соединение.
• Соединение между SLT и SAP HANA устанавливается как соединение БД.
• Если вы устанавливаете SLT в самой исходной системе, то нам больше не нужно иметь RFC-соединение

Сервер SLT автоматически создает соединение с БД для базы данных SAP HANA (при создании новой конфигурации через транзакцию LTR). Нет необходимости создавать его вручную.

SAP Note (1605140) предоставляет полную информацию для установки системы SLT. Если сервер репликации SLT установлен в исходной системе, архитектура будет выглядеть так, как показано ниже

Обзор архитектуры SLT между не-SAP-системой и SAP HANA

• На приведенном выше рисунке показана репликация данных в реальном времени из источников non-sap в систему HANA. Когда источник не является sap, мы должны установить SLT как отдельную систему.
• Основные изменения по сравнению с первым сценарием, где источником является система SAP, являются

- Соединение между источником и SLT будет соединением DB.

- Модули чтения будут в SLT вместо Source.

 Компоненты SLT

Основными компонентами, задействованными в репликации в реальном времени с использованием SLT, являются:

Logging Tables (таблицы ведения журналов): таблицы журналов используются для захвата измененных/новых записей из таблиц приложений с момента последней успешной репликации в HANA.

Read Modules (чтение модулей): Чтение модулей используется для чтения данных из таблиц приложений для начальной загрузки и преобразования таблиц типов кластера в прозрачные.

Control Module (модуль управления): модуль управления используется для выполнения небольших преобразований исходных данных. Данные отсюда будут перемещены для записи таблиц.

Write Modules (модуль записи): Функциональность таблицы записи - это запись данных в систему HANA.

Multi System Support

Сервер репликации SLT поддерживает репликацию 1:N и репликацию N:1.

Несколько систем источника могут быть подключены к одной системе SAP HANA.

 Одна система источника может быть подключена к нескольким системам SAP HANA. Ограничено только 1:4.

SAP Replication Server

Сервер репликации SAP (SRS)?

Сервер репликации SAP (SRS) также известен SAP Sybase Replication Server - это программное обеспечение для интеграции и перемещения данных в режиме реального времени. SAP Replication Server (SRS) перемещает и синхронизирует транзакционные данные, включая DML и DDL на предприятии, обеспечивая низкое воздействие, гарантированную доставку данных, бизнес-аналитику в реальном времени и нулевое время простоя.

SRS поддерживает репликацию на основе журнала из и в гетерогенные базы данных, за исключением однородной репликации SAP HANA в SAP HANA, которая основана на триггерах. Мы можем использовать SAP Replication Server для начальной загрузки, а также репликации в реальном времени для SAP HANA, как на уровне таблиц, так и на уровне базы данных, из этих основных баз данных:

• SAP Adaptive Server Enterprise
• Oracle
• Microsoft SQL Server
• DB2 UDB LUW
• SAP Business Suite running on SAP ASE, Oracle, MSSQL Server or DB2 UDB LUW
• SAP HANA database

Кроме того, SRS включает Replication Agent for SAP HANA - RAH (агент репликации для SAP HANA), легкий сервер, который реплицирует данные из первичной SAP HANA в реплицированную базу данных SAP HANA с использованием триггерной репликации, в основном используемой для распространения данных в реальном времени и отчетов в режиме реального времени.

SAP Direct Extractor Connection

Что такое SAP HANA Direct Extractor Connection (DXC)?

Соединение SAP HANA Direct Extractor Connection (DXC) используется для перенаправления данных из встроенной системы SAP BW (для экстракторов SAP ECC) в таблицу HANA с использованием http-соединения. SAP HANA DXC представляет собой пакетный метод репликации данных, то есть он может выполняться после временного интервала.

Примечание: SAP BW автоматически включается в системы SAP ERP с SAP NetWeaver 7.0. Технология SAP BW, которая существует внутри такой системы ERP, называется "Встроенная BW".

DXC использует встроенную BW, чтобы обеспечить извлечение и мониторинг. Поток данных перенаправляется на HANA из встроенного BW.

Когда DataSource активируется внутри встроенного BW (инструментария хранилища данных), в HANA создается соответствующий DataStore Object (DSO) - объект DataStore в памяти. DSO в памяти используется в качестве основы для дальнейшего моделирования HANA, например: аналитические взгляды, виды вычислений и т.д.

Во многих случаях данные из разных областей систем SAP Business Suite требуют, чтобы логика приложения соответствовала состоянию деловых документов. Источники источников данных SAP Business Content доступны в течение многих лет в качестве основы для моделирования данных и сбора данных для SAP Business Warehouse; теперь с DXC эти источники данных SAP Business Content Data Extractors доступны для доставки данных непосредственно в SAP HANA.

DXC - это метод сбора данных с периодическим управлением; его следует рассматривать как форму извлечения, преобразования и нагрузки, хотя его возможности преобразования ограничены выходом пользователя для извлечения.

Преимущества SAP DXC

• SAP DXC не требует дополнительного сервера или приложения в системном ландшафте.
• Это уменьшает сложность моделирования данных в SAP HANA, поскольку он отправляет данные в SAP HANA после применения всей логики бизнес-экстрактора в исходной системе.
• Это ускоряет сроки реализации SAP HANA.
• Он извлекает semantic rich data с сайта SAP Business и предоставляет SAP HANA.

 Ограничение SAP DXC

• Источник данных должен иметь предварительно определенный метод ETL, если нет, то нам нужно определить их.
•  SAP DXC требует, чтобы система Business Suite System Net Net на 7.0 или выше (например, ECC) была равна или ниже уровня SP: выпуск 700 SAPKW70021 (стек SP 19 с ноября 2008 года).
•  В источнике данных должна существовать процедура с определенным полем ключа.

Архитектура встроенного BW в системе SAP Business Suite и DXC

 Система SAP Business Suite основана на SAP NetWeaver. С SAP NetWeaver версии 7.0 SAP Business Warehouse (BW) является частью самого SAP NetWeaver, что означает, что система BW существует в системах SAP Business Suite, таких как ERP (ECC 6.0 или выше). Эта система BW называется «встроенной системой BW».

  Как правило, эта встроенная система BW внутри систем SAP Business Suite фактически не используется, поскольку большинство клиентов, которые запускают BW, устанавливают ее на отдельный сервер, и они полагаются на нее.

 В конфигурации DXC по умолчанию мы используем функции планирования и мониторинга этой встроенной системы BW, но не используем ее другие аспекты, такие как хранение данных, хранилище данных или отчетность / BI. Обработка извлечения DXC существенно обходит нормальный поток данных и вместо этого отправляет данные в SAP HANA. На следующем рисунке показана конфигурация DXC по умолчанию.

 Объект DataStore в памяти (DSO) создается в SAP HANA, который напрямую соответствует структуре используемого вами источника данных. Этот IMDSO состоит из нескольких таблиц и механизма активации. Активная таблица данных IMDSO может быть использована в качестве основы для построения моделей данных в SAP HANA (представления атрибутов, аналитические представления и виды вычислений).

 Данные передаются из исходной системы SAP Business Suite с использованием HTTP-соединения. Как правило, процесс извлечения и загрузки практически такой же, как при извлечении и загрузке SAP Business Warehouse - вы полагаетесь на планирование InfoPackage, монитор загрузки данных, цепочки процессов и т.д. - все это хорошо известно из операции системы SAP Business Warehouse.

Примечание: DXC не требует BW в SAP HANA. Также с DXC данные не загружаются во встроенную систему BW. Вместо этого данные перенаправляются в SAP HANA.

 Введение в службы данных SAP (SAP Data Services)

 SAP Data Services является сертифицированным инструментом ETL (извлечение, преобразование и загрузка) из SAP для пакетной загрузки в SAP HANA. 

SAP Data Services - это приложение для интеграции и преобразования данных. Он позволяет пользователям разрабатывать и выполнять рабочие процессы, которые берут данные из нескольких источников, а затем позволяет пользователю комбинировать, преобразовывать и уточнять эти данные, а затем отправлять в целевую систему.

 Бизнес-сценарий:

Предположим вы работаете в организации, где данные хранятся в различных несопоставимых базах данных, таких как Oracle, DB2 и другие устаревшие системы. Вам предлагается рекомендовать лучшее приложение для консолидации и репликации данных в SAP HANA из источников SAP и Non SAP с использованием метода ETL.

Что такое ETL (экстракция, трансформация и загрузка)?

Извлечение, преобразование и загрузка (ETL) относится к процессу использования базы данных и особенно к хранилищу данных, который:

• Извлекает данные из однородных или гетерогенных источников данных
• Преобразует данные для их хранения в надлежащем формате или структуре для целей запроса и анализа
• Загружает его в конечную цель (базу данных или хранилище данных)

Интеграция данных и их преобразование могут быть выполнены с использованием языков программирования баз данных, таких как SQL и PLSQL, однако для управления и поддержания ландшафта будет дорогостоящим. Именно здесь инструменты ETL (экстракция, трансформация и загрузка) играют важную роль в отрасли. Эти инструменты специально разработаны для единой платформы, где разработчики могут создавать логику для преобразований, а администраторы также могут легко поддерживать систему.

Проблемы, возникающие при загрузке данных из нескольких источников в HANA

Данные могут быть загрязнены:

С данными, разбросанными по вашей организации в разных системах ERP, базе данных или доморощенных системах; вы вероятно найдете разные версии правды, ограничивающие вашу способность получить полное представление о бизнесе.

Данные могут быть неточными:

Во многих клиентских системах данные по своей сути непоследовательны, потому что ситуация меняется, а бизнес-требования продолжают развиваться для достижения новых целей. Общие проблемы, такие как неправильные имена клиентов, адреса и названия продуктов, только добавляют проблему, которую могут решить организации, прежде чем они смогут использовать свои корпоративные данные в качестве корпоративного актива.

 Данные могут быть несогласованными: 

Определения общих бизнес-единиц, таких как клиенты, продукты, поставщик, имена материалов и коды, варьируются от системы к системе, создавая несоответствия, которые один доступ к данным не может решить. Вам нужен лучший способ примирить это.

Данные могут быть неполными:

Еще одна распространенная проблема с данными - это неполнота. В записи клиента может отсутствовать почтовый индекс или код страны, и он будет непригодным для использования, если он не будет добавлен с правильными данными.

Данные могут быть недоступны:

Иногда данные находятся в формате, который неструктурирован, как текст свободной формы, поступающий из журнала вызовов CRM. Задача заключается в том, как разблокировать информацию и потенциал всех ваших источников данных.

SAP Data Services - это решение для решения всех проблем

 SAP Data Services - это первое и единственное решение для интеграции данных (ETL), управления качеством данных, управления информацией (профилирование данных и управление метаданными) и текстовая аналитика.

 Компонент служб данных

Службы SAP DATA имеют компоненты ниже

Дизайнер: это инструмент интерфейса GUI (графический пользовательский интерфейс), где разработчики могут входить в систему и создавать задания в SAP Data Services для перемещения данных из одной системы в другую или с помощью системы и определения логики преобразований.

Чтобы открыть Data Service Designer: перейдите в меню Start Menu -> All Programs -> SAP Data Services (4.2 here) -> Data Service Designer.

Repository: репозиторий - это база данных, в которой хранятся объекты предопределенного дизайна и объекты, определенные пользователем (исходные и целевые метаданные, правила трансформации). Repository имеют два типа:

• Local Repository (Used by Designer and Job Server).
• Central Repository ( Used for object sharing and version control)

Access Server (сервер доступа): этот сервер используется для выполнения заданий реального времени, созданных разработчиками в репозиториях.

Job Server (сервер заданий): это один из основных компонентов сервера в службах передачи данных и используется для выполнения всех пакетных заданий, созданных разработчиками в системе. Хранилища должны быть прикреплены, по крайней мере, к одному серверу заданий для выполнения заданий в репозитории, иначе разработчик не сможет выполнять задания.

Management Console (консоль управления): это веб-консоль для управления службами данных SAP, например, планирование заданий, просмотр статистики системы при использовании памяти, время выполнения заданий, загрузка процессора и т.д.