Главная
страница 1страница 2страница 3страница 4страница 5страница 6

12.1.3 Текущее решение на платформе SAP BPC on SAP BW

Изначально, модель данных классической системы бюджетирования будет опираться на технологическую платформу SAP BW [2]. SAP BW представляет собой решение SAP [2] для организации корпоративного хранилища данных, позволяющего использовать при построении и моделировании системы корпоративной отчетности следующие преимущества:



  1. OLAP, MDX Engine – возможности многомерного, slice-n-dice анализа

  2. ETL процессы [1] – использование потоков трансформации данных, областей временного хранения подготовки данных (Persistent Staging Area), отслеживание загрузки только измененных записей или «дельты» (Change-Data Capture)

  3. Широкие возможности моделирования и управления производительностью системы на уровне аналитических кубов (разбиение на секции, компрессия, индексы, предопределенные агрегаты для выбранных измерений схемы данных)

В соответствии с текущими «лучшими практиками», модель системы бюджетирования представляет собой OLAP-куб, или многомерную таблицу факта, находящуюся в отношении с измерениями, также известную как Star Schema Benchmark [3] (Рис.1):



Рис.1 Схема-звезда

Для ведения данных планирования, создания бизнес-процессов согласования бюджета, аудита данных, рабочих статусов и комментариев используется специальное приложение SAP Business Planning and Consolidation [4]. Данное приложение предоставляет возможности работы с построенными моделями данных через веб-интерфейс и клиент Microsoft Excel. Концептуальные требования, описанные выше при постановке задачи, полностью реализованы в данном программном продукте.

Однако, вследствие того, что модель данных, основанная на схеме-звезде или таблице фактов, не является оптимальной для выполнения операций записи и обновления, при достаточно высокой гранулярности данных производительность системы резко падает. Данный факт объясняется, например, наличием частых операций соединения (JOIN) между «денормализованной» и как следствие, избыточной таблицей фактов и таблицами статусов и комментариев. Таблица фактов находится в отношении один ко многим с этими таблицами, поскольку для каждой ее записи, в целях вышеупомянутого аудита данных, необходимо хранить все версии статусов и комментариев, измененных пользователем.




13.1.4 Описание существующей проблемы

Итак, требования по автоматизации бюджетного процесса, собранные в концептуальном проекте внедрения системы бюджетирования в крупном банке, подтверждают описанные в технической постановке задачи требования к модели данных. С одной стороны, данные должны быть оптимизированы для ввода записей, статусов, комментариев, что обычно реализуется с помощью высоко нормализованной схемы таблиц (OLTP). С другой стороны, в рамках решения аналитических задач, необходимо оптимизировать данную модель для выполнения быстрых аналитических запросов (OLAP). Модель системы бюджетирования должна удовлетворять обоим принципам одновременно, что несовместимо с классической концепцией реляционных баз данных. Далее мы рассмотрим предлагаемое в рамках данной работы решение, использующее последние технологии построения баз данных.



  1. Предлагаемое решение на основе платформы SAP HANA




14.2.1 Анализ существующих решений

Технологии баз данных в настоящий момент переживают в некотором смысле переломный момент. Сейчас классические подходы пересматриваются вплоть до физического уровня хранения и оперирования данными. Общераспространенная теория реляционных баз данных больше не является «панацеей», и чтобы, преодолеть ограничения, накладываемые данной абстракцией, приходится спускаться до низких уровней, вплоть до организации «железа» и физического хранения записей.

Это подразумевает под собой определенный вызов для ИТ-архитекторов и профессионалов по моделированию, поскольку каждый конкретный бизнес-сценарий может требовать индивидуального подхода на всех этапах проектирования системы.

Последними инновациями организации хранения и доступа к данным в аналитических системах являются:



  1. СУБД на графических процессорах [5];

Высокая параллелизация запросов за счет большего количества однотипных процессоров, управление распределением памяти, многопоточность. Примером реализации данной технологии является СУБД empulse ParStream.

  1. In-Memory базы данных;

Высокая скорость чтения, возможности кэширования и параллелизации за счет хранения всех данных не на диске, а в основной памяти. Примером реализации данной технологии являются решения SAP HANA [6], QlikView In-Memory.

  1. Поколоночные базы данных [12];

Возможность выполнения быстрых операций группировки, агрегации, компрессии за счет того, что хранение данных организовано не построчно, а поколоночно в виде массива значений. Примером реализации данной технологии являются решения SAP HANA, MongoDB, Apache Cassandra [7].

  1. Алгоритмические подходы для параллельного выполнения запросов на низком уровне

  • Map-Reduce [8] (примеры – Sybase IQ, Apache Hadoop,
    Tenzing)

  • Parallel Aggregation (пример – SAP HANA) [9, 10]

  1. Распределенные, или согласованные в «конечном счете» системы systems [11];

Обеспечивают высокую доступность за счет хранения нескольких копий всего объема данных – операции чтения могут выполняться с любой копией, а операции вставки и обновления выполняются последовательно на всех копиях в течение определенного периода времени. Примером реализации данной технологии являются решения Apache Cassandra, Amazon Dynamo.
В данной работе будет описан пример реализации модели данных бюджетного планирования на технологической платформе SAP HANA. Этот продукт сочетает в себе такие инновационные технологии, как поколоночное хранение, in-memory хранение данных и высокий коэффициент параллельного выполнения запросов на уровне процессоров.
SAP HANA поставляется как «appliance», то есть в виде программно-аппаратного комплекса (сервера с предустановленным на нем программным обеспечением).

Программные компоненты решения оптимизированы для работы на специальном сертифицированном оборудовании, поставляемом ведущими производителями (HP, IBM, Fujitsu). Требования к оборудованию включают в себя требования к оперативной памяти (main data), SSD памяти (non-active data) и дисковой памяти, как средству резервного копирования. Также определена спецификация процессоров, использования ими кэшей на нескольких уровнях.


Архитектура программной части комплекса выглядит следующим образом (Рис.2):

Рис.2 Архитектура SAP HANA

В поставку входят также клиентские приложения для построения системы корпоративной отчетности. В правой части рисунка изображено устройство главной вычислительной части, содержащей несколько оптимизирующих запросы механизмов (SQL Script, Calc Engine, MDX), а также два основных реляционных механизма – построчное и поколоночное хранилище.
В нижней части изображено дисковое хранилище, однако данные в нем хранятся исключительно для резервного копирования. Вся работа с данными на уровне приложения происходит в основной памяти.
Таким образом, SAP HANA обладает следующими преимуществами:


  1. Технология In-Memory

  2. Поколоночное хранение

  3. Вычисление агрегатных данных без материализации

  4. Алгоритмизированное параллельное выполнение запросов (parallel aggregation)




<< предыдущая страница   следующая страница >>
Смотрите также:
«Методы моделирования данных в аналитических информационных системах»
411.45kb.
6 стр.
Методика определения актуальных угроз безопасности персональных данных при их обработке в информационных системах персональных данных
150.02kb.
1 стр.
Специализированные методы визуализации 2d и 3d изображениq в бортовых картографических системах
88.09kb.
1 стр.
Учебная программа Дисциплины р1 «Моделирование информационных процессов»
125.21kb.
1 стр.
Программа по дисциплине администрирование в информационных системах растягаев Д. В
128.76kb.
1 стр.
Политика безопасности персональных данных, обрабатываемых в информационных системах персональных данных в
227.68kb.
1 стр.
Методы анализа данных Кредиты: 3 Аннотация дисциплины
17.78kb.
1 стр.
Инструкция операторам по обработке персональных данных на пэвм
211.62kb.
1 стр.
1. Термины и определения (документы фстэк россии) Безопасность персональных данных
153.09kb.
1 стр.
Лабораторные работы по дисциплине "Теория экономических информационных систем"
95.98kb.
1 стр.
30. Методы моделирования сложных систем
85.7kb.
1 стр.
Базовая модель угроз безопасности персональных данных при их обработке в информационных системах персональных данных
1254.82kb.
8 стр.