facebook LinkedIN LinkedIN - follow
Data warehousing a Business intelligence , AI a Business Intelligence

Rychlejší analýza dat s in-memory BI



Oracle Business intelligence (BI) aplikace se staly standardním nástrojem, bez kterého se již neobejde prakticky žádná firma. Protože dat a informací ke zpracování skokově přibývá, rostou i nároky na výkon. A právě zde vzniká dle nezávislých analytiků prostor pro tzv. in-memory BI.


Dle nezávislých analytických studií se dá v oblasti BI v nejbližším období očekávat několik klíčových trendů. S rozvojem chytrých mobilních telefonů to budou v prvé řadě analýzy v mobilu. Gartner dokonce předpovídá, že do roku 2014 bude až 33 procent BI dotazů prováděných prostřednictvím mobilních zařízení. Zpočátku se bude přes mobilní telefon pouze přistupovat k již existujícím reportům, později začnou převládat nativní mobilní aplikace pro konkrétní úkoly nebo domény. To přinese kromě nové funkčnosti i dramatický nárůst počtu koncových uživatelů BI, a tím i zvýšené nároky na výkon BI infrastruktury.
Další oblastí, která dle analytiků projde významným rozvojem, je analytické zpracování v paměti (in-memory). Rostoucí využívání sofistikovaných BI funkcí totiž urychlí nasazování nových analytických aplikací a systémů pro řízení podnikové výkonnosti (EPM), a standardní podnikové aplikace budou stále častěji zahrnovat text a data mining, predikce, regrese, optimalizace či různé simulace pomocí komplexního modelování dat, což však s sebou opět ponese i potřebu generovat vyšší výkon. Předpokládá se tudíž, že do tří let bude kolem třiceti procent analytických aplikací využívat in-memory architekturu pro zvýšení výkonnosti a rozšíření funkcionality v oblasti predikce, modelování, simulací a prognóz.

Analýza dat ve zlomku sekundy

Architektura business intelligence řešení se standardně sestává ze tří vrstev. Nejvíce viditelná je vrstva koncových nástrojů zabezpečující vizualizaci informací, na kterou je napojena metadatová vrstva zajišťující optimální přístup koncových uživatelů k informacím. Na metadatové vrstvě jsou definovány a uchovávány struktury relačního OLAPu, definice výpočtů, klíčových ukazatelů a hierarchií, které podporují analýzy v dimenzionálním stylu. Metadatová vrstva je dále propojená s datovou vrstvou, která primárně slouží jako úložiště pro velké objemy dat a současně poskytuje nástroje pro jejich řízení.
I když jsou databázové systémy optimalizovány pro zpracování velkého objemu dat, čtení dat z disku může zpomalovat některé analytické procesy. Rozvíjející se technologie a klesající ceny paměti a procesorů však otevírají nové možnosti pro analytické zpracování. Rozšíření paměťové a procesorové kapacity na střední vrstvě umožňuje implementace in-memory technologií, tj. uložení velkých objemů dat (mluvíme o objemech dat vyjádřených ve stovkách gigabytů až několika terabytů) do paměti, čímž se eliminují diskové operace a lze dosáhnout odezvy analytických systémů ve zlomcích sekundy. Jednodušeji řečeno, díky in-memory technologii je možné pracovat s daty přímo v operační paměti, takže nedochází k omezení výkonu způsobeného přístupem na datová úložiště.

Základní charakteristiky technologií pro analytiku v paměti

In-memory analytics

Na analytické úrovni je zavedena relační technologie, kde jsou implementovány struktury relačního OLAPu na podporu analytických dotazů prováděných přímo v paměti počítače. Doplňkovou technologií k relačnímu OLAPu je multidimenzionální OLAP, který kromě zrychlení dotazů poskytuje také vysoce výkonné prostředí pro in-memory modelování, what-if analýzy a plánování.

Komprese pro podporu uložení většího objemu dat

Data v in-memory databázích využívají takzvanou sloupcovou kompresi, což umožňuje dosáhnout vysoký kompresní poměr. Analytické algoritmy jsou optimalizovány pro práci s komprimovanými daty, což ještě zvyšuje výkon in-memory operací.

Nástroje a služby pro vytváření a nahrávání in-memory struktur

Na jedné straně stojí replikační technologie zajišťují replikaci dat z disku do paměti, na druhé správa cache paměti. V případě, že všechna data nemohou být přenesena do paměti, in-memory server využívá algoritmy, které obhospodařují cache paměť, v níž jsou ukládány datové množiny z posledních dotazů a mohou být znovupoužité při dalších dotazech. Tím dochází k eliminaci čtení z disku při podobných analytických otázkách.

Clustrování

Architektura in-memory řešení je postavena na paralelním zpracování, kdy je několik serverů v clusteru zapojených do zpracování jedné úlohy pro dosažení ještě lepšího výkonu a vysoké dostupnosti.

Přínosy využití in-memory BI aplikací v praxi

Oracle

Dramatické zrychlení plánovacích cyklů

In-memory systém se jedinečně hodí na nasazení aplikací pro finanční a operativní plánování z rodiny EPM. Rysy, jako například výrazné zkrácení cyklů plánování a rozpočtování, zlepšení přesnosti plánu detailnějším rozčleněním provozních dat nebo bohatší škálovatelnost a dimenzionalita v modelech plánování, umožňují rozšíření využití plánovacích aplikací za hranice finančního oddělení do jednotlivých LOB. Také se budou moci začít výrazněji používat nové typy plánovacích aplikací, jako třeba předpovědi poptávky, řízení zásob, optimalizace ceny či řízení ziskovosti a nákladů.

Vysoce interaktivní aplikace nad několika zdrojovými systémy

Analýzy nad několika zdrojovými systémy současně představují zvláštní výzvu pro business intelligence aplikace. Různé systémy nabízejí různou odezvu, navíc měnící se v čase. Datamart umístěn přímo v operační paměti obsahující nejčastěji poptávaná data představuje výrazné zlepšení odezvy aplikací a samozřejmě odlehčení zdrojových systémů.

Jednodušší provoz a údržba

Analytické aplikace pracující nad obrovským množstvím dat vyžadují vysoký výkon. Tradičně museli zákazníci investovat značné prostředky na hardware, software, integraci a následné ladění a údržbu. S příchodem in-memory systémů je možné obstarat kompletní řešení sestávající z optimalizované kombinace hardwaru a softwaru od jediného dodavatele, a tím výrazně snížit celkové náklady na provoz.

Předpřipravené BI aplikace

Dnes už není třeba vyvíjet analytické aplikace nebo reporting na „zelené louce“. Vícero dodavatelů již nabízí pro standardní ERP a CRM aplikace hotové BI řešení, která obsahují předdefinované komponenty pro extrakci, transformaci a nahrávání zdrojových dat (ETL), úložiště s datovým modelem a sadu reportů a dashboardů. Díky velmi vysokému výkonu nové architektury se tato řešení budou moci začít využívat ve větší míře.

Inteligentní rozhodovací cyklus

Kombinace infrastruktury pro historické analýzy a trendy spolu s modelováním a simulací budoucího vývoje rozšíří možnosti uživatelů business intelligence a přispěje ke zkvalitnění jejich rozhodování.

Masové rozšíření BI

Díky dramatickému nárůstu výkonu, téměř okamžité odezvě, novému typu BI aplikací navržených speciálně pro mobilní zařízení umožňující napojení na podnikové aplikace i sociální sítě dojde k rozšíření počtu uživatelů, k přesunu od vysoce kvalifikovaných analytiků a statistiků k běžným zaměstnancům, kteří si pravděpodobně ani nebudou uvědomovat komplexnost a vysoký výkon infrastruktury, která to umožnila.

Závěrem

Vlastnosti in-memory technologie v kombinaci s BI nástroji mohou uživatelům poskytnout velmi rychlé analýzy objemných dat, a to prakticky v reálném čase. Výjimkou není zpracování dat v objemu několika TB a řádu několika sekund. Využití in-memory technologie a připravených appliance řešení se proto předpokládá především u společností, kde denně vznikají miliony záznamů dat a pro potřeby rozhodování je nutná jejich rychlá analýza. I když in-memory analýzy posunují velká data do desktopů a přenosných zařízení a umožňují jejich rychlejší a efektivnější zpracování, omezení v podobě ochrany a kvality dat a technické zručnosti business analytiků přece jen jejich rychlejší rozvoj zatím brzdí.

Miroslav Komora, Gabriela Hečková
Autoři článku působí ve společnosti Oracle.

Chcete získat časopis IT Systems s tímto a mnoha dalšími články z oblasti informačních systémů a řízení podnikové informatiky? Objednejte si předplatné nebo konkrétní vydání časopisu IT Systems z našeho archivu.

Inzerce

Microsoft Fabric umožňuje analýzu dat založenou na AI

GOPASEfektivní řízení a analýza dat je klíčovým faktorem úspěchu každé organizace. Společnost Microsoft představila platformu Microsoft Fabric, která nabízí revoluční možnosti v oblasti sběru, ukládání a analýzy dat.