Stor dataanalyse og data warehouse dummies

Du vil finde værdi i at bringe data warehouseets og det store datamiljø sammen. Du skal oprette et hybrid-miljø, hvor store data kan fungere sammen med datalageret.

For det første er det vigtigt at erkende, at datalageret som det er designet i dag, ikke ændres på kort sigt.

Derfor er det mere pragmatisk at bruge datalagret til det, det er designet til at gøre - give en velbevidst version af sandheden om et emne, som virksomheden ønsker at analysere. Lageret kan indeholde oplysninger om et bestemt virksomheds produktlinje, dets kunder, dets leverandører og detaljerne om et års værd for transaktioner.

Oplysningerne i datalageret eller en afdelingsdata mart er blevet omhyggeligt konstrueret, så metadataene er korrekte. Med væksten af ​​ny web-baseret information er det praktisk og ofte nødvendigt at analysere denne massive mængde data i sammenhæng med historiske data. Det er her, hvor hybridmodellen kommer ind.

Visse aspekter ved at gifte data warehouse med store data kan være forholdsvis let. For eksempel kommer mange af de store datakilder fra kilder, der indeholder deres egne veldesignede metadata. Komplekse e-handelssites omfatter veldefinerede dataelementer. Derfor arbejder informationsstyringsorganisationen ved analyser mellem lageret og den store datakilde med to datasæt med omhyggeligt udformede metadata-modeller, som skal rationaliseres.

Selvfølgelig mangler informationskilderne i nogle situationer eksplicitte metadata. Før en analytiker kan kombinere de historiske transaktionsdata med de mindre strukturerede store data, skal arbejdet gøres. Typisk vil indledende analyse af petabytes af data afsløre interessante mønstre, der kan hjælpe med at forudsige subtile ændringer i forretning eller potentielle løsninger til patientens diagnose.

Den indledende analyse kan udfyldes udnytte værktøjer som MapReduce med Hadoop distribuerede filsystem ramme. På dette tidspunkt kan du begynde at forstå, om det er i stand til at hjælpe med at evaluere det problem, der behandles.

I analyseprocessen er det lige så vigtigt at eliminere unødvendige data som det er at identificere data, der er relevante for erhvervskonteksten. Når denne fase er færdig, skal de resterende data omdannes, så metadatadefinitioner er præcise. På denne måde, når de store data kombineres med traditionelle historiske data fra lageret, bliver resultaterne nøjagtige og meningsfulde.

Den store data integration lynchpin

Denne proces kræver en veldefineret data integrationsstrategi. Mens dataintegration er et kritisk element i styring af store data, er det lige så vigtigt, når der oprettes en hybridanalyse med datalageret. Faktisk er processen med at udvinde data og omdanne den i et hybridmiljø meget ligner, hvordan denne proces udføres inden for et traditionelt datalager.

I datalageret hentes data fra traditionelle kildesystemer som CRM eller ERP-systemer. Det er kritisk, at elementer fra disse forskellige systemer er korrekt tilpasset.

Rethink-ekstraktion, transformation og belastning til datalagre

I datalageret finder du ofte en kombination af relationelle database tabeller, flade filer og ikke-relationelle kilder. Et velopbygget datalager vil blive opbygget, så dataene konverteres til et fælles format, så forespørgsler kan behandles præcist og konsekvent. De udpakkede filer skal omformes for at matche forretningsreglerne og processerne i det emneområde, som datalageret er designet til at analysere.

Med andre ord skal dataene udvindes fra de store datakilder, således at disse kilder sikkert kan fungere sammen og give meningsfulde resultater. Derudover skal kildene omdannes, så de er nyttige til at analysere forholdet mellem de historiske data og de mere dynamiske og realtidsdata, der kommer fra store datakilder.

Indlæser oplysninger i den store datamodel vil være anderledes end hvad du ville forvente i et traditionelt datalager. Med data warehouses, efter data er blevet kodificeret, ændrer det aldrig. Et typisk datalager vil give virksomheden et øjebliksbillede af data baseret på behovet for at analysere et bestemt forretningsproblem, som kræver overvågning, såsom lager eller salg.

Den distribuerede struktur af store data vil ofte føre til, at organisationer først indlæser data i en række noder og derefter udfører udvinding og transformation. Når man opretter en hybrid af det traditionelle datalager og det store datamiljø, kan den store datamiljøs distribuerede karakter dramatisk ændre organisationernes evne til at analysere store mængder data i forbindelse med virksomheden.