Data warehouse Deluxe-dummies

Data warehouse deluxe implementeringer er store - og bliver stadig større hele tiden. Implementeringer, der bruger hundredvis af gigabyte (en gigabyte svarer til 1 milliard bytes) og endda terabyte (1 billioner bytes) bliver stadig mere almindelige. For at klare denne mængde data og brugeradgang har du brug for en meget robust server og database.

Forbered dig på udfordringen! Med et datalagringslis kan du normalt håndtere data fra lager til lager på en enkel og lavteknologisk måde - men med datalagret deluxe går du nu ind i vanskelighedszonen, hvor mange datalagringsprojekter opfylder deres Waterloo.

Du vil sandsynligvis opleve problemer på dette område af flere grunde:

• Du har at gøre med mange forskellige datakilder, hvoraf nogle kan indeholde overlappende data. For eksempel kan leverandøroplysninger komme fra to forskellige indkøbssystemer, og nogle af dine leverandører har indgange i begge systemer.

  Du vil sandsynligvis køre ind i forskellige sæt identifikatorer, som du skal konvergere (for eksempel seks alfanumeriske tegn, der er identificeret som SUPPLIER_ID i et af systemerne og et unikt helt tal kendt som SUP_NUM i det andet).

• Hvis dit datalager er stort (måler mere end 250 gigabyte), vil du sandsynligvis opleve vanskeligheder med at udvinde, flytte og indlæse dine batch-vinduer. Batchvinduer , De tidsrammer, hvor opdateringer foretages til lageret, kompliceres af antallet af datakilder, du skal håndtere.

• Chancerne for at have en forkullet ekstraktion, bevægelse, transformation og indlæsningsproces er eksponentielt relateret til antallet af dataelementer, der skal indlæses i datalageret.

  Hvis du kunne tildele en vis sværhedsfaktor (f.eks. Et helt tal) til processen med at få data ind i lageret, ville følgende foranstaltninger være gældende: Du har n data elementer, som du vil medtage i datalageret med en sværhedsfaktor på x. Hvis du nu har 2 n dataelementer, er din sværhedsfaktor ikke 2 x; I stedet er det x kvadreret.

  For at gøre denne vanskelighed lettere at forstå, tildel nogle numre til n og x. Sig, at dit datalager har 100 elementer (n) og sværhedsfaktoren (x) er 5. Hvis du fordobler antallet af elementer ( n > = 200), er din sværhedsfaktor 25 (5 kvadreret), ikke 10 (5 x 2). Processen med at håndtere så mange datakilder, som alle er på vej mod ét sted (dit datalager deluxe), har alle elementerne i alt for mange kokke i køkkenet, eller hvad det siger.

• For at gøre udvindings-, bevægelses-, transformations- og indlæsningsprocessen jævnt, skal du sandsynligvis beskæftige sig med mange forskellige applikationsejere, officielle brugere af databasen og andre personer fra en række forskellige organisationer, som alle skal samarbejde som om de er en del af et professionelt symfoniorkester.

  Virkeligheden er dog, at de udfører mere som en gruppe børnehaveelever, som hver vælger et musikinstrument fra legetøjsbassinet og fortælles: "Spil nu noget! "Selvom processen ikke nødvendigvis er dømt til fejl, forventer du en række iterationer, indtil du kan få datalagret deluxe indlæst helt rigtigt.

  En data warehouse deluxe kan have tre niveauer (som en data warehouse lite), undtagen med flere datakilder og måske mere end en type brugerværktøj adgang til lageret. Men arkitekturen til et data warehouse deluxe ser sandsynligvis mere ud som det, der vises i denne figur, med mange forskellige samlingspunkter for data.

Ud over andre nødvendige "vejenstationer" for dit eget miljø kan dit miljø have disse elementer:

Data mart:

• Modtager delsæt af oplysninger fra datalageret Deluxe og fungerer som det primære adgangspunkt for brugere. Midlertidig transformationsstation:

• Et område, hvor dataudvindinger udtaget fra nogle af kilderne gennemgår en eller anden form for transformationsproces, før man går ned i rørledningen mod lagerets database. Kvalitetssikringsstation:

• Et område, hvor datagrupper gennemgår intensiv kvalitetssikringskontrol, før du får dem til at flytte ind i datalageret.