Middleware Services: Databevægelse og dataindlæsning - dummier

I de fleste situationer to middleware-tjenester - udvælgelse og udvinding og kvalitetssikring - finder sted på samme platform (system), som datakilden ligger på. Hvis dit datalager vil blive hostet på en anden platform end datakilden, skal du dog bruge en data-bevægelsestjeneste til at gennemføre dataoverførslen fra system til system.

Du kan sandsynligvis bruge en relativt simpel service (håndteres af et simpelt filoverførselsprogram, for eksempel). Bevægelsestjenesten, hvis du har brug for det på dette tidspunkt, flytter blot de QA'd data til det miljø, hvor du planlægger at foretage yderligere transformationer.

Hvis du laver din transformation og QA-behandling på en platform, der adskiller sig fra den platform, hvor du kører dit produktionsdata warehouse (på en udviklingsserver, for eksempel i stedet for på den operationelle server), skal du udføre en yderligere dataflytteservice for at få dataene til det sted, hvor du vil have det til sidst. Denne proces involverer normalt kun en relativt enkel filoverførsel.

Datatildelingstjenesten indlæser de udpakkede, QA'd, transformerede og re-QA'd data ind i dit lager. Du kan muligvis indlæse data via et tilpasset program, SQL (en INSERT-sætning, for eksempel) eller et værktøj.

Hvis du har brug for at indlæse et stort antal data, skal du prøve at bruge et hurtigtilføjningsværktøj, som normalt indebærer meget mindre tid end en programmatisk eller SQL-baseret tilgang.

Hvis du bruger SQL til at indlæse dine data i en relationsdatabase, skal du prøve at gøre indlæsningen så effektiv som muligt ved at slukke for logføring (hvis dit DBMS-produkt tillader det). Hvis indlæsningsopgaven er unormalt afsluttet, skal du bare bruge DROP- eller TRUNCATE-sætningen til at slippe af med dit delvist indlæste bord, rette det problem, der forårsagede opsigelsen, og genstart jobbet.

Denne proces er normalt meget hurtigere end hvis du tænder de nødvendige faciliteter til OLTP-stil data og transaktionsintegritet (med tilhørende overhead).