Middleware Tjenester: Dataudvælgelse og udtræk - dummies

Det primære formål med datautvalg og -ekstraktionstjenesten er at vælge fra (finde i) en datakilde de data, som du vil flytte ind i datalageret og derefter udtrække (trække ud) dataene ind i en formular, der kan læses til kvalitetssikringstjenester.

Du kan bruge en af ​​to forskellige typer udvælgelses- og udvindingstjenester til dit datalagringsmiljø:

• Få dem alle og sorter dem ud senere: Find og hent alle dataelementerne i en kilde, som du vil indlæse i dit datalager, uanset om et bestemt element har tidligere blevet ekstraheret.

• Ændringsorienteret: Find og hent kun de dataelementer, der enten er blevet tilføjet nyligt til datakilden eller opdateret siden sidste uddrag.

Den første type service kræver mindre kompleks logik for at udføre ekstraktionen. Men du skal håndtere større mængder (nogle gange meget større volumener) data end med den anden type, den ændringsorienterede service.

Den ændringsorienterede metode til udvælgelse og udvinding er ret ligetil, når din kilde er en relationsdatabase, der har et tidsstempel, du kan bruge til at registrere, hvornår en række data blev tilføjet eller sidst opdateret.

Du kan sammenligne en række data mod dato og klokkeslæt for den sidste ekstraktionsproces for at afgøre, om data skal udvælges og udvindes. Men når dataene er gemt i en fil, der ikke har et tidsstempel (en VSAM-fil, for eksempel), kan denne proces være betydeligt vanskeligere.

Du kan også blive udsat for en udfordring, når kildedata er slettet fra enten en fil eller en database. Hvis forretningsreglerne for dit datalagringsmiljø kræver sletning af tilsvarende data fra lageret, skal du have mulighed for at registrere sletninger, der er foretaget siden sidste udvindingsproces for at sikre, at der udføres passende sletninger i dit lager.

Resultatet af udvælgelsen og udvindingen er også et uddrag af data, der er klar til at gennemgå yderligere behandling: tjekke datakvaliteten.