For at sikre kvaliteten af ​​indgående eksterne data - dummies

Når du designer et datalager, og du bestemmer, hvilke eksterne data du har brug for, skal du bare bestille en ordre (svarende til bestilling af tøj eller en frugtkurv fra et websted). Når du begynder at modtage data via en stream, filoverførsel eller på anden måde, er det glat sejlads - eller er det?

Hvad med kvaliteten af ​​de indkommende data? Du skal absolut anvende det samme sæt kvalitetssikringsprocedurer for eksternt tilvejebragte data, som du gør til data, der kommer fra dine egne interne systemer. Bare fordi du køber oplysningerne på det åbne marked, garanterer du ikke, at dataene er fejlfri.

Anvend QA-procedurer til hver indkommende gruppe af data ved at følge disse trin:

1. Find ud af, om de indgående data har kontrolværdier, der er vedhæftet filerne.

   Nogle eksempler på kontrolværdier er antallet af poster i hver fil, den samlede værdi for hver numerisk kolonne (samlede salgspriser for alle poster og samlede enheder, der sælges for alle poster) og delsæt af de samlede kolonneværdier (samlede mængder af salg og enheder pr. stat).

   Hvis kontrolværdier er angivet, skal de opbevares og bruges som en del af end-to-end indlæsningsprocedurerne. Ingen bør officielt opdatere varehusets indhold, indtil checken er i overensstemmelse med de beregninger, du lavede, da du forberedte dataene til indlæsning.

2. Hvis der ikke er angivet nogen kontrolværdier, bedes du anmode om dem.

   Selvom anmodningen kan tage nogle cykler (for eksempel nogle få uger eller måneder) for at fylde, tager enhver dataudbyder, der er interesseret i at levere et højt kundeservice, denne type anmodning alvorligt og bestræber sig på at fremsætte de ønskede kontroloplysninger ledig.

3. I løbet af dine indlæsningsprocedurer filtrerer du hver række.

   Sørg for at følgende betingelser er korrekte:

   1. Keys (unikke identifikatorer for hver post) er korrekte på tværs af alle oplysningerne. For eksempel, hvis hver post i SalesMasterRecord-gruppen af ​​data skal have nøjagtigt 12 relaterede poster i SalesDetailRecord (en for hver måned), skal du sørge for, at alle detaljeringsposter er til stede ved at sammenligne rekordnøgleværdier.

   2. Verdier er korrekte. Produktsalg pr. Måned skal for eksempel være inden for rimelige grænser for den type produkt (f.eks. Fly er forskellige fra bolte).

   3. Manglende informationsfel (en sandsynlig - næsten uundgåelig - forekomst med eksternt leverede data) forvrænger ikke betydningen af ​​de indgående data.

      Selv om fraværet af supplerende data-data (defineret i henhold til forretningsreglerne for din specifikke branche eller organisation) måske ikke er for alvorligt et problem, hvis halvdelen af ​​de indkomne poster har et tomt rum, hvor UnitsSold, TotalSalesPrice, eller en anden kritisk type information skal være, er værdien af ​​data i bedste fald tvivlsom.

   4. Brug især dine analytiske værktøjer som beskrevet i kapitel 10 til at udføre datakvalitetsanalyse, især før du bruger de samme værktøjer til at udføre forretninger, især i de tidlige stadier, hvor du erhverver eksterne data (f.eks. De første tre eller fire måneder). analyse.

      Søg efter uligheder, uregelmæssigheder, gådefulde resultater, inkonsekvenser, tilsyneladende paradokser og alt andet, der bare ser underligt ud. Derefter bor ned til dataernes rødder for at tjekke for usædvanlig kilde.

      Husk at du sandsynligvis beskæftiger dig med mange millioner af rækker af indgående data: Ud over at du ikke er i stand til personligt at tjekke hver enkelt række, kan du have svært ved at konfigurere dine filtrerings- og QA-kontrolkriterier for enhver mulig betingelse.

      Enhver, der nogensinde har gjort noget med eksternt leverede kildedata, har stødt på alle former for mærkelige uoverensstemmelser og mangler data i den indgående information. Ved at sætte dig selv i stedet for brugerne og bruge de samme værktøjer, som de bruger, kan du sikkert finde en ting eller to, som du kan rette, hvilket gør dit datalager til en meget bedre butik af værdifulde forretningsoplysninger.