Video: Rosas karbonader med stuvet hvidkål 2024
At få det rigtige perspektiv på datakvalitet kan være meget udfordrende i verden af store data. Med de fleste store datakilder skal du antage, at du arbejder med data, der ikke er rene. Faktisk er den overvældende overflod af tilsyneladende tilfældige og afbrudte data i streams af sociale mediedata en af de ting, der gør det så nyttigt for virksomhederne.
Du starter med at søge petabytes af data uden at vide, hvad du måske finder efter, at du har søgt efter mønstre i dataene. Du skal acceptere det faktum, at der vil være meget støj i dataene. Det er kun ved at søge og mønster matchende, at du vil kunne finde nogle gnister af sandhed midt i nogle meget beskidte data.
Selvfølgelig har nogle store datakilder som data fra RFID-tags eller sensorer bedre etablerede regler end sociale medier. Sensordata skal være rimeligt rene, selvom du måske regner med at finde nogle fejl. Det er altid dit ansvar, når du analyserer massive mængder data for at planlægge kvalitetsniveauet for disse data. Du bør følge en tofaset tilgang til datakvalitet:
Fase 1 : Se efter mønstre i store data uden bekymring for datakvalitet.
Fase 2: Når du har fundet dine mønstre og etablerer resultater, der er vigtige for virksomheden, skal du anvende de samme datakvalitetsstandarder, som du anvender på dine traditionelle datakilder. Du vil undgå at indsamle og administrere store data, der ikke er vigtige for virksomheden, og vil potentielt ødelægge andre dataelementer i Hadoop eller andre store dataplatforme.
Når du begynder at inkorporere resultaterne af din store dataanalyse i din forretningsproces, skal du erkende, at data af høj kvalitet er afgørende for, at et firma kan træffe gode forretningsbeslutninger. Dette gælder for store data såvel som traditionelle data.
Kvaliteten af data refererer til egenskaber om dataene, herunder konsistens, nøjagtighed, pålidelighed, fuldstændighed, aktualitet, rimelighed og validitet. Datakvalitetssoftware sikrer, at dataelementer er repræsenteret på samme måde på tværs af forskellige datalager eller systemer for at øge dataens konsistens.
For eksempel kan en datalager bruge to linjer til en kundes adresse, og en anden datalager kan bruge en linje. Denne forskel på, hvordan dataene er repræsenteret, kan resultere i unøjagtige oplysninger om kunder, som f.eks. En kunde identificeres som to forskellige kunder.
Et selskab kan bruge dusinvis af varianter af virksomhedens navn, når det køber produkter.Datakvalitetssoftware kan bruges til at identificere alle variationer af firmanavnet i dine forskellige datalager og sikre, at du ved alt, hvad denne kunde køber fra din virksomhed.
Denne proces kaldes giver en enkelt visning af kunde eller produkt. Datakvalitetssoftware matcher data på tværs af forskellige systemer og rydder op eller fjerner overflødige data. Datakvalitetsprocessen giver virksomheden information, der er lettere at bruge, fortolke og forstå.
Dataprofileringsværktøjer bruges i datakvalitetsprocessen til at hjælpe dig med at forstå indholdet, strukturen og tilstanden af dine data. De indsamler oplysninger om dataegenskaberne i en database eller anden datalager for at starte processen med at omdanne dataene til en mere betroet form. Værktøjerne analyserer dataene for at identificere fejl og inkonsekvenser.
De kan foretage justeringer for disse problemer og rette fejl. Værktøjerne tjekker for acceptable værdier, mønstre og intervaller og hjælper med at identificere overlappende data. Dataprofileringsprocessen kontrollerer for eksempel at se, om dataene forventes at være alfa eller numeriske. Værktøjerne kontrollerer også afhængigheder eller se, hvordan dataene vedrører data fra andre databaser.
Data-profileringsværktøjer til store data har en lignende funktion til data-profileringsværktøjer til traditionelle data. Data-profileringsværktøjer til Hadoop vil give dig vigtige oplysninger om dataene i Hadoop-klynger. Disse værktøjer kan bruges til at søge efter kampe og fjerne dubletter. Som et resultat kan du sikre, at dine store data er konsekvente. Hadoop værktøjer som HiveQL og Pig Latin kan bruges til transformationsprocessen.
