Sådan sikrer du gyldigheden, veraciteten og flygtigheden af ​​store data - dummier

Højt volumen, høj variation og høj hastighed er de væsentlige egenskaber ved store data. Men andre egenskaber ved store data er lige så vigtige, især når du bruger store data til operationelle processer. Dette andet sæt af "V" -karakteristika, der er nøglen til operativisering af store data, inkluderer

• Gyldighed: Er dataene korrekte og nøjagtige til den tilsigtede anvendelse?

• Veracity: Er resultaterne meningsfulde for det givne problemrum?

• Volatilitet: Hvor længe skal du gemme disse data?

Stor datagyldighed

Du vil have nøjagtige resultater. Men i de indledende faser af at analysere petabytes af data er det sandsynligt, at du ikke vil være bekymret for, hvor gyldigt hvert dataelement er. Den første strøm af store data kan faktisk være ret beskidt. I de indledende faser er det mere vigtigt at se, om der eksisterer forhold mellem elementer i denne massive datakilde end at sikre, at alle elementer er gyldige.

Efter at en organisation har fastslået, at dele af den indledende dataanalyse er vigtige, skal denne delmængde af store data valideres, fordi den nu vil blive anvendt til en operationel tilstand. Når dataene bevæger sig fra sonderende til handling, skal data valideres. Gyldigheden af ​​store datakilder og efterfølgende analyse skal være nøjagtige, hvis du skal bruge resultaterne til beslutningstagning.

Gyldige indtastningsdata efterfulgt af korrekt behandling af dataene skal give præcise resultater. Med store data skal du være ekstra opmærksom med hensyn til gyldighed. For eksempel i sundhedsvæsenet kan du have data fra et klinisk forsøg, der kunne relateres til patientens sygdomssymptomer. Men en læge, der behandler denne person, kan ikke blot tage de kliniske forsøgsresultater som uden at validere dem.

Forestil dig at vejr-satellitten indikerer, at en storm begynder i en del af verden. Hvordan påvirker denne storm individer? Med omkring en halv milliard brugere er det muligt at analysere Twitter-strømme for at bestemme virkningen af ​​en storm på lokale befolkninger. Derfor kan ved hjælp af Twitter i kombination med data fra en vejr satellit hjælpe forskere med at forstå rigtigheden af ​​en vejrudsigt.

Stor datafilatitet

Hvis du har gyldige data og kan bevise rigtigheden af ​​resultaterne, hvor lang tid skal dataene "live" for at tilfredsstille dine behov? I en standard dataindstilling kan du holde data i årtier, fordi du over tid har opbygget en forståelse af, hvilke data der er vigtige for, hvad du gør med det.Du har etableret regler for datavaluta og tilgængelighed, der kortlægger dine arbejdsprocesser.

For eksempel kan nogle organisationer kun holde det seneste år af deres kundedata og -transaktioner i deres forretningssystemer. Dette sikrer hurtig hentning af disse oplysninger, når det kræves. Hvis de skal se på et tidligere år, kan IT-teamet muligvis genoprette data fra offline-lager for at respektere anmodningen. Med store data er dette problem forstørret.

Hvis lagringen er begrænset, skal du se de store datakilder for at bestemme, hvad du skal samle, og hvor længe du behøver at beholde det. Med nogle store datakilder skal du muligvis bare samle data for en hurtig analyse.

Du kan derefter gemme oplysningerne lokalt for videre behandling. Hvis du ikke har nok plads til alle disse data, kan du behandle dataene "på flugt" og kun opbevare relevante informationer lokalt. Hvor længe du holder store data tilgængelige, afhænger af nogle få faktorer:

• Hvor mange data opbevares ved kilden?

• Har du brug for at behandle dataene gentagne gange?

• Har du brug for at behandle dataene, samle yderligere data og gøre mere behandling?

• Har du regler eller bestemmelser, der kræver datalagring?

• Er dine kunder afhængige af dine data til deres arbejde?

• Har dataene stadig værdi eller er det ikke længere relevant?

På grund af mængden, sorten og hastigheden af ​​store data skal du forstå volatiliteten. For nogle kilder vil dataene altid være der; for andre er det ikke tilfældet. Forstå, hvilke data der er derude, og hvor længe kan du hjælpe med at definere retentionskrav og politikker til store data.

Som forbruger vil store data bidrage til at definere en bedre profil for, hvordan og hvornår du køber varer og tjenester. Som patient vil store data bidrage til at definere en mere tilpasset tilgang til behandling og vedligeholdelse af sundheden. Som professionel hjælper store data dig med at identificere bedre måder at designe og levere dine produkter og tjenester på.

Dette sker kun, når store data integreres i virksomhedernes og organisationernes driftsprocesser.