Begrænsningerne af dataene i Prediktiv Analytics - Dummies

Som med mange aspekter af ethvert forretningssystem er data en menneskelig skabelse - så det er egnet til at have nogle begrænsninger på dets brugbarhed, når du først få det. Her er et overblik over nogle begrænsninger, som du sandsynligvis vil støde på:

• Dataene kan være ufuldstændige. Manglende værdier, selv om der mangler en sektion eller en væsentlig del af dataene, kan begrænse brugen af ​​det.

  Dine data kan f.eks. Kun dække et eller to betingelser for et større sæt, du forsøger at model - som når en model, der er bygget til analyse af aktiemarkedsresultater, kun har data tilgængelige fra de seneste 5 år, hvilket skævner begge data og model mod antagelse af et tyr marked.

  I det øjeblik markedet gennemgår en korrektion, der fører til et bjørnemarked, undlader modellen at tilpasse sig - simpelthen fordi den ikke blev uddannet og testet med data, der repræsenterer et bjørnemarked.

  Sørg for at du kigger på en tidsramme, der giver dig et komplet billede af de naturlige udsving i dine data; Dine data bør ikke begrænses af sæsonbestemt .

• Hvis du bruger data fra undersøgelser, skal du huske på, at folk ikke altid giver nøjagtige oplysninger. Ikke alle vil svare sandt om (hvor mange gange de udøver - eller hvor mange alkoholiske drikkevarer de forbruger - om ugen. Folk må ikke være uærlige så meget som selvbevidste, men dataene er stadig skævt.

• Data indsamlet fra forskellige kilder kan variere i kvalitet og format. Data indsamlet fra så forskellige kilder som undersøgelser, e-mails, dataindtastningsformularer, og firmaets hjemmeside vil have forskellige egenskaber og strukturer. Data fra forskellige kilder kan muligvis ikke have meget kompatibilitet mellem datafelter. Sådanne data kræver større forbehandling før det er analyseret. Den ledsagende sidebjælke giver et eksempel.

Data indsamlet fra flere kilder kan have forskelle i formatering, duplikatoptegnelser og inkonsekvenser på tværs af fusionerede datafelter. Forvent at bruge lang tid på at rengøre sådanne data - og endnu længere validere dets pålidelighed.

For at bestemme begrænsningerne i dine data skal du sørge for:

• Bekræft alle de variabler, du vil bruge i din model.

• Vurder datalængden, især over tid, så din model kan undgå årstidsfælden.

• Kontroller manglende værdier, identificer dem og vurder deres indvirkning på den samlede analyse.

• Pas på ekstreme værdier (outliers) og afgøre, om de skal inkluderes i analysen.

• Bekræft at puljen af ​​træning og testdata er stor nok.

• Kontroller, at datatype (heltal, decimaltal eller tegn osv.) Er korrekt, og angiv de øverste og nederste grænser for mulige værdier.

• Vær ekstra opmærksom på dataintegration, når dine data kommer fra flere kilder.

Vær sikker på at du forstår dine datakilder og deres indvirkning på den samlede kvalitet af dine data.

• Vælg et relevant datasæt, der er repræsentativt for hele befolkningen.

• Vælg de rigtige parametre til din analyse.

Selv efter al denne omhu og opmærksomhed, vær ikke overrasket over, om dine data stadig har brug for forbehandling, før du kan analysere det nøjagtigt. Forarbejdning tager ofte lang tid og en betydelig indsats, fordi den skal adressere flere problemer relateret til de originale data - disse problemer inkluderer:

• Eventuelle værdier mangler fra dataene.

• Eventuelle uoverensstemmelser og / eller fejl i dataene.

• Eventuelle duplikater eller outliers i dataene.

• Enhver normalisering eller anden transformation af dataene.

• Eventuelle afledte data, der er nødvendige til analysen.