Sådan scorer du dine analytiske forudsigelser Nøjagtigt - dummier

Når du analyserer kvaliteten af ​​en prædiktiv model, vil du måle dens nøjagtighed. Jo mere præcis en prognose modellen gør, desto mere nyttig er det for virksomheden, hvilket er en indikation af dets kvalitet. Dette er alt godt - undtagen når den forudsagte begivenhed er sjælden. I så fald kan den prædiktive model høj præcision være meningsløs.

For eksempel hvis sandsynligheden for en sjælden begivenhed skal forekomme er 5 procent, en model der simpelthen svarer & ldquo; nej & rdquo; hele tiden, når man spurgte om den sjældne begivenhed er indtruffet, ville være ret 95 procent af tiden. Men hvor nyttig ville en sådan model være?

Så hvis din virksomhed skal håndtere rutinemæssigt med sjældne begivenheder (hvis en sådan ting er mulig), skal du ikke stole på nøjagtigheden alene som et mål for din models pålidelighed.

I et sådant tilfælde kan du evaluere effektiviteten og kvaliteten af ​​en prædiktiv model i lyset af, hvor sandsynligt den sjældne begivenhed skal ske. En nyttig måling at følge er at angive, hvilke typer fejl du kan acceptere fra modellen, og som du ikke kan.

Her er en hurtig liste over andre måder at evaluere din model på:

• Kontroller, om modelens output opfylder dine evalueringskriterier.

• Udform en teststrategi, så du kan teste din model gentagne gange og konsekvent.

• Mål, hvor godt modellen opfylder de forretningsmål, som den blev bygget til.

• Vurder risikoen ved at implementere modellen live.

Hjælp stempel ud overmontering. Når du bygger en prædiktiv model, skal du huske på, at dit datasæt kun er en prøve af hele befolkningen. Der vil altid være ukendte faktorer, som dine data ikke kan regne med, uanset hvad.

• Tilpas analysen af ​​din prædiktive model med omhu, begyndende med denne hurtige tjekliste:

• Klargør dine data med yderste omhu før du bruger den til at træne din model.

• Overvej forsigtigt outliers før du inkludere eller ekskluderer dem.

• Vær opmærksom på gentagen test og evaluering.

• Cross-check prøvedata og testdata for at styre væk fra overfitting.

• Kontakt dine domæne viden eksperter ofte og passende.