Fase 4 i CRISP-DM Process Model: Modeling - dummies

Modellering er en del af procesmodellen Cross-Industry Standard Process for Data Mining (CRISP-DM), hvor de fleste data minearbejdere gerne bedst. Dine data er allerede i god form, og nu kan du søge efter nyttige mønstre i dine data.

Modelleringsfasen indeholder fire opgaver. Disse er

Valg af modelleringsteknikker
Udformning af test (er)
Byggemodeller
Vurdering af model (r)

Opgave: Valg af modelleringsteknikker

Den vidunderlige verden af data mining tilbyder mange modeller for modelleringsteknikker, men ikke alle passer til dine behov. Begræns listen baseret på de involverede typer af variabler, udvælgelsen af teknikker, der er tilgængelige i dine værktøjer og eventuelle forretningsmæssige overvejelser, der er vigtige for dig.

For eksempel favoriserer mange organisationer metoder med output, der er let at fortolke, så beslutnings træer eller logistisk regression kan være acceptabelt, men neurale netværk vil sandsynligvis ikke blive accepteret.

Leverancer til denne opgave omfatter to rapporter:

Modelingsteknik: Angiv den eller de teknikker, du vil bruge.
Modelleringsforudsætninger: Mange modelleringsmetoder er baseret på bestemte antagelser. For eksempel kan en modeltype være beregnet til brug med data, der har en bestemt type distribution. Dokumentér disse antagelser i denne rapport.

Statistikere er velinformerede, strenge og nøjeregnende over antagelser. Det er ikke nødvendigvis tilfældet for data minearbejdere, og det er ikke et krav at blive data minearbejder. Hvis du har dyb statistisk viden og forstår antagelserne bag de modeller, du vælger, kan du være streng og nøjeregnende over antagelser.

Men mange data minearbejdere, især nybegyndere data minearbejdere, opstyrer ikke meget over antagelser. Alternativet er testning - masser af prøvning - af dine modeller.

Opgave: Udformning af test

Testen i denne opgave er den test, du vil bruge til at bestemme, hvor godt din model fungerer. Det kan være lige så enkelt som at opdele dine data i en gruppe tilfælde til model træning og en anden gruppe til modelprøvning.

Træningsdata bruges til at matche matematiske formularer til datamodellen, og testdata bruges under model-træningsprocessen for at undgå overfitting: lave en model, der er perfekt til et datasæt, men ingen andre. Du kan også bruge holdout data, data, der ikke bruges under model-træningsprocessen, til en yderligere test.

Den leverbare til denne opgave er dit testdesign. Det behøver ikke være udførligt, men du skal i det mindste passe på, at dine trænings- og testdata er ens, og at du undgår at introducere nogen bias i dataene.

Opgave: Byggemodeller

Modellering er, hvad mange mennesker forestiller sig at være hele data minearbejderen, men det er kun en opgave med dusinvis! Ikke desto mindre er modellering for at imødegå specifikke forretningsmål det centrale i data-minearbejdet.

Leverancer til denne opgave omfatter tre elementer:

Parameterindstillinger: Når du bygger modeller, giver de fleste værktøjer dig mulighed for at justere forskellige indstillinger, og disse indstillinger har indflydelse på strukturen i den endelige model. Dokumentér disse indstillinger i en rapport.
Modelbeskrivelser: Beskriv dine modeller. Angiv typen af model (som lineær regression eller neuralt netværk) og de anvendte variabler. Forklar hvordan modellen fortolkes. Dokumentér eventuelle vanskeligheder i modelleringsprocessen.
Modeller: Denne leverbare er modellerne selv. Nogle modeller kan let defineres med en simpel ligning; andre er alt for komplekse og skal overføres i et mere sofistikeret format.

Opgave: Vurdering af model (r)

Nu vil du gennemgå de modeller, du har oprettet, både teknisk og ud fra et forretningsmæssigt synspunkt (ofte med input fra forretningseksperter på dit projektteam).

Leverancer til denne opgave omfatter to rapporter:

Model vurdering: Sammenfatter de oplysninger, der er udviklet i din model anmeldelse. Hvis du har oprettet flere modeller, kan du rangere dem ud fra din vurdering af deres værdi for en bestemt applikation.
Reviderede parameterindstillinger: Du kan vælge at finjustere indstillinger, der blev brugt til at opbygge modellen og udføre en anden modelrunde og forsøge at forbedre dine resultater.

Data minedrift, som en løg, en Dobos torte eller en sedimentær sten, har masser af lag. Når du lige er begyndt i data minedrift, kan du starte med at forlade parameterindstillingerne til deres standardværdier (faktisk kan du ikke engang mærke til valgmuligheder, medmindre du gør en indsats for at søge efter dem).

Når du bliver komfortabel i din nye data-mining karriere, vil det være fornuftigt for dig at finde ud af om modelparametre og vide, hvordan du kan bruge dem. Dine muligheder varierer meget med typen af model og det specifikke værktøj, du bruger.