Sådan udarbejder du data til prædiktiv analyse - dummier

Når du lærer et nyt programmeringssprog, er det sædvanligt at skrive "hello world" -programmet. Til maskinindlæring og forudsigende analyser er opretholdelse af en model til klassificering af Iris datasættet det "hello world" -kvivalente program. Dette er et ret simpelt eksempel, men det er meget effektivt i at undervise i grunduddannelsen i maskinindlæring og prædiktiv analyse.

Sådan hentes stikprøvedatasættet

For at oprette vores prædiktive model skal du downloade stikprøve-Iris-datasættet. Dette datasæt er frit tilgængeligt fra mange kilder, især på akademiske institutioner, der har maskininlæringsafdelinger. Heldigvis var folkene godt nok til at inkludere nogle stikprøvedatasæt og dataindlæserfunktioner sammen med deres pakke. I disse eksempler skal du kun køre et par enkle linjer kode for at indlæse dataene.

Sådan mærkes dine data

Her er en observation og dens egenskaber fra hver klasse af Iris Flower datasættet.

Sepal Længde	Sepal Bredde	Kronblade Længde	Kronblade Bredde	Målklasse / Etiket
5. 1	3. 5	1. 4	0. 2	Setosa (0)
7. 0	3. 2	4. 7	1. 4	Versicolor (1)
6. 3	3. 3	6. 0	2. 5	Virginica (2)

Iris Setosa, Iris Virginica, og Iris Versicolor ), der blev introduceret af Ronald Fisher i sin artikel 1936, "Anvendelsen af ​​flere målinger i taxonomiske problemer. "Dette datasæt er bedst kendt for sin omfattende anvendelse i den akademiske verden for maskinindlæring og statistik. Datasættet består af 150 samlede forekomster, med 50 forekomster fra hver af de tre klasser i Iris-blomsten. Prøven har 4 funktioner (også almindeligvis kaldet

attributter ), som er længde og bredde målinger af blomkål og kronblade.

Den interessante del af dette datasæt er, at de tre klasser er noget lineært adskilt. Klassen

Setosa kan adskilles fra de to andre klasser ved at tegne en ret linje på grafen mellem dem. Klasserne Virginica og Versicolor kan ikke adskilles fuldstændigt ved hjælp af en lige linje - selvom den er tæt. Dette gør det til et perfekt kandidatdatasæt til at gøre klassifikationsanalyse, men ikke så god til clusteringanalyse. Prøvedataene var allerede mærket. Den højre kolonne (Etiket) ovenfor viser navnene på hver klasse af Iris-blomsten.Klassenavnet hedder et

-mærke eller et mål; det tildeles normalt en variabel med navnet y . Det er dybest set resultatet eller resultatet af det, der forudsiges. I statistik og modellering kaldes det ofte

afhængig variabel . Det afhænger af de indgange, der svarer til løvlængde og bredde og til kronbladets længde og bredde. Du vil måske også gerne vide, hvad der er anderledes om det scikit-forarbejdede Iris-datasæt, sammenlignet med det oprindelige datasæt. For at finde ud af, skal du hente den oprindelige datafil. Du kan gøre en Google-søgning til

iris datasæt og downloade den eller se den fra en af ​​de akademiske institutioner. Resultatet, som normalt kommer op først, er University of California Irvine's (UCI) maskine-learning repository af datasæt. Iris datasættet i sin oprindelige tilstand fra UCI-maskinindlæringsdatabasen findes på UCI-webstedet.

Hvis du downloader det, skal du kunne se det med ethvert tekstredigeringsprogram. Når du har set dataene i filen, vil du bemærke, at der er fem kolonner i hver række. De første fire kolonner er målingerne (kaldet

funktionerne ), og den sidste kolonne er etiketten. Mærket adskiller sig mellem de originale og scikit versioner af Iris datasættet. En anden forskel er den første række i datafilen. Den indeholder en headerræ, der bruges af scikit data-loading funktionen. Det har ingen effekt på algoritmerne selv.

Normalisering af funktioner til tal frem for at holde dem som tekst gør det lettere for algoritmerne at behandle - og det er meget mere hukommelseseffektivt. Dette er især tydeligt, hvis du kører meget store datasæt med mange funktioner - hvilket ofte er tilfældet i reelle scenarier.

Her er eksempler på data fra begge filer. Alle datakolonnerne er de samme med undtagelse af Col5. Bemærk, at scikit har klassenavne med numeriske etiketter; Den originale fil har tekstetiketter.

Kilde

Col1	Col2	Col3	COL4	Col5	scikit
5. 1	3. 5	1. 4	0. 2	0	original
5. 1	3. 5	1. 4	0. 2	Iris-setosa	scikit
7. 0	3. 2	4. 7	1. 4	1	original
7. 0	3. 2	4. 7	1. 4	Iris-versicolor	scikit
6. 3	3. 3	6. 0	2. 5	2	original
6. 3	3. 3	6. 0	2. 5	Iris-virginica