Data mining til store data - dummies

Data mining indebærer at udforske og analysere store mængder data for at finde mønstre til store data. Teknikkerne kom ud af områderne statistik og kunstig intelligens (AI), med en smule databasehåndtering kastet i blandingen.

Målet med data mining er generelt enten klassificering eller forudsigelse. I klassificering er ideen at sortere data i grupper. For eksempel kan en marketingmedarbejder være interesseret i egenskaberne hos dem, der svarede mod, hvem der ikke reagerede på en forfremmelse.

Dette er to klasser. I forudsigelse er ideen at forudsige værdien af ​​en kontinuerlig variabel. For eksempel kan en marketingmedarbejder være interesseret i at forudsige dem, der vil reagere på en forfremmelse.

Typiske algoritmer, der anvendes til data mining, omfatter følgende:

• Klassifikationstræer: En populær datautvindingsmetode, der bruges til at klassificere en afhængig kategorisk variabel baseret på målinger af en eller flere prediktorvariabler. Resultatet er et træ med knuder og forbindelser mellem de noder, der kan læses for at danne hvis-derefter regler.

• Logistisk regression: En statistisk teknik, der er en variant af standardregression, men udvider konceptet til at håndtere klassificering. Det producerer en formel, der forudsiger sandsynligheden for forekomsten som en funktion af de uafhængige variabler.

• Neurale netværk: En softwarealgoritme, der er modelleret efter den parallelle arkitektur af dyrehjerne. Netværket består af input nodes, skjulte lag og output nodes. Hver enhed er tildelt en vægt. Data gives til input node, og ved et system med forsøg og fejl justerer algoritmen vægten, indtil den opfylder et bestemt stopkriterium. Nogle mennesker har lignet dette til en black-box-tilgang.

• Klyngeteknikker som K-nærmeste naboer: En teknik, der identificerer grupper af lignende poster. Den nærmeste nabosteknik beregner afstanden mellem posten og punkterne i de historiske (træningsdata). Den tildeler derefter denne post til klassen af ​​den nærmeste nabo i et datasæt.

Her er et eksempel på klassifikationstræer. Overvej situationen, hvor et telefonselskab ønsker at bestemme, hvilke boligkunder der sandsynligvis vil afbryde deres service.

Telefonfirmaet har oplysninger, der består af følgende egenskaber: hvor lang tid personen har haft tjenesten, hvor meget han bruger på tjenesten, om tjenesten har været problematisk, om han har den bedste opkaldsplan, han har brug for, hvor han lever, hvor gammel han er, om han har andre tjenester bundtet sammen, konkurrencedygtige oplysninger om andre luftfartsselskabers planer, og om han stadig har tjenesten.

Selvfølgelig kan du finde mange flere attributter end dette. Den sidste attribut er resultatet variabel; Dette er, hvad softwaren vil bruge til at klassificere kunderne i en af ​​de to grupper - måske kaldet stayers og flyrisici.

Datasættet er brudt i træningsdata og et testdatasæt. Træningsdataene består af observationer (kaldet attributter) og en resultatvariabel (binær i tilfælde af en klassifikationsmodel) - i så fald risikerer stayers eller flyvningen.

Algoritmen løber over træningsdataene og kommer op med et træ, der kan læses som en række regler. For eksempel, hvis kunderne har været hos virksomheden i mere end ti år, og de er over 55 år, vil de sandsynligvis forblive som loyale kunder.

Disse regler løber derefter over testdatasættet for at bestemme, hvor god denne model er på "nye data. "Nøjagtighedstiltag findes for modellen. For eksempel er en populær teknik forvirringsmatrixen. Denne matrix er en tabel, der indeholder oplysninger om, hvor mange tilfælde der var korrekt versus forkert klassificeret.

Hvis modellen ser godt ud, kan den implementeres på andre data, som den er tilgængelig (det vil sige ved at bruge den til at forudsige nye tilfælde af flyrisiko). Baseret på modellen kan selskabet f.eks. Beslutte at sende særlige tilbud til de kunder, som det mener er flyverisici.