Hvordan man genererer afledte data og reducerer dens dimensionalitet til prædiktiv analyse - dummier

I denne udforskningsfase med forudsigelig analyse får du intim viden om dine data - hvilket igen vil hjælpe dig med at vælge de relevante variabler til at analysere. Denne forståelse vil også hjælpe dig med at evaluere resultaterne af din model. Men først skal du identificere og rense dataene til analyse.

Sådan genereres afledte data

Afledte attributter er helt nye registreringer konstrueret af en eller flere eksisterende attributter. Et eksempel er oprettelsen af ​​dokumenter, der identificerer bøger, der er bestseller på bogmesse. Rå data kan ikke fange sådanne poster - men for modelleringsformål kan de afledte poster være vigtige. Pris pr. Indtjeningsgrad og 200-dages glidende gennemsnit er to eksempler på afledte data, der er stærkt anvendte i finansielle applikationer.

Afledte attributter kan opnås ved simpel beregning, som f.eks. Nedsættende alder fra fødselsdato. Afledte attributter kan også beregnes ved at opsummere oplysninger fra flere poster.

Hvis du f.eks. Konverterer en tabel over kunder og deres købte bøger til en tabel, kan du spore antallet af bøger, der sælges via et anbefalingssystem, gennem målrettet markedsføring og på en bogmesse - og identificere de demografiske af kunder, der købte disse bøger.

Generering af sådanne yderligere attributter giver yderligere prædiktiv effekt til analysen. Faktisk er mange sådanne attributter skabt for at sonde deres potentielle forudsigende kraft. Nogle prædiktive modeller kan bruge mere afledte attributter end attributterne i deres rå tilstand. Hvis nogle afledte attributter viser sig at være særdeles prædiktive, og deres magt har vist sig at være relevant, er det fornuftigt at automatisere processen, der genererer dem.

Afledte poster er nye optegnelser, der indeholder nye oplysninger og giver nye måder at præsentere rå data på. de kan være af stor værdi til prædiktiv modellering.

Sådan reduceres dataens dimensionalitet

De data, der bruges i prædiktive modeller, samles normalt fra flere kilder. Din analyse kan tegne fra data spredt over flere dataformater, filer og databaser eller flere tabeller i samme database. Sammenlægning af dataene sammen og kombinering af det til et integreret format for datamodellerne, der skal bruges, er afgørende.

Hvis dine data indeholder noget hierarkisk indhold, kan det være nødvendigt at være fladtrykt . Nogle data har nogle hierarkiske karakteristika som forældre-barn-relationer eller en post, der består af andre poster.For eksempel kan et produkt som en bil have flere producenter; fladgørende data betyder i dette tilfælde, at hver enkelt maker er en ekstra funktion i den rekord, du analyserer.

Fladderingsdata er afgørende, når det fusioneres fra flere relaterede poster for at danne et bedre billede.

For eksempel kan analyse af bivirkninger for flere lægemidler fremstillet af flere virksomheder kræve, at dataene bliver fladt på stofniveau. Ved at gøre det slutter du at fjerne en-til-mange relationer (i dette tilfælde mange producenter og mange stoffer til et produkt), der kan forårsage for meget dobbeltarbejde ved at gentage flere stofindgange, der gentager produkt og maker information ved hver indgang.

Fladning reducerer dimensionaliteten af dataene, hvilket er repræsenteret ved antallet af funktioner, som en post eller en observation har.

For eksempel kan en kunde have følgende funktioner: navn, alder, adresse, indkøbte varer. Når du starter din analyse, kan du finde dig selv at evaluere poster med mange funktioner, hvoraf nogle kun er vigtige for analysen. Så du bør eliminere alle, men de meget få funktioner, der har den mest forudsigelige kraft til dit specifikke projekt.

Reduktion af dataens dimensioner kan opnås ved at sætte alle dataene i et enkelt bord, der bruger flere kolonner til at repræsentere attributter af interesse. I begyndelsen af ​​analysen skal analysen naturligvis evaluere et stort antal kolonner - men dette tal kan indsnævres, når analysen skrider frem.

Denne proces kan støttes ved at rekonstituere felterne - for eksempel ved at gruppere dataene i kategorier, der har lignende karakteristika.

Det resulterende datasæt - det rensede datasæt - bliver normalt sat i en separat database for de analytikere, der skal bruge. Under modelleringsprocessen bør disse data let tilgængelige, styres og holdes ajourførte.