Hjem Personlig finansiering Anvendelse af hovedkomponentanalyse til prædiktiv analyse - dummier

Anvendelse af hovedkomponentanalyse til prædiktiv analyse - dummier

Video: Anvendelse af råvildtkølle 2025

Video: Anvendelse af råvildtkølle 2025
Anonim

Hovedkomponentanalyse (PCA) er en værdifuld teknik, der er meget udbredt inden for prædiktiv analyse og datalogi. Det studerer et datasæt for at lære de mest relevante variabler, der er ansvarlige for den højeste variation i datasættet. PCA bruges mest som en data reduktion teknik.

Når du bygger prædiktive modeller, kan du muligvis reducere antallet af funktioner, der beskriver dit datasæt. Det er meget nyttigt at reducere denne høje dimensionering af data gennem tilnærmelsesteknikker, hvor PCA udmærker sig. De tilnærmede data opsummerer alle vigtige variationer af de oprindelige data.

F.eks. Kan funktionssættet med data om lagre omfatte aktiekurser, daglige høje og lave priser, handelsvolumener, 200-dages glidende gennemsnit, pris-til-indtjeningsforhold, relative styrke til andre markeder, renter og styrken af ​​valutaer.

At finde de vigtigste forudsigelsesvariabler er kernen i at opbygge en prædiktiv model. Den måde, mange har gjort det på, er ved at bruge en brute force-tilgang. Tanken er at starte med så mange relevante variabler som muligt, og brug derefter en tragt tilgang til eliminering af funktioner, der ikke har nogen indflydelse eller ingen prædiktiv værdi.

Intelligensen og indsigten er bragt til denne metode ved at engagere forretningsmæssige interessenter, fordi de har nogle tanker om, hvilke variabler der vil have størst indflydelse i analysen. Erfaringerne fra de dataforskere, der er involveret i projektet, er også vigtige for at vide, hvilke variabler der skal bruges til, og hvilke algoritmer der skal bruges til en bestemt datatype eller et domæne-specifikt problem.

For at hjælpe med processen bruger dataforskere mange prædiktive analyseværktøjer, der gør det lettere og hurtigere at køre flere permutationer og analyser på et datasæt for at måle virkningen af ​​hver variabel på datasættet.

At vide, at der er en stor mængde data at arbejde med, kan du bruge PCA til hjælp.

At reducere antallet af variabler, du ser på, er grund nok til at anvende PCA. Derudover beskytter du ved at bruge PCA automatisk beskyttelse mod overfitting af modellen.

Du kan bestemt finde sammenhæng mellem vejrdata i et givet land og udførelsen af ​​sit aktiemarked. Eller med farven på en persons sko og den rute, som han eller han tager til kontoret, og udførelsen af ​​deres portefølje for den dag. Men inklusive disse variabler i en prædiktiv model er mere end bare overfitting, det er vildledende og fører til falske forudsigelser.

PCA bruger en matematisk gyldig tilgang til at bestemme delmængden af ​​dit datasæt, der indeholder de vigtigste funktioner; Når du bygger din model på det mindre datasæt, får du en model, der har forudsigende værdi for det samlede større datasæt, du arbejder med. Kort sagt bør PCA hjælpe dig med at forstå dine variabler ved at identificere delmængden af ​​variabler, der er ansvarlige for den mest variation med dit originale datasæt. Det hjælper dig med at se overflødighed. Det hjælper dig med at finde ud af, at to (eller flere variabler) fortæller dig det samme.

Desuden tager hovedkomponentanalysen dit multidimensionale datasæt og producerer et nyt datasæt, hvis variabler er repræsentative for lineariteten af ​​variablerne i det oprindelige datasæt. Derudover har det udgitte datasæt individuelt ukorrelerede variabler, og deres varians er bestilt af deres hovedkomponenter, hvor den første er den største og så videre. I denne henseende kan PCA også betragtes som en teknik til konstruktion af funktioner.

Mens du bruger PCA eller andre lignende teknikker, der hjælper med at reducere dimensionerne af datasættet, du har at gøre med, skal du altid være forsigtig med ikke at påvirke modelens ydeevne negativt. At reducere størrelsen af ​​dataene bør ikke komme på bekostning af at påvirke ydeevnen negativt (nøjagtigheden af ​​den prædiktive model). Træd sikker på og administrer dit datasæt med omhu.

Den øgede kompleksitet af en model oversætter ikke til højere kvalitet i udfaldet.

For at bevare modelens præstationer må du muligvis nøje evaluere effektiviteten af ​​hver variabel og måle dens anvendelighed i udformningen af ​​den endelige model.

At vide, at PCA'en kan være særlig nyttig, når variablerne er stærkt korrelerede inden for et givet datasæt, kan det kun komplicere opgaven med at reducere dimensionaliteten af ​​multivariate data ved at have et datasæt med ikke-korrelerede prædiktive variabler. Mange andre teknikker kan bruges her i tillæg til PCA'en, som f.eks. Fremadgående valg af funktion og tilbagevendende funktion eliminering.

PCA er ikke en magisk kugle, der løser alle problemer med multidimensionale data. Dens succes er meget afhængig af de data, du arbejder med. Den statistiske varians er muligvis ikke tilpasset til variabler med de mest forudsigelige værdier, selv om det er sikkert at arbejde med sådanne tilnærmelser.

Anvendelse af hovedkomponentanalyse til prædiktiv analyse - dummier

Valg af editor

Sammenligning af Hadoop-distributioner - dummier

Sammenligning af Hadoop-distributioner - dummier

Du vil opdage, at Hadoop-økosystemet har mange komponenter, som alle eksisterer som deres egne Apache projekter. Fordi Hadoop er vokset betydeligt og står over for nogle betydelige yderligere ændringer, er forskellige versioner af disse komponenter i open source-fællesskabet måske ikke fuldt kompatible med andre komponenter. Dette giver betydelige vanskeligheder for folk, der søger at få ...

Faktorer, der øger omfanget af statistisk analyse i Hadoop - dummies

Faktorer, der øger omfanget af statistisk analyse i Hadoop - dummies

Grunden til, at folk udprøver deres data før du kører statistisk analyse i Hadoop er, at denne form for analyse ofte kræver betydelige databehandlingsressourcer. Det handler ikke kun om datamængder: der er fem hovedfaktorer, der påvirker omfanget af statistisk analyse: Denne er let, men vi skal nævne det: mængden af ​​data på ...

Komprimering af data i Hadoop - dummies

Komprimering af data i Hadoop - dummies

Er de enorme datamængder, der er realiteter i en typisk Hadoop-implementering, en nødvendighed. Datakomprimering sparer helt sikkert en stor mængde lagerplads og er sikker på at fremskynde bevægelsen af ​​disse data i hele din klynge. Ikke overraskende er der en række tilgængelige komprimeringsordninger, kaldet codecs, derude for ...

Valg af editor

Hvordan man bruger Wordtracker Søgeordsværktøj - dummies

Hvordan man bruger Wordtracker Søgeordsværktøj - dummies

Wordracker er måske det mest populære kommercielle søgeordværktøj blandt seo fagfolk. Wordtracker har adgang til data fra et par store metakrawlere og en stor britisk internetudbyder. En metacrawler er et system, der søger flere søgemaskiner til dig. Skriv f.eks. Et ord i Dogpiles søgefelt, og systemet søger på Google, ...

Identificere mobile brugers søgemønstre for SEO - dummies

Identificere mobile brugers søgemønstre for SEO - dummies

I begyndelsen af ​​2014 Endelig skete: Internetbrug via mobile enheder oversteg faktisk desktop internetbrug i USA for første gang. Overveje det, alle har en smartphone i disse dage, og folk bruger i stigende grad disse handy-enheder, tabletter som iPad og det nye mellemstore sortiment af tabletter (overdimensionerede telefon-tablet-enheder) ...

Hvordan man bruger single page analyser til konkurrencedygtig seo forskning - dummies

Hvordan man bruger single page analyser til konkurrencedygtig seo forskning - dummies

Single Page Analyzer værktøj kan hjælpe dig med at forbedre dit websted til SEO. Det fortæller dig, hvad en websides søgeord er og beregner deres tæthed. Søgeordsdensitet er en procentdel, der angiver det antal gange søgeordet opstår i forhold til det samlede antal ord på siden. Når du kører en konkurrents side ...

Valg af editor

Sådan konstrueres en funktion i C Programmering - dummier

Sådan konstrueres en funktion i C Programmering - dummier

I C-programmering, alle funktioner kaldes med en navn, som skal være unikt ingen to funktioner kan have samme navn, og en funktion kan heller ikke have samme navn som et søgeord. Navnet efterfølges af parenteser, som derefter efterfølges af et sæt krøllede parenteser. Så i sin enkleste konstruktion, en ...

Sådan oprettes en ny kode:: Blokerer projekt i C-dummier

Sådan oprettes en ny kode:: Blokerer projekt i C-dummier

I C programmeringssprog, en konsol-applikation er en, der kører i tekst-tilstand i et terminalvindue. Selv om et integreret udviklingsmiljø er i stand til mere, er det den bedste måde at lære grundlæggende programmeringskoncepter på, uden at overvældende dig med et stort, komplekst grafisk dyr af et program. Sådan fungerer det: Start ...

Hvordan man viser tekst på skærmen i C med sætter () og printf () - Dummies

Hvordan man viser tekst på skærmen i C med sætter () og printf () - Dummies

De ting, som et C-program kan gøre, er ubegrænset, men når du først lærer sproget, skal du starte lille. En af de mest almindelige funktioner, du vil have dit C-program til at gøre, er at vise tekst på skærmen, og der er to måder at gøre: sætter () og printf (). sætter () Sætter sandsynligvis ...