Kigger på grundlaget for statistik, maskinlæring og matematiske metoder i datalogi - dummies

En del af Data Science for Dummies Cheat Sheet > Hvis statistikker er blevet beskrevet som videnskaben om at udlede indsigt fra data, hvad er forskellen mellem en statistiker og en datavidenskabsmand? Godt spørgsmål! Selvom mange opgaver inden for datalogi kræver en ret smule statistisk viden, er omfanget og bredden af en datavidenskabers viden og færdighedsbase adskilt fra en statistiker. Kerneforskellene er beskrevet nedenfor.

Kompetencekompetence:

En af kerneegenskaberne hos datavidenskabsmænd er, at de tilbyder en sofistikeret grad af ekspertise inden for det område, som de anvender deres analysemetoder. Datavidenskabsfolk har brug for dette, så de virkelig kan forstå konsekvenserne og anvendelserne af de dataindtryk, de genererer. En datavidenskabsmand skal have tilstrækkelig fagkompetence til at kunne identificere betydningen af deres resultater og selvstændigt afgøre, hvordan man skal fortsætte i analysen.

Derimod har statistikerne normalt en utrolig dyb viden om statistik, men meget lidt ekspertise inden for de emner, som de anvender statistiske metoder på. Det meste af tiden er statistikere forpligtet til at konsultere eksterne fageksperter for virkelig at få et godt greb om betydningen af deres resultater og for at kunne bestemme den bedste måde at komme videre i en analyse.

Matematiske og maskinelle indlæringsmetoder:
Statistikere er mest afhængige af statistiske metoder og processer, når de får indblik i data. I modsætning hertil er dataforskere forpligtet til at trække fra en lang række teknikker til at udlede dataindsigt. Disse omfatter statistiske metoder, men omfatter også metoder, der ikke er baseret på statistik - som dem, der findes i matematik, klynger, klassificering og ikke-statistiske maskinindlæringsmetoder. Se vigtigheden af statistisk knowhow

Du behøver ikke at gå ud og få en grad i statistik til at udøve datalogi, men du skal i det mindste lære mig nogle af de mere grundlæggende metoder, der bruges i statistisk data analyse. Disse omfatter:

Lineær regression

: Linjær regression er nyttig til modellering af relationerne mellem en afhængig variabel og en eller flere uafhængige variabler. Formålet med lineær regression er at opdage (og kvantificere styrken af) vigtige korrelationer mellem afhængige og uafhængige variabler. Tidsserieanalyse:
Tidsserieanalyse indebærer analyse af en samling af data om attributværdier over tid for at forudsige fremtidige forekomster af foranstaltningen baseret på de tidligere observationsdata. Monte Carlo-simuleringer:
Monte Carlo-metoden er en simuleringsteknik, du kan bruge til at teste hypoteser, generere parameteroverslag, forudsige scenarieresultater og validere modeller. Metoden er kraftfuld, fordi den kan bruges til meget hurtigt at simulere hvor som helst fra 1 til 10.000 (eller flere) simuleringsprøver til alle processer, du forsøger at evaluere. Statistik for rumlige data:
En grundlæggende og vigtig egenskab for rumlige data er, at det ikke er tilfældigt. Det er rumligt afhængigt og autokorreleret. Når du modellerer rumlige data, undgå statistiske metoder, der antager, at dine data er tilfældige. Kriging og krige er to statistiske metoder, som du kan bruge til at modellere rumlige data. Disse metoder giver dig mulighed for at producere prædiktive overflader til hele studieområder baseret på sæt af kendte punkter i geografisk rum. Arbejde med gruppering, klassificering og maskinindlæringsmetoder

Maskinindlæring er anvendelsen af beregningsalgoritmer til at lære af (eller udlede mønstre i) rå datasæt.

Clustering er en bestemt type maskinindlæring - ikke-overvåget maskinindlæring, for at være præcis, hvilket betyder at algoritmerne skal lære af umærkede data, og som sådan skal de bruge inferentielle metoder til at opdage korrelationer. Klassificering

på den anden side hedder overvåget maskinindlæring, hvilket betyder, at algoritmerne lærer fra mærkede data. Følgende beskrivelser introducerer nogle af de mere grundlæggende klyngnings- og klassifikationsmetoder: k-means clustering:

Du implementerer i almindelighed k-middelalgoritmer til at opdele datapunkter i et datasæt i klynger baseret på nærmeste middelværdier. For at bestemme den optimale opdeling af dine datapunkter i klynger, således at afstanden mellem punkter i hver klynge minimeres, kan du bruge k-means clustering. Nærmeste naboalgoritmer:
Formålet med en nærmeste naboanalyse er at søge efter og lokalisere enten et nærmeste punkt i rummet eller en nærmeste numerisk værdi afhængigt af den attribut, du bruger til sammenligningsgrundlag. Estimering af kernetæthed:
En alternativ måde at identificere klynger på i dine data er at bruge en densitetsudjævningsfunktion. Kerneldensitetsestimering (KDE) virker ved at placere en kernel en vægtningsfunktion, der er nyttig til kvantificering af tæthed - på hvert datapunkt i datasættet, og summere kernerne for at generere et kernetæthedsskøn for det samlede område. At holde matematiske metoder i blandingen

Der bliver meget sagt om værdien af statistikker i praksis inden for datalogi, men anvendt matematiske metoder nævnes sjældent. For at være ærlig er matematik grundlaget for alle kvantitative analyser. Dens betydning bør ikke undervurderes. De to følgende matematiske metoder er særligt nyttige inden for datalogi.

Multikriterier beslutningstagning (MCDM):

MCDM er en matematisk beslutningsmodelleringsmetode, som du kan bruge, når du har flere kriterier eller alternativer, som du samtidig skal vurdere, når du træffer en beslutning. Markov-kæder
: En Markov-kæde er en matematisk metode, der kæder sammen en række tilfældigt genererede variabler, der repræsenterer nutidstilstanden, for at kunne modellere, hvordan ændringer i nutidstilværdier påvirker fremtidige tilstande.