Hjem Personlig finansiering Kigger på grundlaget for statistik, maskinlæring og matematiske metoder i datalogi - dummies

Kigger på grundlaget for statistik, maskinlæring og matematiske metoder i datalogi - dummies

Indholdsfortegnelse:

Video: Adam & Noah | KLOGSKAB Tour | Fuldt Show | 2018 2025

Video: Adam & Noah | KLOGSKAB Tour | Fuldt Show | 2018 2025
Anonim

En del af Data Science for Dummies Cheat Sheet > Hvis statistikker er blevet beskrevet som videnskaben om at udlede indsigt fra data, hvad er forskellen mellem en statistiker og en datavidenskabsmand? Godt spørgsmål! Selvom mange opgaver inden for datalogi kræver en ret smule statistisk viden, er omfanget og bredden af ​​en datavidenskabers viden og færdighedsbase adskilt fra en statistiker. Kerneforskellene er beskrevet nedenfor.

Kompetencekompetence:
  • En af kerneegenskaberne hos datavidenskabsmænd er, at de tilbyder en sofistikeret grad af ekspertise inden for det område, som de anvender deres analysemetoder. Datavidenskabsfolk har brug for dette, så de virkelig kan forstå konsekvenserne og anvendelserne af de dataindtryk, de genererer. En datavidenskabsmand skal have tilstrækkelig fagkompetence til at kunne identificere betydningen af ​​deres resultater og selvstændigt afgøre, hvordan man skal fortsætte i analysen.

    Derimod har statistikerne normalt en utrolig dyb viden om statistik, men meget lidt ekspertise inden for de emner, som de anvender statistiske metoder på. Det meste af tiden er statistikere forpligtet til at konsultere eksterne fageksperter for virkelig at få et godt greb om betydningen af ​​deres resultater og for at kunne bestemme den bedste måde at komme videre i en analyse.

    Matematiske og maskinelle indlæringsmetoder:
  • Statistikere er mest afhængige af statistiske metoder og processer, når de får indblik i data. I modsætning hertil er dataforskere forpligtet til at trække fra en lang række teknikker til at udlede dataindsigt. Disse omfatter statistiske metoder, men omfatter også metoder, der ikke er baseret på statistik - som dem, der findes i matematik, klynger, klassificering og ikke-statistiske maskinindlæringsmetoder. Se vigtigheden af ​​statistisk knowhow

Du behøver ikke at gå ud og få en grad i statistik til at udøve datalogi, men du skal i det mindste lære mig nogle af de mere grundlæggende metoder, der bruges i statistisk data analyse. Disse omfatter:

Lineær regression

  • : Linjær regression er nyttig til modellering af relationerne mellem en afhængig variabel og en eller flere uafhængige variabler. Formålet med lineær regression er at opdage (og kvantificere styrken af) vigtige korrelationer mellem afhængige og uafhængige variabler. Tidsserieanalyse:

  • Tidsserieanalyse indebærer analyse af en samling af data om attributværdier over tid for at forudsige fremtidige forekomster af foranstaltningen baseret på de tidligere observationsdata. Monte Carlo-simuleringer:

  • Monte Carlo-metoden er en simuleringsteknik, du kan bruge til at teste hypoteser, generere parameteroverslag, forudsige scenarieresultater og validere modeller. Metoden er kraftfuld, fordi den kan bruges til meget hurtigt at simulere hvor som helst fra 1 til 10.000 (eller flere) simuleringsprøver til alle processer, du forsøger at evaluere. Statistik for rumlige data:

  • En grundlæggende og vigtig egenskab for rumlige data er, at det ikke er tilfældigt. Det er rumligt afhængigt og autokorreleret. Når du modellerer rumlige data, undgå statistiske metoder, der antager, at dine data er tilfældige. Kriging og krige er to statistiske metoder, som du kan bruge til at modellere rumlige data. Disse metoder giver dig mulighed for at producere prædiktive overflader til hele studieområder baseret på sæt af kendte punkter i geografisk rum. Arbejde med gruppering, klassificering og maskinindlæringsmetoder

Maskinindlæring er anvendelsen af ​​beregningsalgoritmer til at lære af (eller udlede mønstre i) rå datasæt.

Clustering er en bestemt type maskinindlæring - ikke-overvåget maskinindlæring, for at være præcis, hvilket betyder at algoritmerne skal lære af umærkede data, og som sådan skal de bruge inferentielle metoder til at opdage korrelationer. Klassificering

på den anden side hedder overvåget maskinindlæring, hvilket betyder, at algoritmerne lærer fra mærkede data. Følgende beskrivelser introducerer nogle af de mere grundlæggende klyngnings- og klassifikationsmetoder: k-means clustering:

  • Du implementerer i almindelighed k-middelalgoritmer til at opdele datapunkter i et datasæt i klynger baseret på nærmeste middelværdier. For at bestemme den optimale opdeling af dine datapunkter i klynger, således at afstanden mellem punkter i hver klynge minimeres, kan du bruge k-means clustering. Nærmeste naboalgoritmer:

  • Formålet med en nærmeste naboanalyse er at søge efter og lokalisere enten et nærmeste punkt i rummet eller en nærmeste numerisk værdi afhængigt af den attribut, du bruger til sammenligningsgrundlag. Estimering af kernetæthed:

  • En alternativ måde at identificere klynger på i dine data er at bruge en densitetsudjævningsfunktion. Kerneldensitetsestimering (KDE) virker ved at placere en kernel en vægtningsfunktion, der er nyttig til kvantificering af tæthed - på hvert datapunkt i datasættet, og summere kernerne for at generere et kernetæthedsskøn for det samlede område. At holde matematiske metoder i blandingen

Der bliver meget sagt om værdien af ​​statistikker i praksis inden for datalogi, men anvendt matematiske metoder nævnes sjældent. For at være ærlig er matematik grundlaget for alle kvantitative analyser. Dens betydning bør ikke undervurderes. De to følgende matematiske metoder er særligt nyttige inden for datalogi.

Multikriterier beslutningstagning (MCDM):

  • MCDM er en matematisk beslutningsmodelleringsmetode, som du kan bruge, når du har flere kriterier eller alternativer, som du samtidig skal vurdere, når du træffer en beslutning. Markov-kæder

  • : En Markov-kæde er en matematisk metode, der kæder sammen en række tilfældigt genererede variabler, der repræsenterer nutidstilstanden, for at kunne modellere, hvordan ændringer i nutidstilværdier påvirker fremtidige tilstande.

Kigger på grundlaget for statistik, maskinlæring og matematiske metoder i datalogi - dummies

Valg af editor

Sammenligning af Hadoop-distributioner - dummier

Sammenligning af Hadoop-distributioner - dummier

Du vil opdage, at Hadoop-økosystemet har mange komponenter, som alle eksisterer som deres egne Apache projekter. Fordi Hadoop er vokset betydeligt og står over for nogle betydelige yderligere ændringer, er forskellige versioner af disse komponenter i open source-fællesskabet måske ikke fuldt kompatible med andre komponenter. Dette giver betydelige vanskeligheder for folk, der søger at få ...

Faktorer, der øger omfanget af statistisk analyse i Hadoop - dummies

Faktorer, der øger omfanget af statistisk analyse i Hadoop - dummies

Grunden til, at folk udprøver deres data før du kører statistisk analyse i Hadoop er, at denne form for analyse ofte kræver betydelige databehandlingsressourcer. Det handler ikke kun om datamængder: der er fem hovedfaktorer, der påvirker omfanget af statistisk analyse: Denne er let, men vi skal nævne det: mængden af ​​data på ...

Komprimering af data i Hadoop - dummies

Komprimering af data i Hadoop - dummies

Er de enorme datamængder, der er realiteter i en typisk Hadoop-implementering, en nødvendighed. Datakomprimering sparer helt sikkert en stor mængde lagerplads og er sikker på at fremskynde bevægelsen af ​​disse data i hele din klynge. Ikke overraskende er der en række tilgængelige komprimeringsordninger, kaldet codecs, derude for ...

Valg af editor

Hvordan man bruger Wordtracker Søgeordsværktøj - dummies

Hvordan man bruger Wordtracker Søgeordsværktøj - dummies

Wordracker er måske det mest populære kommercielle søgeordværktøj blandt seo fagfolk. Wordtracker har adgang til data fra et par store metakrawlere og en stor britisk internetudbyder. En metacrawler er et system, der søger flere søgemaskiner til dig. Skriv f.eks. Et ord i Dogpiles søgefelt, og systemet søger på Google, ...

Identificere mobile brugers søgemønstre for SEO - dummies

Identificere mobile brugers søgemønstre for SEO - dummies

I begyndelsen af ​​2014 Endelig skete: Internetbrug via mobile enheder oversteg faktisk desktop internetbrug i USA for første gang. Overveje det, alle har en smartphone i disse dage, og folk bruger i stigende grad disse handy-enheder, tabletter som iPad og det nye mellemstore sortiment af tabletter (overdimensionerede telefon-tablet-enheder) ...

Hvordan man bruger single page analyser til konkurrencedygtig seo forskning - dummies

Hvordan man bruger single page analyser til konkurrencedygtig seo forskning - dummies

Single Page Analyzer værktøj kan hjælpe dig med at forbedre dit websted til SEO. Det fortæller dig, hvad en websides søgeord er og beregner deres tæthed. Søgeordsdensitet er en procentdel, der angiver det antal gange søgeordet opstår i forhold til det samlede antal ord på siden. Når du kører en konkurrents side ...

Valg af editor

Sådan konstrueres en funktion i C Programmering - dummier

Sådan konstrueres en funktion i C Programmering - dummier

I C-programmering, alle funktioner kaldes med en navn, som skal være unikt ingen to funktioner kan have samme navn, og en funktion kan heller ikke have samme navn som et søgeord. Navnet efterfølges af parenteser, som derefter efterfølges af et sæt krøllede parenteser. Så i sin enkleste konstruktion, en ...

Sådan oprettes en ny kode:: Blokerer projekt i C-dummier

Sådan oprettes en ny kode:: Blokerer projekt i C-dummier

I C programmeringssprog, en konsol-applikation er en, der kører i tekst-tilstand i et terminalvindue. Selv om et integreret udviklingsmiljø er i stand til mere, er det den bedste måde at lære grundlæggende programmeringskoncepter på, uden at overvældende dig med et stort, komplekst grafisk dyr af et program. Sådan fungerer det: Start ...

Hvordan man viser tekst på skærmen i C med sætter () og printf () - Dummies

Hvordan man viser tekst på skærmen i C med sætter () og printf () - Dummies

De ting, som et C-program kan gøre, er ubegrænset, men når du først lærer sproget, skal du starte lille. En af de mest almindelige funktioner, du vil have dit C-program til at gøre, er at vise tekst på skærmen, og der er to måder at gøre: sætter () og printf (). sætter () Sætter sandsynligvis ...