Hjem Personlig finansiering Map Data og oprindelsen af ​​MapReduce - dummies

Map Data og oprindelsen af ​​MapReduce - dummies

Video: Introduction to Amazon Web Services by Leo Zhadanovsky 2025

Video: Introduction to Amazon Web Services by Leo Zhadanovsky 2025
Anonim

MapReduce bliver i stigende grad nyttigt til store data. I begyndelsen af ​​2000'erne kiggede nogle ingeniører hos Google ind i fremtiden og fastslog, at mens deres nuværende løsninger til applikationer som webkrydsning, forespørgselsfrekvens og så videre var passende for de fleste eksisterende krav, var de utilstrækkelige for den kompleksitet, de forventede som Web skaleret til flere og flere brugere.

Disse ingeniører fastslog, at hvis arbejde kunne distribueres på tværs af billige computere og derefter tilsluttes på netværket i form af en "klynge", kunne de løse problemet. Distribution alene var ikke et tilstrækkeligt svar. Denne fordeling af arbejdet skal udføres parallelt af følgende tre grunde:

  • Behandlingen skal kunne udvides og indgå automatisk.

  • Behandlingen skal kunne fortsætte uanset fejl i netværket eller de enkelte systemer.

  • Udviklere, der udnytter denne tilgang, skal kunne skabe tjenester, der er lette at udnytte af andre udviklere. Derfor skal denne tilgang være uafhængig af, hvor data og beregninger har udført.

MapReduce blev designet som en generisk programmeringsmodel. Nogle af de oprindelige implementeringer leverede alle de væsentlige krav til parallel execution, fejltolerance, belastningsbalancering og data manipulation. Ingeniørerne med ansvar for projektet kaldte initiativet MapReduce, fordi det kombinerer to funktioner fra eksisterende funktionelle computersprog: kort og reducer .

Google-ingeniører designet MapReduce til at løse et bestemt praktisk problem. Derfor blev den designet som en programmeringsmodel kombineret med implementeringen af ​​denne model - i det væsentlige en referenceimplementering.

Referenceimplementeringen blev brugt til at demonstrere konceptets anvendelighed og effektivitet og for at sikre, at denne model ville blive bredt vedtaget af computerindustrien. Gennem årene er andre implementeringer af MapReduce blevet oprettet og er tilgængelige som både open source og kommercielle produkter.

Map Data og oprindelsen af ​​MapReduce - dummies

Valg af editor

Sådan tager du et portræt ved brug af kort belysning - dummier

Sådan tager du et portræt ved brug af kort belysning - dummier

Når du bruger kort belysning, skal du dreje dit motivs hoved, så hans eller hendes ansigt ikke stirrer direkte ind i kameraet. Den vigtigste lyskilde i kort belysning kommer fra den side af ansigtet rettet væk fra kameraet. Nogle gange betegnes smal belysning, er kort belysning en værdifuld belysning ...

Sådan får du bedre feriebilleder - dummies

Sådan får du bedre feriebilleder - dummies

Et par enkle tricks og retningslinjer kan forbedre dine feriebilleder eller lave dine rejsebilleder er mere unikke. Når du rejser med dit digitalkamera, vil du jo tage billeder, der fortæller historien om din rejse, enten at dele dine oplevelser med andre eller at bringe dine egne minder tilbage fra ...

Hvordan man tager digitale billeder i tidlig morgen eller sent på eftermiddagen - dummies

Hvordan man tager digitale billeder i tidlig morgen eller sent på eftermiddagen - dummies

Tiden af dagen påvirker, hvordan du kan tage billeder med dit digitalkamera. Den tidlige morgen og den sene eftermiddags sol kræver en vis tilgang til billedoptagelse. Morgen og eftermiddagssol er nær horisonten og skaber fotografiske skygger, du kan drage fordel af.

Valg af editor

Elektronik: 555 Timer som en Astable Multivibrator - Dummies

Elektronik: 555 Timer som en Astable Multivibrator - Dummies

555 Kan opføre sig som en astabil multivibrator eller oscillator. Ved at forbinde komponenter til chippen i din elektronik, kan du konfigurere 555 til at producere en kontinuerlig serie af spændingsimpulser, som automatisk veksler mellem lavt (0 volt) og højt (den positive forsyningsspænding, VCC). Du kan beregne de lave og høje tidsintervaller ...

Elektronisk projektplan Trin 3: Prototype dine kredsløbsdummier

Elektronisk projektplan Trin 3: Prototype dine kredsløbsdummier

Inden du forpligter dit elektroniske kredsløb til en permanent printkort, vil du gerne sørge for at det virker. Den nemmeste måde at gøre det på er at opbygge kredsløbet på et loddefrit brødbræt. Det loddefrie brødbræt giver dig mulighed for hurtigt at samle komponenterne i dit kredsløb uden at lodde noget. I stedet skubber du bare baren ...

Elektronisk projektplan Trin 2: Design kretsdummierne

Elektronisk projektplan Trin 2: Design kretsdummierne

, Når du har en ide om en elektronisk projekt, det næste skridt er at designe et kredsløb, som opfylder projektets behov. I første omgang finder du det meget svært at designe dine egne kredsløb, så du kan vende dig til bøger eller til internettet for at finde andres kredsløbsdesign. Med en smule Google ...

Valg af editor

Læge assistent eksamen praksis sundhed vedligeholdelse og medicinsk etik spørgsmål - dummies

Læge assistent eksamen praksis sundhed vedligeholdelse og medicinsk etik spørgsmål - dummies

Disse praksis spørgsmål er ens til de egentlige spørgsmål, du måtte se på den lægeassistenteksamen (PANCE) eksamen, der har at gøre med forebyggende medicin, epidemiologi, vold i hjemmet og etik. Eksempel PANCE Spørgsmål Du ser en 19-årig kvinde, der har været seksuelt aktiv i de sidste to år. Du bruger meget af kontoret ...

Lægeassistenteksamen Øvelsesspørgsmål om fordøjelsessystemet - dummies

Lægeassistenteksamen Øvelsesspørgsmål om fordøjelsessystemet - dummies

En masse patologi vedrører fordøjelseskanalen system og du kan satse der vil være spørgsmål om dem på Lægeassistenteksamen (kendt som PANCE). Her er nogle livlige spørgsmål om GI-systemet. Eksempel PANCE Spørgsmål Hvilket af følgende udsagn angående tyktarmscancer screening er korrekt? ? (A) Efter alderen af ​​...

Lægeassistenteksamen: skulderfrakturer - dummies

Lægeassistenteksamen: skulderfrakturer - dummies

Stort set alle ved, hvordan det er at gøre ondt i skulderen eller overdelen arm, så det er vigtigt at kende til lægeassistenteksamen (PANCE). At gøre meget af noget kan være svært, især hvis smerten eller skaden påvirker den dominerende arm. Du bør vide om forskellige forskydninger af skulder og overarm, nemlig ...