Hjem Personlig finansiering Hadoop-dummiernes oprindelse og design

Hadoop-dummiernes oprindelse og design

Anonim

Så hvad er dette med det sjove navn Hadoop? I kernen er Hadoop en ramme for lagring af data på store klynger af < vare hardware - almindelig computerhardware, der er overkommelig og let tilgængelig - og kører applikationer mod disse data. En klynge er en gruppe af indbyrdes forbundne computere (kendt som noder ) der kan arbejde sammen om det samme problem.

Brug af netværk af overkommelige beregningsressourcer til at erhverve forretningsmæssige indsigter er Hadops nøgleværdiforslag.

Hvad angår det navn Hadoop, se ikke efter nogen større betydning der, det er simpelthen det navn, som Doug Cutting's søn gav til sin fyldte elefant. (Doug Cutting er selvfølgelig medstilleren af ​​Hadoop.) Navnet er unikt og nemt at huske - Egenskaber, der gjorde det til et godt valg.

Hadoop består af to hovedkomponenter: en distribueret procesramme navngivet MapReduce (som nu understøttes af en komponent kaldet YARN) og et distribueret filsystem kendt som Hadoop distribueret filsystem eller HDFS.

En applikation, der kører på Hadoop, får sit arbejde delt mellem knudepunkterne (maskinerne) i klyngen, og HDFS gemmer de data, der skal behandles. En Hadoop-klynge kan spænde tusindvis af maskiner, hvor HDFS gemmer data, og MapReduce-jobs gør deres behandling tæt på dataene, hvilket holder I / O-omkostningerne lave. MapReduce er ekstremt fleksibel og muliggør udvikling af en bred vifte af applikationer.

Som du måske har antaget, er en Hadoop-klynge en form for

compute cluster, en type klynge, der hovedsagelig anvendes til beregningsformål. I en computerklynge kan mange computere ( beregne noder ) dele arbejdsbelastninger og drage fordel af en meget stor samlet båndbredde på tværs af klyngen. Hadoop-klynger består typisk af et par

master nodes, , som styrer lagrings- og behandlingssystemerne i Hadoop og mange slave noder, , som lagrer alle klyngens data og er også hvor dataene bliver behandlet.

Hadoop-dummiernes oprindelse og design

Valg af editor

Landskabsfoto - Sanibel Sentinel - Dummies

Landskabsfoto - Sanibel Sentinel - Dummies

Florida's Sanibel Island er en skattekiste for naturfotografen. Ding Darling Refuge er fuld af fugle og andet indfødt dyreliv. Et blusteri Januar dagen, solen synkende lavt; med de høje skyer så det ud som om solnedgangen ville være spektakulært. Dette billede blev fotograferet et par minutter efter solnedgangen. Kamera indstillinger ...

Landskabsfoto - Solnedgang i Paradis - Dummies

Landskabsfoto - Solnedgang i Paradis - Dummies

Dette landskabsbillede blev taget i Caspersen Beach i Venedig, Florida. Dette billede blev fotograferet om vinteren. Vinter i Florida er et hårdt arbejde, men nogen skal gøre det. Kameraindstillinger ISO-indstilling 100: Der var masser af lys, så fotografen gik med en lav ISO-indstilling. Eksponeringskompensation -1/3 EV: Underexposing solnedgange ...

Landskabsfoto - Tag den høje trail - dummies

Landskabsfoto - Tag den høje trail - dummies

Dette billede blev fotograferet i Myakka River State Park nær Sarasota, Florida. Parken er smuk med mange miles af stier. Denne sti slingrer gennem en frodig eng med prikker med dejlige træer. Solen synkende lavt og dejlige skyer var i himlen. Et polariserende filter blev føjet til linsen, mørkere bluesen ...

Valg af editor

Hvordan man bruger Excel 2013 Quick Analysis Tool - dummies

Hvordan man bruger Excel 2013 Quick Analysis Tool - dummies

Excel 2013 gør det nemt at oprette en nyt pivottabel ved hjælp af en dataliste valgt i dit regneark med dets nye Quick Analysis-værktøj. For at forhåndsvise forskellige typer af pivottabeller, som Excel kan oprette til dig på stedet, bruger indtastningerne i en dataliste, som du har åbnet i en Excel ...

Hvordan man bruger FIND, FIXED og LEFT tekstfunktioner til at rydde data i Excel - dummies

Hvordan man bruger FIND, FIXED og LEFT tekstfunktioner til at rydde data i Excel - dummies

Et problem, du kan løbe ind, når du importerer data til Excel, er at dine tekstetiketter måske ikke ser rigtigt ud. Du kan holde dine data rene med følgende tekstfunktioner. FIND-funktionen FIND-funktionen finder starttekstpositionen for en tekststreng i en anden tekststreng. For eksempel, hvis du ...

Sådan bruges DSTDEV- og DSTDEVP-funktionerne i Excel - dummies

Sådan bruges DSTDEV- og DSTDEVP-funktionerne i Excel - dummies

Funktionerne DSTDEV og DSTDEVP i Excel beregner en standardafvigelse. DSTDEV beregner standardafvigelsen for en prøve. DSTDEVP beregner standardafvigelsen for en population. Som med andre databasestatistiske funktioner, er den unikke og virkelig nyttige funktion af DSTDEV og DSTDEVP, at du kan angive, at du kun vil have listeoptegnelser, der ...

Valg af editor

Basic Photoshop CS5-kommandoer - dummies

Basic Photoshop CS5-kommandoer - dummies

Bliver fortrolig med Photoshop CS5-programvinduet er en god måde at få din kuglelejer på. før du dyker ind i Photoshops værktøjer og kommandoer. Her er et par grundlæggende tips: Start Photoshop ved at klikke på Start-menuen eller et ikon på proceslinjen (Windows) eller klikke på Photoshop-ikonet på Dock (Mac). Du kan også ...

Photoshop-filtre, du virkelig har brug for - dummier

Photoshop-filtre, du virkelig har brug for - dummier

Photoshop har flere filtre, som du kan bruge på stort set ethvert billede, der skal forbedres eller finesse det. De fleste billeder, for eksempel, drage fordel af mindst en smule skarphed for at forbedre detaljerne i billedet. I nogle tilfælde vil du reducere den synlige detalje i et billede på nogle områder til ...

Værktøjskasse Genveje i Photoshop 6 - dummier

Værktøjskasse Genveje i Photoshop 6 - dummier

For at hjælpe dig med at manipulere billeder, Photoshop 6 tilbyder en værktøjskasse med en hel masse nyttige værktøjer. Du klikker på Photoshop-ikonet og nogle gange en anden nøgle eller to for at få adgang til værktøjerne, der gør arbejde og afspilning med Photoshop 6 så sjovt. Nedenstående tabel viser værktøjskassebillederne og deres genvejstaster. Hvis du ...