Indholdsfortegnelse:
Edge noder grænsefladen mellem Hadoop-klyngen og det udvendige netværk. Af denne grund kaldes de undertiden som gateway noder. Normalt bruges kantnoder til at køre klientprogrammer og værktøjer til administration af klynger.
De bruges også ofte som mellemrum for data, der overføres til Hadoop-klyngen. Som sådan kører Oozie, Pig, Sqoop og ledelsesværktøjer som Hue og Ambari godt der. Figuren viser de processer, du kan køre på Edge noder.
Edge noder overses ofte i Hadoop hardware arkitektur diskussioner. Denne situation er uheldig, fordi kantnoder tjener et vigtigt formål i en Hadoop-klynge, og de har hardwarekrav, der adskiller sig fra masterknuder og slaveknude.
Generelt er det en god idé at minimere implementering af administrationsværktøjer på master nodes og slave noder for at sikre, at kritiske Hadoop-tjenester som NameNode har så lidt konkurrence om ressourcer som muligt.
Du bør undgå at placere et dataoverførselsværktøj som Sqoop på andet end en kantnode, da de høje dataoverførselsvolumener risikerer Hadops tjenester på samme knude til at kommunikere. Meddelelserne Hadoop-udveksling af tjenester er deres livsnerven, så høj latens betyder, at hele knuden kunne afskæres fra klyngen.
Figuren viser to kantnoder, men for mange Hadoop-klynger ville en enkelt kantknude være tilstrækkelig. Yderligere kantnoder er mest nødvendige, når mængden af data, der overføres ind i eller ud af klyngen, er for meget for, at en enkelt server skal håndtere.
Anbefalet opbevaring
For kantknudepunkter i en Hadoop-klynge skal du bruge opbevaring af enterprise class. For kantknudepunkter fokuseret på administrationsværktøjer og kørende klientapplikationer, brug fire 900 GB SAS-drev sammen med en RAID HDD-controller konfigureret til RAID 1 + 0.
Kantnoder, der er orienteret til at indtage data, har naturligvis brug for meget mere lagerplads, så du kan tilføje drev til kantnoden. I dette tilfælde skal du bruge LFF SAS-drev, fordi der er meget højere kapaciteter, sammenlignet med mindre formfaktor SAS-drev.
Anbefalede processorer
En almindelig kantknude ville være godt tjent med en processorkonfiguration svarende til den, der blev brugt til slave noder - specifikt en dual-socket server med Ivy Bridge-processorer klokket mellem 2 og 2. 5GHz.
Anbefalet hukommelse
For de fleste arbejdsbyrder på kantknudepunkter er 48 GB RAM tilstrækkeligt.
Anbefalet netværk
For at muliggøre kommunikation mellem det udvendige netværk og Hadoop-klyngen skal kantnoder være multi-homed i Hadoop-klyngens private undernet såvel som i virksomhedens netværk.
En multi-homed computer er en, der har dedikerede forbindelser til flere netværk. Dette er en praktisk illustration af, hvorfor kantnoder passer perfekt til interaktion med verden uden for Hadoop-klyngen. At holde din Hadoop-klynge i sit eget private undernet er en fremragende praksis, så disse kantnoder tjener som et kontrolleret vindue inde i klyngen.
For kantknudepunkter, der tjener formålet med at køre klientapplikationer eller administrationsværktøjer, anbefales to par af bundne 1GbE-netværksforbindelser: Et par til forbindelse til Hadoop-klyngen og et andet par til det eksterne netværk. Edge noder orienteret til håndtering af høj indgående og udgående dataoverførselshastigheder skal have to (eller flere) par af bundne 10GbE netværkskonnektorer: et par til forbindelse til Hadoop-klyngen og et andet par til det udvendige netværk eller specifikke dataindtagskilder.
