Slave Noder i Hadoop Clusters - dummies

I et Hadoop-univers er slave noder hvor Hadoop-data er gemt, og hvor databehandling finder sted. Følgende tjenester gør det muligt for slave noder at gemme og behandle data:

• NodeManager: Koordinerer ressourcerne til en enkelt slave node og rapporterer tilbage til Resource Manager.

• ApplicationMaster: Viser fremskridtene i alle de opgaver, der kører på Hadoop-klyngen til en bestemt applikation. For hver klientapplikation implementerer Resource Manager en forekomst af ApplicationMaster-tjenesten i en beholder på en slave node. (Husk at nogen node, der kører NodeManager-tjenesten, er synlig for ressourcehåndteringen.)

• Container: En samling af alle de ressourcer, der er nødvendige for at køre individuelle opgaver til en applikation. Når en applikation kører på klyngen, planlægger ressourceadministratoren opgaverne for applikationen at køre som containertjenester på klyngens slaveknudepunkter.

• TaskTracker: Administrerer det enkelte kort og reducerer opgaver, der udføres på en slave node til Hadoop 1-klynger. I Hadoop 2 er denne service forældet og er blevet erstattet af YARN-tjenester.

• DataNode: En HDFS-tjeneste, der gør det muligt for NameNode at gemme blokke på slave node.

• RegionServer: Gemmer data for HBase-systemet. I Hadoop 2 bruger HBase Hoya, som gør det muligt for RegionServer-forekomster at blive kørt i containere.

  

Her kører hver slave node altid en DataNode-instans (som gør det muligt for HDFS at gemme og hente datablokke på slaveknuden) og et NodeManager-eksempel (som gør det muligt for ressourceadministratoren at tildele applikationsopgaver til slaveknuden til behandling). Beholderprocesserne er individuelle opgaver til applikationer, der kører på klyngen.

Hver løbende applikation har en dedikeret ApplicationMaster-opgave, som også kører i en container, og sporer udførelsen af ​​alle de opgaver, der udføres på klyngen, indtil applikationen er færdig.

Med HBase på Hadoop 2 følger beholdermodellen stadig, som du kan se:

HBase på Hadoop 2 er initieret af Hoya Application Master, der anmoder om containere til HMaster-tjenesterne. (Du har brug for flere HMaster-tjenester til redundans.) Hoya Application Master kræver også ressourcer til RegionServers, som også løber i specialcontainere.

Følgende figur viser de tjenester, der blev implementeret på Hadoop 1 slave noder.

For Hadoop 1 kører hver slave node altid en DataNode-instans (som gør det muligt for HDFS at gemme og hente datablokke på slaveknuden) og en TaskTracker-instans (som gør det muligt for JobTracker at tildele kort og reducere opgaver til slaveknuden til forarbejdning).

Slave noder har et fast antal kortspor og reducerer slots til udførelse af kort og reducerer opgaver hhv. Hvis din klynge kører HBase, skal et antal af dine slave noder køre en RegionServer-tjeneste. Jo flere data du opbevarer i HBase, jo flere RegionServer-forekomster skal du bruge.

Hardwarekriterierne for slave noder er ret forskellige fra dem for master nodes; Faktisk svarer kriterierne ikke til dem, der findes i traditionelle hardwarereferencearkitekturer til dataservere. Meget af buzz omkring Hadoop skyldes brugen af ​​råvarehardware i designkriterierne for Hadoop-klynger, men husk at vare hardware ikke refererer til hardware af forbrugerkvalitet.

Hadoop slave noder kræver stadig virksomhedskvalitet hardware, men i den nedre ende af omkostningsspektret, især til opbevaring.