3 Hadoop Cluster Configurations - dummies

1 3

Single-rack Hadoop-implementering

En single-rack-implementering er et ideelt udgangspunkt for en Hadoop-klynge.

Her er klyngen ret selvstændig, men fordi den stadig har relativt få slave noder, er de sande fordele ved Hadopes elasticitet endnu ikke tydelige.

2 3

Three-rack Hadoop-implementering

En mellemstore klynge har flere racks, hvor de tre master noder er fordelt på tværs af stativerne.

Hadoop's elasticitet begynder at blive tydelig: Selvom en hel rack skulle svigte (for eksempel begge ToR-switche i et enkelt rack), ville klyngen stadig fungere, omend på et lavere niveau af ydeevne. En slave knudefejl ville næppe være mærkbar.

3 3

Hadoop-implementering i stor skala

I større klynger med mange stativer, som det viste eksempel, er det nødvendigt med netværksarkitektur.

Uanset hvor mange racks Hadoop-klynger udvider til, skal slave noder fra enhver rack være i stand til effektivt at snakke ?? til enhver master node.

Da antallet af slave noder stiger til det punkt, hvor du har mere end tre racks, er ekstra racks kun sammensat af slave noder, bortset fra ToR-switcherne. Hvis du bruger HBase stærkt på din klynge, kan du tilføje master nodes til at være vært for yderligere HMaster og Zookeeper-tjenester.

Hvis du graduerer til en virkelig massiv skala, hvor du har hundredvis af slave noder, skal du muligvis bruge HDFS føderationsfunktionerne, så store dele af dine datasæt styres af forskellige NameNode-tjenester.

For hver ekstra Active NameNode skal du bruge en tilsvarende Standby NameNode og to master nodes til at være vært for disse servere. Med HDFS-føderationen er himlen virkelig grænsen for, hvor langt du kan skalere dine klynger.

Tilbage Næste