Video: How hdfs federation works 2025
Løsningen for at udvide Hadoop-klynger på ubestemt tid er at føder NameNode. Før Hadoop 2 kom ind i scenen, måtte Hadoop-klynger leve med, at NameNode satte grænser for, i hvilken grad de kunne skala. Få klynger kunne skala ud over 3, 000 eller 4, 000 noder.
NameNodes behov for at opretholde optegnelser for hver blok af data, der er gemt i klyngen, viste sig at være den vigtigste faktor, der begrænser større klyngevækst. Når du har for mange blokke, bliver det stadig vanskeligere for NameNode at skalere op som Hadoop-klyngen skalerer ud.
Specifikt skal du indstille HDFS, så du har flere NameNode-forekomster, der kører på deres egne dedikerede masterknudepunkter og derefter gør hver NameNode ansvarlig kun for filblokkene i sit eget navneområde.
Figuren viser replikationsmønstre af datablokke i HDFS. Du kan se en Hadoop-klynge med to NameNodes, der tjener en enkelt klynge. Slavenoderne indeholder alle blokke fra begge navnepladser.
