Video: Hadoop YARN 2024
Hver slaveknude i endnu en ressourceforhandler (YARN) har en node manager-dæmon, som fungerer som en slave til ressourcehåndteringen. Som med TaskTracker har hver slave node en tjeneste, der binder den til behandlingstjenesten (Node Manager) og lagertjenesten (DataNode), der gør det muligt for Hadoop at være et distribueret system.
Hver Node Manager sporer de tilgængelige databehandlingsressourcer på slave node og sender regelmæssige rapporter til Resource Manager.
Behandlingsressourcerne i en Hadoop-klynge forbruges i bitstørrelser, der kaldes containere. En container er en samling af alle de ressourcer, der er nødvendige for at køre en applikation: CPU-kerner, hukommelse, netværksbåndbredde og diskplads. En deployeret container kører som en individuel proces på en slaveknude i en Hadoop-klynge.
Konceptet af en container kan minde dig om en slot, den behandlingsenhed, der bruges af JobTracker og TaskTracker, men de har nogle bemærkelsesværdige forskelle. Mest væsentligt er beholdere generiske og kan køre uanset applikationslogik, de er givet, i modsætning til slots, som specifikt er defineret til at køre enten kort eller reducere opgaver. Desuden kan containere anmodes om med brugerdefinerede mængder ressourcer, mens slots er ensartede.
Så længe den ønskede mængde er inden for minimums- og maksimumsgrænserne for det, der er acceptabelt for en container (og så længe den ønskede mængde hukommelse er et multipel af minimumsbeløbet), vil ressourceforvalteren vil give og planlægge den container.
Alle containerprocesser, der kører på en slave node, er oprindeligt tilvejebragt, overvåget og sporet af den slave node's Node Manager daemon.
