Video: Master YARN in 45 minutes 2024
Kernekomponenten i YARN (endnu en ressourceforhandler) er Resource Manager, der styrer alle databehandlingsressourcerne i Hadoop-klyngen. Enkelt sagt er Resource Manager en dedikeret scheduler, der tildeler ressourcer til at anmode om applikationer. Dets eneste opgaver er at opretholde en global oversigt over alle ressourcer i klyngen, håndtering af ressourceanmodninger, planlægning af anmodningen og tildeling af ressourcer til den anmodende ansøgning.
Resource Manager, en kritisk komponent i en Hadoop-klynge, skal køre på en dedikeret masterknude.
Selv om Resource Manager er grundlæggende en ren planlægger, afhænger den af planlægningsmoduler til den faktiske planlægningslogik. Du kan vælge mellem de samme schedulere, der var tilgængelige i Hadoop 1, som alle er opdateret til at arbejde med Garn: FIFO (først ind, først ud), Kapacitet eller Fair Share.
Ressourceforvalteren er helt agnostisk med hensyn til både applikationer og rammer - det har ingen hunde i de pågældende jagter med andre ord. Det har intet begreb om kort eller reducere opgaver, det sporer ikke fremskridtene i job eller deres individuelle opgaver, og det håndterer ikke fejloverskridelser.
Kort sagt er Resource Manager en komplet afgang fra JobTracker-dæmonen til Hadoop 1-miljøer. Hvad Resource Manager gør, er planlægning af arbejdsbyrder, og det gør det godt.
Denne høje grad af adskillelsesopgaver - der fokuserer på ét aspekt, mens du ignorerer alt andet - er præcis det, der gør YARN meget mere skalerbar, i stand til at levere en generisk platform til applikationer og kan understøtte en > multi-lejer Hadoop-klynge - multi-lejer, fordi forskellige forretningsenheder kan dele den samme Hadoop-klynge.
