Video: hadoop yarn architecture 2024
YARN står for endnu en ressourceforhandler, et værktøj, der gør det muligt at køre andre databehandlingsrammer på Hadoop. YARNs herlighed er, at den præsenterer Hadoop med en elegant løsning på en række langvarige udfordringer.
YARN er beregnet til at give en mere effektiv og fleksibel arbejdsbyrdeplanlægning samt en ressourcehåndteringsfacilitet, som begge i sidste ende giver Hadoop mulighed for at køre mere end blot MapReduce-job.
Figuren viser i almindelighed hvordan YARN passer ind i Hadoop og gør også klart, hvordan det har gjort det muligt for Hadoop at blive en virkelig generel platform til databehandling. Følgende liste giver teksterne til melodien:
-
Distribueret lagerplads: Intet er ændret her med skiftet fra MapReduce til YARN - HDFS er stadig lagringslaget til Hadoop.
-
Ressourcehåndtering: Nøgleunderliggende koncept i overgangen til YARN fra Hadoop 1 er afkobling af ressourcehåndtering fra databehandling. Dette gør det muligt for YARN at levere ressourcer til enhver behandlingsramme skrevet til Hadoop, herunder MapReduce.
-
Behandlingsramme: Fordi YARN er en generel ressourcehåndteringsfacilitet, kan den allokere klyngressourcer til enhver databehandlingsramme, der er skrevet til Hadoop. Behandlingsrammen håndterer derefter applikations runtime-problemer.
For at opretholde kompatibilitet for al den kode, der blev udviklet til Hadoop 1, fungerer MapReduce som den første ramme til rådighed for YARN. På tidspunktet for denne skrivelse var Apache Tez-projektet et inkubatorprojekt under udvikling som en alternativ ramme for udførelse af Pig and Hive-applikationer. Tez vil sandsynligvis komme frem som en standard Hadoop-konfiguration.
-
Programmeringsgrænseflade (API): Med understøttelsen af yderligere behandlingsrammer vil der komme support til yderligere API'er. På tidspunktet for denne skrivning er Hoya (for at køre HBase on Yarn), Apache Giraph (til grafbehandling), Open MPI (til meddelelse i parallelle systemer), Apache Storm (til databesturing) i aktiv udvikling.
