Planlægning og koordinering af Oozie-arbejdsprocesser i Hadoop-dummies

Når du har oprettet et sæt arbejdsgange, kan du bruge en række Oozie koordinator jobs til at planlægge, når de er henrettet. Du har to planlægningsmuligheder for udførelse: en bestemt tid og tilgængeligheden af ​​data i forbindelse med en bestemt tid.

Tidsbaseret planlægning for Oozie-koordinator job

Oozie koordinator job kan planlægges at udføres på et bestemt tidspunkt, men efter at de er startet, kan de derefter konfigureres til at køre med bestemte intervaller. Følgende eksempel viser et koordinatorjob, der starter ved en bestemt starttid og dato:

… $ {workflowAppPath}

Tid og data tilgængelighed-baseret planlægning for Oozie-koordinator job

Oozie koordinator job kan også planlægges at udføres på et bestemt tidspunkt, hvis specificerede datafiler eller mapper er ledig. Følgende liste viser et eksempel på en koordinator, der starter ved en bestemt starttid og dato, udføres en gang om dagen, hvis datasættet, der er identificeret af triggerDatasetDir, eksisterer og kører indtil den angivne sluttid:

… $ {triggerDatasetDir} $ {startTime} $ {workflowAppPath}

Kører Oozie koordinator job

Ligesom Oozie workflow job kræver koordinator job et job. egenskabsfil og koordinator. xml-filen skal indlæses i HDFS. Hvis du vil køre et Oozie-koordinator job fra Oozie kommandolinjegrænsefladen, skal du udstede en kommando som følgende, mens du sikrer jobbet. egenskabsfilen er lokalt tilgængelig:

$ oozie jobkonfigent koordinator / job. Egenskaber -kørsel

Når du har indsendt jobbet, gemmes koordinatoren i Oozie-objektdatabasen. Ved indsendelse returnerer Oozie en identifikator, der gør det muligt for dig at overvåge og administrere din koordinator - job: 0000001-00000001234567-oozie-C.

For at kontrollere status for dette job skal du køre kommandoen

oozie job-info 0000001-00000001234567-oozie-C