Hvordan man får Apache Oozie Set Up i Hadoop - dummies

Apache Oozie er inkluderet i alle større Hadoop-distributioner, herunder Apache Bigtop. I din Hadoop-klynge skal du installere Oozie-serveren på en kantknude, hvor du også vil køre andre klientprogrammer mod gruppens data, som vist.

Edge noder er designet til at være en gateway til det udvendige netværk til Hadoop-klyngen. Dette gør dem ideelle til dataoverførselsteknologier (f.eks. Flume), men også klientapplikationer og anden applikationsinfrastruktur som Oozie. Oozie har ikke brug for en dedikeret server og kan nemt sameksistere med andre tjenester, der er ideel til kantknudepunkter, som Pig and Hive.

Når Oozie er implementeret, er du klar til at starte Oozie-serveren. Oozies infrastruktur er installeret i $ OOZIE_HOME-biblioteket. Derfra køre oozie-start. sh kommando for at starte serveren. (Som du måske forventer, betyder det at stoppe serveren med at skrive oozie-stop. Sh.) Du kan teste status for din Oozie-instans ved at køre kommandoen

oozie admin-status

Når du har installeret Oozie-serveren og startet, kan du katalogisere og køre dine forskellige workflow, koordinator eller bundle job. Når du arbejder med dine job, lagrer Oozie katalogdefinitionerne - de data, der beskriver alle Oozie objekter (workflow, koordinator og bundle job) - såvel som deres stater i en dedikeret database.

Som standard er Oozie konfigureret til at bruge den indbyggede Derby-database, men du kan bruge MySQL, Oracle eller PostgreSQL, hvis du har brug for det.

Du har fire muligheder for at interagere med Oozie-serveren:

• Java API: Denne indstilling er nyttig i situationer, hvor du har din egen planlægningskode i Java-programmer, og du skal kontrollere udførelsen af ​​din Oozie-arbejdsgange, koordinatorer eller bundter fra din ansøgning.

• REST API: Igen fungerer denne mulighed godt i de tilfælde, hvor du vil bruge din egen planlægningskode som grundlag for dine Oozie-arbejdsgange, koordinatorer eller bundter, eller hvis du vil gerne bygge din egen grænseflade eller udvide en eksisterende til administration af Oozie-serveren.

• Command Line Interface (CLI): Det er den traditionelle Linux-kommandolinjegrænseflade til Oozie.

• Oozie Webkonsol: Okay, måske kan du ikke meget interagere her, men Oozie Web Console giver dig en (skrivebeskyttet) visning af tilstanden på Oozie-serveren, som er nyttigt til overvågning af dine Oozie jobs.

  

Hue, en Hadoop administration grænseflade, giver et andet værktøj til at arbejde med Oozie.Oozie-arbejdsgange, koordinatorer og bundter er alle defineret ved hjælp af XML, hvilket kan være kedeligt at redigere, især for komplekse situationer. Hue giver et GUI designer værktøj til grafisk at bygge arbejdsgange og andre Oozie objekter.

Oozie indbefatter en indlejret Tomcat webserver, der dækker indgang og udgang under afdækningerne.