Hadoop Administration Commands - dummies

En del af Hadoop For Dummies Cheat Sheet

Enhver Hadoop-administrator, der er værd at have sit salt, skal mestre et omfattende sæt kommandoer til klusteradministration. Den følgende liste opsummerer de vigtigste kommandoer, der angiver, hvad kommandoen gør, såvel som syntaks og eksempler. Kend dem, og du vil gå langt hen ad vejen til Hadoop-visdom.

• balancer : Kører klyngebalanceringsværktøjet. Den angivne tærskelværdi, som repræsenterer en procentdel af diskkapacitet, bruges til at overskrive standardtærskelværdien (10 procent). For at stoppe genbalanceringsprocessen, tryk Ctrl + C.

  Syntax: hadoopbalancer [-tærskelværdi]

  Eksempel: hadoopbalancer -træk 20

• daemonlog : Går eller indstiller logniveauet for hver dæmon (også kendt som en tjeneste). Forbinder til // vært: port / logLevel? log = navngiv og udskriver eller angiver logniveauet for den demon, der kører på vært: port. Hadoop daemoner genererer logfiler, der hjælper dig med at bestemme, hvad der sker på systemet, og du kan bruge kommandoen daemonlog til midlertidigt at ændre logniveauet for en Hadoop-komponent, når du fejler systemet. Ændringen træder i kraft, når dæmonen genstarter.

  Syntaks: hadoop daemonlog -getlevel; hadoop daemonlog-setlevel

  Eksempel: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlog-setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG

• datanode : Kører HDFS DataNode-tjenesten, som koordinerer opbevaring på hver slave node. Hvis du angiver -rollback, rulles DataNode tilbage til den forrige version. Stop DataNode og fordel den tidligere Hadoop-version, før du bruger denne indstilling.

  Syntax: hadoop datanode [-rollback]

  Eksempel: hadoop datanode-rollback

• dfsadmin : Kører et antal Hadoop Distributed File System (HDFS) administrative operationer. Brug funktionen -hjælp til at se en liste over alle understøttede valgmuligheder. De generiske valgmuligheder er et fælles sæt indstillinger understøttet af flere kommandoer.

  Syntaks: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | forlade | få | vent] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | detaljer | force] [-metasave filnavn] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Kører en række MapReduce administrative operationer. Brug funktionen -hjælp til at se en liste over alle understøttede valgmuligheder.Igen er de generiske muligheder et fælles sæt af indstillinger, der understøttes af flere kommandoer. Hvis du angiver -refreshServiceAcl, genindlæses godkendelsespolitikfilen på serviceniveau (JobTracker genindlæser autorisationspolitikfilen); -refreshQueues genindlæser køadgangskontrollisterne (ACL'er) og tilstanden (JobTracker genindlæser mapred-køerne xml-filen); -refreshNodes opdaterer værtsoplysningerne på JobTracker; -refreshUserToGroupsMappings opdaterer bruger-til-grupper mappings; -refreshSuperUserGroupsConfiguration opdaterer superuser proxy grupper mappings; og -help [cmd] viser hjælp til den givne kommando eller for alle kommandoer, hvis ingen er angivet.

  Syntax: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Eksempel: hadoop mradmin -help -refreshNodes

• jobtracker : Kører MapReduce JobTracker-noden, som koordinerer databehandlingssystemet til Hadoop. Hvis du angiver -dumpConfiguration, er konfigurationen, der bruges af JobTracker og køkonfigurationen i JSON-format, skrevet til standard output.

  Syntax: hadoop jobtracker [-dumpConfiguration]

  Eksempel: hadoop jobtracker -dumpConfiguration

• navneode : Kører NameNode, som koordinerer opbevaring til hele Hadoop-klyngen. Hvis du angiver -format, startes NameNode, formateres og stoppes derefter; med -upgrade starter NameNode med opgraderingsindstillingen, efter at en ny Hadoop-version er distribueret; med -rollback rulles NameNode tilbage til den forrige version (husk at stoppe klyngen og distribuere den tidligere Hadoop-version, inden du bruger denne indstilling); med -finalize, den tidligere tilstand af filsystemet fjernes, den seneste opgradering bliver permanent, tilbagekald er ikke længere tilgængelig, og NameNode er stoppet; Endelig, med -importCheckpoint, er et billede hentet fra checkpoint-mappen (som angivet af fs. checkpoint. dir-ejendommen) og gemt i den aktuelle mappe.

  Syntaks: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

  Eksempel: hadoop namenode -finaliser

• Sekundær navnekode : Kører sekundær NameNode. Hvis du angiver -checkpoint, udføres et kontrolpunkt på den sekundære NameNode, hvis størrelsen af ​​EditLog (en transaktionslogbog, der registrerer hver ændring, der opstår i filsystemets metadata), er større end eller lig med fs. kontrolpunkt. størrelse; Angiv -force og et checkpoint udføres uanset EditLog størrelse; specificer -getedize og EditLog størrelse er udskrevet.

  Syntaks: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Eksempel: hadoop secondarynamenode -geteditsize

• tasktracker : Kører en MapReduce TaskTracker-node.

  Syntaks: hadoop tasktracker

  Eksempel: hadoop tasktracker