Slave Noder i Hadoop Distributed File System (HDFS) - dummier

I en Hadoop-klynge kører hver datadode (også kendt som en slave node ) en baggrundsproces ved navn DataNode. Denne baggrundsproces (også kendt som en daemon ) holder styr på de skiver af data, som systemet gemmer på sin computer. Det taler regelmæssigt til master-serveren for HDFS (kendt som navnetNode) for at rapportere om sundhed og status for de lokalt lagrede data.

Datablokke gemmes som råfiler i det lokale filsystem. Ud fra en Hadoop-brugers anskuelse har du ingen idé om, hvilken af ​​slaveknyderne der er de stykker af den fil, du skal behandle. Fra inde i Hadoop kan du ikke se datablokke eller hvordan de distribueres over hele klyngen. Alt du ser er en liste over filer i HDFS.

Kompleksiteten af, hvordan filblokkene fordeles over klassen, er skjult for dig - du ved ikke, hvor kompliceret det hele er, og du behøver ikke brug for til ved godt. Faktisk ved slavenoderne ikke engang, hvad der er inde i datablokkerne, de lagrer. Det er navnetNode serveren, der kender mappings af hvilke datablokke komponere de filer, der er gemt i HDFS.

Bedre levende gennem redundans

Et kerneudformningsprincip for HDFS er begrebet at minimere omkostningerne til de enkelte slaveknudepunkter ved hjælp af råvarekomponenter. For massivt skalerbare systemer er denne ide en fornuftig, fordi omkostningerne eskalerer hurtigt, når du har brug for hundredvis eller tusindvis af slaveknudepunkter. Brug af billigere hardware har derfor en konsekvens, at de enkelte komponenter ikke er så pålidelige som dyrere hardware.

Når du vælger lagerindstillinger, skal du overveje virkningen af ​​at bruge varedrev i stedet for dyrere drev fra virksomhedskvaliteten. Forestil dig at du har en 750-node-klynge, hvor hver knude har 12 harddiske, der er dedikeret til HDFS-lagring.

Baseret på en årlig fejlfrekvens (AFR) på 4 procent for rådiskdrev (en given harddisk har en 4 procent sandsynlighed for at fejle i et givet år, med andre ord), vil din klynge sandsynligvis opleve en harddisk fiasko hver dag i året.

Fordi der kan være så mange slave noder, er deres svigt også en almindelig forekomst i større klynger med hundreder eller flere noder. Med denne information i betragtning er HDFS blevet konstrueret på den antagelse, at alle hardwarekomponenter, selv på slave node niveauet, er upålidelige.

HDFS overvinder usikkerheden af ​​de enkelte hardwarekomponenter som redundans: Det er tanken bag de tre kopier af hver fil, der er gemt i HDFS, fordelt over hele systemet.Mere specifikt har hver filblok gemt i HDFS i alt tre replikaer. Hvis et system går i stykker med en bestemt filblok, som du har brug for, kan du vende tilbage til de to andre.

Udformning af slave node server design

For at afbalancere sådanne vigtige faktorer som samlede ejeromkostninger, lagerkapacitet og ydeevne, skal du omhyggeligt planlægge designet af dine slave noder.

Du ser sædvanligvis slave noder nu, hvor hver knude typisk har mellem 12 og 16 lokalt tilsluttede 3TB harddiske. Slave noder bruger moderat hurtige dual-socket CPU'er med seks til otte kerner hver - ingen hastigheds demoner, med andre ord. Dette ledsages af 48 GB RAM. Kort sagt, denne server er optimeret til tæt opbevaring.

Fordi HDFS er et filsystem på bruger-rumniveau, er det vigtigt at optimere det lokale filsystem på slave noderne for at arbejde med HDFS. I denne henseende vælger en stor effektbeslutning ved opsætning af dine servere et filsystem til Linux-installationen på slaveknyderne.

Ext3 er det mest anvendte filsystem, fordi det har været den mest stabile løsning i en årrække. Tag et kig på Ext4, dog. Det er den næste version af Ext3, og den har været tilgængelig nok til at blive bredt betragtet som stabil og pålidelig.

Endnu vigtigere for vores formål har den en række optimeringer til håndtering af store filer, hvilket gør det til et ideelt valg for HDFS slave node servere.

Brug ikke Linux Logical Volume Manager (LVM) - det repræsenterer et ekstra lag mellem Linux-filsystemet og HDFS, hvilket forhindrer Hadoop i at optimere dets ydeevne. Specifikt aggregerer LVM diske, hvilket hæmmer ressourcehåndtering, som HDFS og YARN gør, baseret på, hvordan filer distribueres på de fysiske drev.