Hadoop Rack Overvejelser - dummies

Et kerneprincip for Hadoop skaler ud med yderligere slave noder for at imødekomme stigende krav til dataopbevaring og -behandling. I en scale-out model skal du omhyggeligt overveje cluster design, fordi snesevis og endda hundredvis af slave noder skal i sidste ende være racked, drevet, netværk og afkølet.

Serverformfaktorer

Et af de første valg, som it-arkitekter står over for, når man designer en Hadoop-klynge, er hvilken af ​​følgende to formfaktorer, der skal bruges til Hadoop-noder:

• Bladeserver: Designet til maksimal tæthed, kan du få fat i så mange af disse babyer i et enkelt rack som muligt. Blade servere passer ind i knivskabler, som har mange standard server komponenter, som dedikeret opbevaring, netværk, strøm og afkøling. Disse komponenter deles mellem bladeserverne, hvilket betyder, at hver enkelt bladeserver kan være meget mindre.

  Blade-servere er et attraktivt valg på overfladen, fordi du kunne tage et standardstativ og anvende mellem 40 og 50 af disse bladeservere. Problemet med at bruge blader til Hadoop-implementeringer er, at de er afhængige af visse delte komponenter, som ikke er i overensstemmelse med Hadops fælles-ingenting-arkitektur, hvor hver slave noder er selvstændige og har deres egne dedikerede ressourcer.

  Endnu vigtigere er bladene lidt plads til lokalt fastgjort opbevaring, der ofte ikke har mere end to eller tre kørebaner. Dette er en ikke-starter til Hadoop, da slave noder har brug for meget mere dedikeret lagerkapacitet.

• Rack server: Komplette servere uden delte komponenter og plads til hardwareudvidelse, rackservere er det rigtige valg til Hadoop, fordi de er pænt selvstændige. En rackserver, der er korrekt konfigureret til at være en Hadoop slave node, optager typisk to RU, så du kan passe 20 af dem i et standard rack.

Ejerskabsomkostninger

Når du vælger og designer en slaveknude, er dine vigtigste overvejelser typisk de oprindelige indkøbsomkostninger og lagerpladsens størrelse. Men ejeromkostningerne er også vigtige. Det er imidlertid en fin balancehandling, fordi valg, der påvirker indkøbsomkostninger, strømforbrug, afkøling, hardwarepræstationer og tæthed ofte er i modsætning. For at hjælpe dig med at lave gode valg, er der nogle (ret specifikke) råd:

• Reserve overflødige strømforsyninger til masterknudepunkterne. At have overflødige strømforsyninger til slaveknude er overkill - en strømforsyningsfejl i en slaveknude vil ikke påvirke klyngen i stor grad.At have overflødige strømforsyninger på alle slavenoder ville imidlertid øge strømforbruget og generere mere varme.

• Vælg midterhastighedsklokkehastigheder for slave node-CPU'er. CPU'er med højere clockhastigheder koster ikke kun mere, men bruger også mere strøm og genererer langt mere varme.

• Vælg rackservere, der er designet til Hadoop. Med den stigende popularitet af Hadoop tilbyder alle større hardwareleverandører nu rackservere, der er ideelle slaveknudepunkter, med 12 til 20 kørepladser til lokalt vedhæftet opbevaring.

  Rack servere designet til at fungere som Hadoop slave noder er typisk for store til at passe ind i en formfaktor af en RU, men at optage to RU'er kan resultere i spildt plads. Til den mere effektive udnyttelse af plads har visse hardwareleverandører frigivet rackservere, der stikker flere slaveknudepunkter i et enkelt chassis.

  Som eksempel kan en standardrack i denne komprimerede form have så mange som 27 slave noder (selv med netværksomskiftere), hvor hver slaveknude har plads til 15 diskdrev til HDFS. Resultatet af dette arrangement er meget højere densitet og bedre udnyttelse af plads i datacenteret.