Video: Den værdiskabende formidler 2025
Som med ethvert distribueret system, kan netværk lave eller bryde en Hadoop-klynge: Må ikke "gå billigt. "En stor chatter finder sted mellem master noder og slave noder i en Hadoop-klynge, der er afgørende for at holde klyngen kørende, så virksomhedsklasse-switche anbefales absolut.
For hvert rack i din klynge har du brug for to top-of-rack (ToR) -knapper, for både redundans og ydeevne. Brug 10GbE til ToR-switche.
ToR-switche er netværkskontakter, der forbinder alle computere i et rack sammen. Du ser dem normalt øverst på et stativ, og derfor siger folk "top-of-rack". "En alternativ netværks tilgang er at bruge end-of-row (EoR) switche, men du kan ikke se dette meget ofte.
ToR-tilgangen er enklere fra et netværksperspektiv for voksende klynger. For eksempel er tilføjelse af slave noder og ekstra stativer langt lettere med ToR-switche end EoR.
Når du har mere end tre stativer, har du brug for mindst to kerneafbrydere (igen primært for redundans, men også for ydeevne). Disse kerneafbrydere håndterer massive mængder trafik, så 40GbE er en nødvendighed.
Hvis du bygger eller udvider en klynge for at spænde over flere racks, skal du involvere netværkseksperter, der er bekendt med Hadoop, dine fremtidige vækstplaner og din arbejdsbyrde. Dårlig netværk kan alvorligt hæmme ydeevnen, men det kan også gøre fremtidig vækst smertefuld og dyr.
