Lag 0 af Big Data Stack: Redundant Fysisk Infrastruktur - Dummies

På det laveste niveau af den store datastabel er den fysiske infrastruktur. Din virksomhed har måske allerede et datacenter eller investeret i fysisk infrastruktur, så du vil gerne finde en måde at bruge de eksisterende aktiver på.

Store dataimplementeringer har meget specifikke krav til alle elementer i referencearkitekturen, så du skal undersøge disse krav på en enkelt måde for at sikre, at din implementering udføres og skaleres i overensstemmelse med virksomhedens krav.

En prioriteret liste over store dataprincipper skal indeholde udsagn om følgende:

• Ydeevne: Hvor lydhør har du brug for, at systemet skal være? Performance, også kaldet latency, måles ofte fra ende til ende, baseret på en enkelt transaktions- eller forespørgselsforespørgsel.

• Tilgængelighed: Har du brug for 100% uptime garanti for service? Hvor længe kan din virksomhed vente i tilfælde af en serviceafbrydelse eller -fejl?

• Skalerbarhed: Hvor stor skal din infrastruktur være? Hvor meget diskplads er der brug for i dag og i fremtiden? Hvor meget computerkraft har du brug for? Du skal typisk bestemme, hvad du har brug for, og derefter tilføje lidt mere skala til uventede udfordringer.

• Fleksibilitet: Hvor hurtigt kan du tilføje flere ressourcer til infrastrukturen? Hvor hurtigt kan din infrastruktur gendannes fra fejl?

• Omkostninger: Hvad har du råd til? Fordi infrastrukturen er et sæt af komponenter, kan du muligvis købe det "bedste" netværk og beslutte at spare penge på lagerpladsen. Du skal etablere krav til hvert af disse områder i forbindelse med et samlet budget og derefter foretage afvejninger, hvor det er nødvendigt.

Da store data handler om højhastighedstryk, højvolumen og højdata, vil den fysiske infrastruktur bogstaveligt talt "gøre eller ødelægge" implementeringen. De fleste store data implementeringer skal være meget tilgængelige, så netværk, servere og fysisk lagring skal være både elastiske og overflødige. Elasticitet og redundans er indbyrdes forbundne.

En infrastruktur eller et system er modstandsdygtigt over for fejl eller ændringer, når der er tilstrækkelige overflødige ressourcer på plads, klar til at hoppe i handling. Redundans sikrer, at en sådan fejlfunktion ikke forårsager en fejl. Resiliency hjælper med at eliminere enkelte punkter i fiasko i din infrastruktur.

I store datacentre med forretnings kontinuitetskrav er det meste af redundansen på plads og kan udnyttes til at skabe et stort datamiljø.I nye implementeringer har designerne ansvaret for at kortlægge implementeringen til virksomhedens behov baseret på omkostninger og ydeevne.

Dette betyder, at den tekniske og operationelle kompleksitet er maskeret bag en samling tjenester, hver med specifikke vilkår for ydeevne, tilgængelighed, opsving og så videre. Disse vilkår er beskrevet i serviceniveauaftaler (SLA'er) og forhandles normalt mellem tjenesteudbyderen og kunden med sanktioner for manglende overholdelse.

Dette skaber faktisk et virtuelt datacenter. Selv med denne tilgang skal du stadig vide, hvad der er nødvendigt for at opbygge og køre en stor dataudvikling, så du kan foretage de mest passende valg fra de tilgængelige serviceydelser. På trods af at du har en SLA, har din organisation stadig det ultimative ansvar for ydeevne.

Fysiske redundante store datanetværk

Netværk skal være overflødigt og skal have tilstrækkelig kapacitet til at rumme det forventede volumen og hastighed for indgående og udgående data ud over den "normale" netværkstrafik, som virksomheden oplever. Når du begynder at gøre store data til en integreret del af din computerstrategi, er det rimeligt at forvente, at volumen og hastighed øges.

Infrastruktur designere bør planlægge for disse forventede stigninger og forsøge at skabe fysiske implementeringer, der er "elastiske. "Som netværkstrafik ebbs og strømmer, så også sæt af fysiske aktiver i forbindelse med gennemførelsen. Din infrastruktur skal tilbyde overvågningsmuligheder, så operatørerne kan reagere, når flere ressourcer er nødvendige for at håndtere ændringer i arbejdsbyrder.

Administrer stor datahjælp: Opbevaring og servere

På samme måde skal hardware (opbevaring og server) aktiver have tilstrækkelig hastighed og kapacitet til at håndtere alle forventede store datakapaciteter. Det har kun lidt brug at have et højhastighedsnetværk med langsom servere, fordi serverne højst sandsynligt bliver flaskehals. Et meget hurtigt sæt lagrings- og beregne servere kan imidlertid overvinde variabel netværksydelse. Selvfølgelig vil ingenting fungere ordentligt, hvis netværksydelsen er dårlig eller upålidelig.

Stor datainfrastruktur operationer

Et andet vigtigt design overvejelse er styring af infrastrukturoperationer. De største niveauer af ydeevne og fleksibilitet vil kun være til stede i et velforvaltet miljø. Datacentreforvaltere skal kunne forudse og forebygge katastrofale fejl, således at dataets integritet og i forlængelse af forretningsprocesserne opretholdes. IT-organisationer overser ofte og derfor underinvesterer på dette område.