Hvad er Hadoop? - dummies

Hadoop er et open source databehandlingsværktøj, der blev udviklet af Apache Software Foundation. Hadoop er i øjeblikket go-to-programmet til håndtering af store mængder og datatyper, fordi det var designet til at gøre computere i stor skala mere overkommelige og fleksible. Med Hadops ankomst er massedatabearbejdning blevet introduceret til betydeligt flere mennesker og flere organisationer.

Hadoop kan tilbyde dig en fantastisk løsning til at håndtere, behandle og gruppere massestrømme af strukturerede, semistrukturerede og ustrukturerede data. Ved at oprette og implementere Hadoop får du en forholdsvis overkommelig måde at begynde at bruge og tegne indsigt fra alle dine organisations data i stedet for at fortsætte med at stole udelukkende på det transaktionsdatasæt, du sidder over i et gammelt datalager et eller andet sted.

Hadoop er et af de mest populære programmer til rådighed til storskalige computerkrav. Hadoop leverer et map-og-reducere lag, der er i stand til at håndtere databehandlingskravene i de fleste store dataprojekter.

Sommetider bliver dataene for store og hurtige, så selv Hadoop kan håndtere. I disse tilfælde vender organisationer i stedet for alternative, mere tilpassede MapReduce-implementeringer.

Hadoop bruger klynger af råvarehardware til lagring af data. Hardware i hver klynge er forbundet, og denne hardware består af vare servere - billige og lavpresterende generiske servere, der tilbyder kraftige computerkapacitet, når de kører parallelt på tværs af en delt klynge. Disse råvareservere kaldes også noder . Commoditized computing reducerer dramatisk omkostningerne i forbindelse med håndtering og lagring af store data.

En distribueret procesramme:

• Hadoop bruger Hadoop MapReduce som sin distribuerede behandlingsramme. Igen er en distribueret behandlingsramme en kraftfuld ramme, hvor behandlingsopgaver fordeles på tværs af knudepunkter, så store datamængder kan behandles meget hurtigt på tværs af systemet som helhed. Et distribueret filsystem:

• Hadoop bruger Hadoop Distributed File System (HDFS) som det distribuerede filsystem. Arbejdsbyrden af ​​applikationer, der kører på Hadoop, er opdelt i nodene i Hadoop-klyngen, og derefter gemmes udgangen på HDFS. Hadoop-klyngen kan bestå af tusindvis af noder. For at holde omkostningerne ved input / output (I / O) processer lave, blev Hadoop MapReduce-job udført så tæt på dataene som muligt.

Dette betyder, at processorer med reducere opgaver placeres så tæt som muligt på de udgående kortopgaver, der skal behandles. Dette design letter deling af beregningsmæssige krav i stor databehandling.

Hadoop støtter også hierarkisk organisation. Nogle af dets noder klassificeres som masternoder, og andre er kategoriseret som slaver. Mestertjenesten, kendt som

JobTracker , er designet til at styre flere slave-tjenester. Slave-tjenester (også kaldet TaskTrackers ) distribueres til hver knude. JobTracker kontrollerer TaskTrackers og tildeler Hadoop MapReduce opgaver til dem. I en nyere version af Hadoop, kendt som Hadoop 2, blev en ressource manager kaldet Hadoop YARN tilføjet. Med hensyn til MapReduce i Hadoop fungerer YARN som et integreret system, der udfører ressourcehåndtering og planlægningsfunktioner.

Hadoop behandler data i batch. Hvis du arbejder med real-time streaming data, kan du derfor ikke bruge Hadoop til at håndtere dine store data problemer. Dette sagt, det er meget nyttigt for at løse mange andre typer af store dataproblemer.