Sammenligning af Hadoop-distributioner - dummier

Du finder, at Hadoop økosystemet har mange komponenter, som alle eksisterer som deres egne Apache-projekter. Fordi Hadoop er vokset betydeligt og står over for nogle betydelige yderligere ændringer, er forskellige versioner af disse komponenter i open source-fællesskabet måske ikke fuldt kompatible med andre komponenter. Dette giver betydelige vanskeligheder for folk, der ønsker at få en uafhængig start med Hadoop ved at downloade og kompilere projekter direkte fra Apache.

Red Hat er for mange mennesker en model for, hvordan man med held kan tjene penge på open source software-markedet. Hvad Red Hat har gjort er at tage Linux (et open source-operativsystem), bundle alle de nødvendige komponenter, bygge et simpelt installationsprogram og yde betalt support til alle kunder.

På samme måde som Red Hat har leveret en praktisk emballage til Linux, har en række virksomheder bragt Hadoop og nogle relaterede teknologier sammen i deres egne Hadoop-distributioner. Denne liste beskriver de mere fremtrædende:

• Cloudera : Kanskje den mest kendte spiller i feltet, Cloudera kan hævde Doug Cutting, Hadops medstifter, som sin øverste arkitekt. Cloudera ses af mange mennesker som markedsleder i Hadoop-rummet, fordi det udgav den første kommercielle Hadoop-distribution og er en yderst aktiv bidragyder af kode til Hadoop-økosystemet.

  Cloudera Enterprise, et produkt placeret af Cloudera i centrum af det, det kalder "Enterprise Data Hub", omfatter Cloudera Distribution for Hadoop (CDH), en open source-baseret distribution af Hadoop og dets relaterede projekter som dens proprietære Cloudera Manager. Også inkluderet er et teknisk support abonnement for CDH's kerne komponenter.

  Clouderaers primære forretningsmodel har længe været baseret på dets evne til at udnytte sin populære CDH-distribution og levere betalte tjenester og support. I efteråret 2013 meddelte Cloudera formelt, at det fokuserer på at tilføje proprietære værditilsatte komponenter oven på open source Hadoop til at fungere som differentiator.

  Cloudera har også gjort det til en almindelig praksis at accelerere vedtagelsen af ​​alfa- og beta-niveau open source-kode til de nyere Hadoop-udgivelser. Dens tilgang er at tage komponenter, som den anser for at være modne og eftermontere dem i de eksisterende produktions-ready open source-biblioteker, der er inkluderet i dens distribution.

• EMC : Pivotal HD, Apache Hadoop-distributionen fra EMC integrerer native EMC's massivt parallelle databehandlingsteknologi (tidligere kendt som Greenplum, og nu kendt som HAWQ) med Apache Hadoop.Resultatet er en højtydende Hadoop-distribution med ægte SQL-behandling for Hadoop. SQL-baserede forespørgsler og andre business intelligence værktøjer kan bruges til at analysere data, der er gemt i HDFS.

• Hortonworks : En anden stor aktør på Hadoop-markedet, Hortonworks har det største antal kommittere og kode bidragsydere til Hadoop økosystemkomponenter. (Kommitterne er portvagter af Apache-projekter og har beføjelse til at godkende kodeændringer.)

  Hortonworks er et spin-off fra Yahoo!, som var den oprindelige virksomhedsleder af Hadoop-projektet, fordi det havde brug for en stor platform for at støtte sin søgemaskinevirksomhed. Af alle Hadoop-distributørleverandørerne er Hortonworks mest engagerede i open source-bevægelsen, baseret på det store omfang af udviklingsarbejdet, som det bidrager til samfundet, og fordi al dens udviklingsindsats (til sidst) foldes ind i open source-kodebase.

  Hortonworks forretningsmodel er baseret på dets evne til at udnytte sin populære HDP distribution og levere betalte tjenester og support. Dog sælger den ikke proprietær software. I stedet støtter virksomheden entusiastisk tanken om at arbejde inden for open source-samfundet for at udvikle løsninger, der opfylder virksomhedens krav til egenskaber (for eksempel hurtigere forespørgselsbehandling med Hive).

  Hortonworks har smedet en række relationer med etablerede virksomheder inden for datahåndteringsindustrien: for eksempel Teradata, Microsoft, Informatica og SAS. Selv om disse virksomheder ikke har egne Hadoop-tilbud, samarbejder de med Hortonworks for at levere integrerede Hadoop-løsninger med deres egne produktsæt.

  Hortonworks Hadoop-udbuddet er Hortonworks Data Platform (HDP), som omfatter Hadoop samt relaterede værktøjer og projekter. I modsætning til Cloudera udgiver Hortonworks kun HDP-versioner med produktionskode fra open source-fællesskabet.

• IBM : Big Blue tilbyder en række Hadoop-tilbud, med fokus omkring værditilvækst på toppen af ​​Hadoop-stacken med open source.

• Intel: Intel Distribution for Apache Hadoop (Intel Distribution) leverer distribueret databehandling og databehandling til virksomhedsapplikationer, der analyserer store data.

  Nøglefunktionerne omfatter fremragende ydeevne med optimeringer til Intel Xeon-processorer, Intel SSD-opbevaring og Intel 10GbE-netværk; datasikkerhed via kryptering og dekryptering i HDFS og rollebaseret adgangskontrol med granulering på celleplan i HBase; forbedret Hive forespørgsel ydeevne; støtte til statistisk analyse med et stik til R, den populære open source statistiske pakke; og analytisk grafik gennem Intel Graph Builder.

• MapR : For en komplet distribution for Apache Hadoop og relaterede projekter, der er uafhængige af Apache Software Foundation, kan du ikke kigge mere end MapR. Idet der ikke er Java-afhængigheder eller afhængighed af Linux-filsystemet, bliver MapR forfremmet som den eneste Hadoop-distribution, der giver fuld databeskyttelse, ingen enkelte fejlfejl og betydelige brugervenlige fordele.

  Tre MapR udgaver er tilgængelige: M3, M5 og M7. M3 Edition er gratis og tilgængelig til ubegrænset produktionsbrug; MapR M5 er et tilbud på mellemniveau abonnementssoftware; og MapR M7 er en komplet distribution for Apache Hadoop og HBase, der omfatter Pig, Hive, Sqoop og meget mere.