Egenskaber ved en Big Data Analysis Framework - dummies

Selvom nye sæt værktøjer fortsat er tilgængelige for at hjælpe dig med at styre og analysere din store datastruktur mere effektivt, kan du muligvis ikke få det, du har brug for. Derudover kan en række teknologier understøtte stor dataanalyse og krav som tilgængelighed, skalerbarhed og høj ydeevne. Nogle af disse omfatter store dataapparater, kolonnebaserede databaser, in-memory-databaser, ikke-relationelle databaser og massivt parallelle processorer.

Så hvad søger forretningsbrugere, når det kommer til stor dataanalyse? Svaret på dette spørgsmål afhænger af den type forretningsproblem, de forsøger at løse. Nogle vigtige overvejelser, når du vælger en stor databaseprogrammeringsramme, omfatter følgende:

• Understøttelse af flere datatyper: Mange organisationer indarbejder eller forventer at inkorporere alle typer data som en del af deres store dataudbredelser, herunder strukturerede, semistrukturerede og ustrukturerede data.

• Håndtering af batchbehandling og / eller real-time datastrømme: Handlingsorientering er et produkt af analyse på datastrømme i realtid, mens beslutningsretningen kan betragtes tilstrækkeligt ved batchbehandling. Nogle brugere vil kræve begge, da de udvikler sig til at omfatte forskellige former for analyse.

• Udnyt hvad der allerede findes i dit miljø: For at få den rigtige kontekst kan det være vigtigt at udnytte eksisterende data og algoritmer i den store dataanalysestruktur.

• Support NoSQL og andre nyere former for adgang til data: Mens organisationer fortsat vil bruge SQL, ser mange også på nyere former for datatilgang for at understøtte hurtigere responstid eller hurtigere beslutningsfrist.

• Overvinde lav latency: Hvis du skal håndtere høj datahastighed, skal du bruge en ramme, som kan understøtte kravene til hastighed og ydeevne.

• Giv billig opbevaring: Store data betyder muligvis masser af lagerplads - afhængigt af hvor meget data du vil behandle og / eller beholde.

• Integrere med cloud-implementeringer: Skyen kan levere opbevaring og beregne kapacitet på efterspørgsel. Flere og flere virksomheder bruger skyen som en analyse "sandkasse. "Clouden bliver i stigende grad en vigtig implementeringsmodel for at integrere eksisterende systemer med cloud-implementeringer i en hybridmodel.

Selvom alle disse egenskaber er vigtige, er den opfattede og faktiske værdi af at skabe applikationer fra en ramme hurtigere tid til implementering.Med alle disse muligheder i tankerne skal du overveje en stor dataanalyse-ramme fra et firma, der hedder kontinuitet.

Kontinuiteten AppFabric er en ramme, der understøtter udviklingen og implementeringen af ​​store dataprogrammer. AppFabric selv er et sæt af teknologier, der er specielt designet til at abstrahere vagarierne af lavtliggende store datateknologier. Applikationsbyggeren er en plug-in til Eclipse, der giver bygherren mulighed for at bygge, teste og fejle lokalt og i kendte omgivelser.

AppFabric-funktioner omfatter følgende:

• Stream-understøttelse til realtidsanalyse og reaktion

• Unified API, der eliminerer behovet for at skrive til store datainfrastrukturer

• Query-grænseflader til enkle resultater og understøttelse af pluggbare forespørgselsprocessorer

• Datasæt, der repræsenterer forespørgselsdata og tabeller tilgængelige fra Unified API

• Læsning og skrivning af data uafhængigt af input- eller outputformater eller underliggende komponentspecifikke

• Transaktionsbaseret hændelsesbehandling

• Multimodal implementering til en enkelt node eller skyen

Denne tilgang vil få trækkraft til stor applikationsudvikling, primært på grund af den overflod af værktøjer og teknologier, der kræves for at skabe et stort datamiljø.

Manglende samarbejde kan være dyrt på mange måder. Store organisationer kan drage fordel af værktøjer, der driver samarbejder. Ofte er folk, der laver lignende arbejde, uvidende om hinandens indsats, der fører til dobbeltarbejde.

Et andet godt eksempel på en ansøgningsramme er OpenChorus. Udover hurtig udvikling af store dataanalyseprogrammer understøtter det også samarbejde og giver mange andre funktioner vigtige for softwareudviklere, som værktøjsintegration, versionskontrol og konfigurationsstyring.

Open Chorus er et projekt, der vedligeholdes af EMC Corporation og er tilgængeligt under Apache 2.0-licensen. EMC producerer og understøtter også en kommerciel version af Chorus. Både Open Chorus and Chorus har livlige partner netværk samt et stort sæt af individuelle og virksomhedens bidragsydere.

Åben kor er en generisk ramme. Dens ledende funktion er evnen til at skabe et fælles "hub" til deling af store datakilder, indsigter, analyseteknikker og visualiseringer. Open Chorus indeholder følgende:

• Repository of analyseværktøjer, artefakter og teknikker med komplet versioning, ændring af sporing og arkivering

• Arbejdsrum og sandkasser, der er selvforsynede og let vedligeholdt af medlemmerne af fællesskabet

• Visualiseringer, herunder varmekort, tidsserier, histogrammer og så videre

• Forbundet søgning af alle dataaktiver, herunder Hadoop, metadata, SQL-arkiver og kommentarer

• Samarbejde gennem sociale netværkslignende funktioner, der tilskynder til opdagelse, deling og brainstorming

• Extensibility for integration af tredjeparts komponenter og teknologier