Sådan bruges data streaming til store data - dummier

Undertiden når virksomheder nærmer sig store data, står virksomhederne overfor enorme mængder data og en lille ide om hvor de skal hen til næste. Indtast datastreaming. Når en betydelig mængde data skal behandles hurtigt i næsten real tid for at få indsigt, er data i bevægelse i form af streamingdata det bedste svar.

Hvad er data, der er ikke i ro? Dette ville være systemer, der forvalter aktive transaktioner og derfor skal have vedholdenhed. I disse tilfælde gemmes dataene i en operationsdatabutik. Men i andre situationer er disse transaktioner blevet udført, og det er på tide at analysere disse data typisk i et datalager eller data mart.

Dette betyder, at oplysningerne behandles i batch og ikke i realtid. Når organisationer planlægger deres fremtid, skal de kunne analysere masser af data, lige fra information om, hvad kunderne køber og hvorfor. Det er vigtigt at forstå de førende indikatorer for forandring. Med andre ord, hvordan vil ændringer påvirke hvilke produkter og tjenester en organisation vil tilbyde i fremtiden?

Mange forskningsorganisationer bruger denne type store dataanalyser til at opdage nye lægemidler. Et forsikringsselskab vil måske sammenligne mønstre af trafikulykker på tværs af et bredt geografisk område med vejrstatistik. I disse tilfælde eksisterer der ingen fordel for at styre disse oplysninger i realtidshastighed. Det er klart, at analysen skal være hurtig og praktisk. Derudover vil organisationer analysere dataene for at se om nye mønstre kommer frem.

Streaming data er en analytisk computer platform, der er fokuseret på hastighed. Dette skyldes, at disse applikationer kræver en kontinuerlig strøm af ofte ustrukturerede data, der skal behandles. Derfor analyseres data kontinuerligt og transformeres i hukommelsen, før det gemmes på en disk. Behandling af datastrømme fungerer ved at behandle "tidsvinduer" af data i hukommelsen på tværs af en klynge af servere.

Dette ligner tilgangen til håndtering af data i hvilemodtagende Hadoop. Den primære forskel er spørgsmålet om hastighed. I Hadoop-klyngen indsamles data i batch-tilstand og behandles derefter. Hastighed betyder mindre i Hadoop end i data streaming. Nogle nøgleprincipper definerer, når brug af strømme er mest hensigtsmæssigt:

• Når det er nødvendigt at bestemme en købskøbsmulighed på tidspunktet for engagementet, enten via sociale medier eller via tilladelsesbaserede meddelelser

• Indsamling af oplysninger om bevægelsen omkring en sikre websted

• For at kunne reagere på en begivenhed, der kræver et øjeblikkeligt svar, som f.eks. en servicefejl eller en ændring i patientens medicinske tilstand.

• Realtidsberegning af omkostninger, som er afhængige af variabler som brug og tilgængelige ressourcer

Streamingsdata er nyttige, når analyser skal udføres i realtid, mens dataene er i gang.Faktisk falder værdien af ​​analysen (og ofte dataene) med tiden. Hvis du f.eks. Ikke kan analysere og handle straks, kan en salgsmulighed gå tabt, eller en trussel kan blive uopdaget.

Nedenstående er nogle eksempler, der kan hjælpe med at forklare, hvordan dette er nyttigt.

Et kraftværk skal være et yderst sikkert miljø, så uvedkommende ikke forstyrrer levering af strøm til kunder. Virksomheder placerer ofte sensorer omkring omkredsen af ​​et websted for at registrere bevægelse. Men et problem kunne eksistere. En stor forskel eksisterer mellem en kanin, der scurries rundt på stedet og en bil kører hurtigt og bevidst. Derfor skal den enorme mængde data, der kommer fra disse sensorer, analyseres i realtid, så en alarm kun udløses, når der foreligger en faktisk trussel.

Et teleselskab på et stærkt konkurrencepræget marked ønsker at sikre, at outages overvåges nøje, så et konstateret fald i serviceniveauer kan eskaleres til den relevante gruppe. Kommunikationssystemer genererer enorme mængder data, som skal analyseres i realtid for at tage de nødvendige forholdsregler. En forsinkelse med at opdage en fejl kan alvorligt påvirke kundetilfredsheden.

Det er overflødigt at sige, at virksomheder beskæftiger sig med mange data, der skal behandles og analyseres i realtid. Derfor er det fysiske miljø, der understøtter dette niveau af lydhørhed, kritisk. Streaming datamiljøer kræver typisk en klynget hardwareopløsning, og nogle gange kræves der en massiv parallelbehandlingstilgang til at håndtere analysen.

En vigtig faktor for streaming data analyse er, at det er en single-pass analyse. Med andre ord kan analytikeren ikke genanalysere dataene, efter at den er streamet. Dette er almindeligt i applikationer, hvor du søger mangel på data.

Hvis flere pass er påkrævet, skal dataene indføres i en slags varehus, hvor yderligere analyser kan udføres. For eksempel er det ofte nødvendigt at etablere kontekst. Hvordan sammenligner disse streamingdata med historiske data? Denne sammenhæng kan fortælle dig meget om, hvad der er ændret, og hvad det ændrer, kan betyde for din virksomhed.