Forskellige tilgange til stor data analyse - dummier

I mange tilfælde vil stor data analyse blive repræsenteret for slutbrugeren gennem rapporter og visualiseringer. Da de rå data kan være uforståeligt varierede, skal du stole på analyseværktøjer og teknikker til at hjælpe med at præsentere dataene på meningsfulde måder.

Nye applikationer kommer til rådighed og falder bredt ind i to kategorier: brugerdefinerede eller semi-custom.

Brugerdefinerede applikationer til stor dataanalyse

Generelt oprettes en brugerdefineret applikation til et bestemt formål eller et relateret sæt af formål. Til stor data analyse er formålet med brugerdefineret applikationsudvikling at fremskynde tiden til beslutning eller handling.

R miljø

"R" -miljøet er baseret på "S" -statistikken og analysesproget udviklet i 1990'erne af Bell Laboratories. Det opretholdes af GNU-projektet og er tilgængeligt under GNU-licensen.

Med sin dybde og fleksibilitet er det et udfordrende valg for analytikationsprogramudviklere og "strømbrugere". "CRAN R-projektet opretholder desuden et verdensomspændende sæt af File Transfer Protocol og webservere med de nyeste versioner af R-miljøet. En kommercielt understøttet, virksomhedsversion af R er også tilgængelig fra Revolution Analytics.

Mere specifikt er R en integreret pakke af softwareværktøjer og teknologier designet til at oprette brugerdefinerede applikationer, der bruges til at lette data manipulation, beregning, analyse og visuel visning. Blandt andre avancerede funktioner understøtter det

• Effektive datahåndterings- og manipulationskomponenter.

• Operatører til beregninger på arrayer og andre typer af ordnede data.

• Værktøjer, der er specifikke for en bred vifte af dataanalyser.

• Avancerede visualiseringsfunktioner.

• S programmeringssprog designet af programmører, til programmører med mange kendte konstruktioner, herunder betingelser, sløjfer, brugerdefinerede rekursive funktioner og en bred vifte af input- og outputfaciliteter.

R er velegnet til enkeltbrug, brugerdefinerede applikationer til analyse af store datakilder.

Google Prediction API

Google Prediction API er et eksempel på en voksende klasse af store dataanalyse applikationsværktøjer. Den er tilgængelig på webstedet for Google udviklere og er veldokumenteret og leveres med flere mekanismer for adgang ved hjælp af forskellige programmeringssprog. For at hjælpe dig med at komme i gang, er den frit tilgængelig i seks måneder.

Prediction API er ret simpelt. Det ser efter mønstre og matcher dem med velgørende, præskriptive eller andre eksisterende mønstre.Under udførelsen af ​​mønster matching, lærer den også. "Jo mere du bruger det, jo bedre bliver det.

Prediction er implementeret som et RESTful API med sprogunderstøttelse til. NET, Java, PHP, JavaScript, Python, Ruby og mange andre. Google giver også scripts for at få adgang til API'en samt et klientbibliotek til R.

Prediktiv analyse er en af ​​de mest kraftfulde muligheder for store data, og Google Prediction API er et meget nyttigt værktøj til at oprette brugerdefinerede applikationer.

Semi-tilpassede applikationer til stor dataanalyse

I virkeligheden er det mange mennesker, der opfatter som brugerdefinerede applikationer, der faktisk oprettes ved hjælp af "pakket" eller tredjepartskomponenter som biblioteker. Det er ikke altid nødvendigt at kode en ny applikation helt. Brug af pakkede applikationer eller komponenter kræver, at udviklere eller analytikere skriver kode for at "strikke sammen" disse komponenter i en arbejdsdefineret applikation. Følgende er årsager til, at dette er en god tilgang:

• Hurtighed til implementering: Da du ikke behøver at skrive alle dele af applikationen, kan udviklingstiden reduceres betydeligt.

• Stabilitet: Brug af velkonstruerede, pålidelige komponenter fra tredjeparter kan bidrage til at gøre den tilpassede applikation mere modstandsdygtig.

• Bedre kvalitet: Emballagekomponenter er ofte underlagt højere kvalitetsstandarder, fordi de udnyttes i en lang række miljøer og domæner.

• Mere fleksibilitet: Hvis en bedre komponent kommer sammen, kan den byttes ind i applikationen, der forlænger levetiden, tilpasningsevnen og anvendeligheden af ​​den brugerdefinerede applikation.

En anden type semi-tilpasset applikation er en, hvor kildekoden er tilgængelig og ændret til et bestemt formål. Dette kan være en effektiv tilgang, fordi der er et par eksempler på applikationsbyggesten til rådighed til at indarbejde i din semi-custom-applikation:

• TA-Lib: Biblioteket for teknisk analyse bruges i vid udstrækning af softwareudviklere, der skal udføre teknisk analyse af finansielle markedsdata. Den er tilgængelig som open source under BSD-licensen, så den integreres i semi-custom applikationer.

• JUNG: Java Universal Network Graph Framework er et bibliotek, der giver en fælles ramme for analyse og visualisering af data, der kan repræsenteres af en graf eller et netværk. Det er nyttigt til social netværksanalyse, vigtighedsforanstaltninger og data mining. Den er tilgængelig som open source under BSD-licensen.

• GeoTools: Geospatial værktøjssæt til at manipulere GIS data i mange former, analysere rumlige og ikke-rumlige attributter eller GIS data og skabe grafer og netværk af dataene. Den er tilgængelig under GPL2-licensen, som muliggør integration i semi-tilpassede applikationer.