Traditionelle ETLs rolle i Big Data - dummier

ETL-værktøjer kombinerer tre vigtige funktioner (ekstrakt, transformation, belastning), der kræves for at få data fra et stort datamiljø og sæt det i et andet datamiljø. Traditionelt er ETL blevet brugt med batchbehandling i data warehouse miljøer. Data warehouses giver forretningsbrugere mulighed for at konsolidere information til at analysere og rapportere om data, der er relevante for deres forretningsfokus. ETL-værktøjer bruges til at omdanne data til det format, der kræves af datalagre.

Transformationen udføres faktisk i en mellemliggende placering, før dataene indlæses i datalageret. Mange software-leverandører, herunder IBM, Informatica, Pervasive, Talend og Pentaho, leverer ETL-softwareværktøjer.

ETL giver den underliggende infrastruktur til integration ved at udføre tre vigtige funktioner:

• Uddrag: Læs data fra kildedatabasen.

• Transform: Konverter formatet af de udvundne data, så det overholder kravene i måldatabasen. Transformation sker ved at bruge regler eller fusionere data med andre data.

• Load: Skriv data til måldatabasen.

ETL udvikler sig imidlertid for at understøtte integrationen på tværs af langt mere end traditionelle datalagre. ETL kan understøtte integration på tværs af transaktionssystemer, operative data butikker, BI platforme, MDM hubs, cloud og Hadoop platforme. ETL-softwareleverandører udvider deres løsninger til at give stor dataudvinding, -transformation og -indlæsning mellem Hadoop og traditionelle datastyringsplatforme.

ETL og softwareværktøjer til andre dataintegrationsprocesser som dataudrensning, profilering og revision af alt arbejde på forskellige aspekter af dataene for at sikre, at dataene anses for troværdige. ETL-værktøjer integreres med datakvalitetsværktøjer, og mange indeholder værktøjer til dataudrensning, datakortlægning og identifikation af datastyring. Med ETL ekstraherer du kun de data, du skal bruge til integrationen.

ETL-værktøjer er nødvendige til indlæsning og konvertering af strukturerede og ustrukturerede data til Hadoop. Avancerede ETL-værktøjer kan læse og skrive flere filer parallelt fra og til Hadoop for at forenkle, hvordan data slås sammen til en fælles transformationsproces. Nogle løsninger indeholder biblioteker af forudbyggede ETL-transformationer til både transaktions- og interaktionsdata, der kører på Hadoop eller en traditionel netværksinfrastruktur.

Datatransformation er processen med at ændre formatet for data, så det kan bruges af forskellige applikationer.Dette kan betyde en ændring fra det format, som dataene er gemt i, i det format, der er nødvendigt af den applikation, der vil bruge dataene. Denne proces indeholder også mapping instruktioner, så programmerne bliver fortalt, hvordan de får de data, de skal behandle.

Datatransformationsprocessen gøres langt mere kompleks på grund af den svimlende vækst i mængden af ​​ustrukturerede data. En forretningsapplikation som f.eks. Kundeforvaltning har specifikke krav til, hvordan data skal lagres. Dataene er sandsynligvis struktureret i de organiserede rækker og kolonner i en relationsdatabase. Data er halvstruktureret eller ustruktureret , hvis det ikke følger stive formatkrav.

Oplysningerne i en e-mail-besked anses for eksempel ustrukturerede. Nogle af virksomhedens vigtigste oplysninger findes i ustrukturerede og halvstrukturerede former som dokumenter, e-mail-meddelelser, komplekse messagingformater, kundesupportinteraktioner, transaktioner og informationer fra pakkede applikationer som ERP og CRM.

Datatransformationsværktøjer er ikke designet til at fungere godt med ustrukturerede data. Som følge heraf er virksomheder, der har brug for at indarbejde ustrukturerede oplysninger i sin beslutningsproces for forretningsprocesser, blevet udsat for en betydelig mængde manuel kodning for at opnå den nødvendige dataintegration.

I betragtning af væksten og betydningen af ​​ustrukturerede data i beslutningsprocessen begynder ETL-løsninger fra større leverandører at tilbyde standardiserede tilgange til at omdanne ustrukturerede data, så det lettere kan integreres med operationelle strukturerede data.