Lag 2 af Big Data Stack: Operations Databases - dummies

Kernen i ethvert stort datamiljø og lag 2 i den store datastabel er databasemotorerne, der indeholder samlinger af dataelementer, der er relevante for din virksomhed. Disse motorer skal være hurtige, skalerbare og klare faste. De er ikke alle skabte lige, og visse store datamiljøer vil blive bedre med en motor end en anden, eller mere sandsynligt med en blanding af databasemotorer.

Selvom det er muligt at bruge relational database management systems (RDBMS'er) til alle dine store data implementeringer, er det ikke praktisk at gøre det på grund af ydeevne, skala eller endda omkostninger. Der findes en række forskellige databaseteknologier, og du skal sørge for at vælge klogt.

Der eksisterer ikke et enkelt ret valg vedrørende databaset sprog. Selv om SQL er det mest udbredte database forespørgselssprog i brug i dag, kan andre sprog give en mere effektiv eller effektiv måde at løse dine store dataudfordringer på. Det er nyttigt at tænke på motorerne og sprogene som værktøjer i en "implementers værktøjskasse. "Dit job er at vælge det rigtige værktøj.

Hvis du for eksempel bruger en relationsmodel, vil du sandsynligvis bruge SQL til at søge det. Du kan dog også bruge alternative sprog som Python eller Java. Det er meget vigtigt at forstå, hvilke typer data der kan manipuleres af databasen, og om det understøtter ægte transaktionsadfærd. Databasedesignere beskriver denne adfærd med akronymet ACID. Den står for

• Atomicity: En transaktion er "alt eller ingenting", når det er atomisk. Hvis en del af transaktionen eller det underliggende system fejler, fejler hele transaktionen.

• Konsistens: Kun transaktioner med gyldige data vil blive udført i databasen. Hvis dataene er korrupte eller forkerte, vil transaktionen ikke fuldføres, og dataene vil ikke blive skrevet til databasen.

• Isolering: Flere samtidige transaktioner vil ikke forstyrre hinanden. Alle gyldige transaktioner udføres indtil færdiggørelsen og i den rækkefølge, de blev indsendt til behandling.

• Holdbarhed: Når dataene fra transaktionen er skrevet til databasen, forbliver den der "for evigt. "

  Motor	Sprogsprog	MapReduce	Datatyper	Transaktioner	Eksempler
  Relationelle	SQL, Python, C	Nej	Typet	Acid	PostgreSQL, Oracle, DB / 2
  Columnar	Ruby	Hadoop	Foruddefineret og skrevet	Ja, hvis aktiveret	HBase
  Graf	Walking, Søg, Cypher	Nej	Untyped	Acid	Neo4J
  Dokument	Kommandoer	JavaScript	Typet	Nej	MongoDB, CouchDB
  Nøgleværdi	Lucene, kommandoer	JavaScript	BLOB, semityped	Nej	Riak, Redis

Når du har forstået dine krav og forstår hvilke data du samler, hvor skal du sige det, og hvad at gøre med det, skal du organisere det, så det kan indtages til analyse, rapportering eller specifikke applikationer.