Video: [Fif og råd] Valg af liggeunderlag 2025
Når det kommer til Sqoop, er et billed ofte tusindvis værd ord, så tjek figuren, som giver dig et fugleperspektiv af Sqoop-arkitekturen.
Ideen bag Sqoop er, at den udnytter map opgaver - opgaver, der udfører parallel import og eksport af relationsdatabase tabeller - lige fra Hadoop MapReduce-rammen. Dette er gode nyheder, fordi MapReduce-rammen giver fejltolerance for import og eksport job sammen med parallel behandling!
Du vil sætte pris på fejltolerancen, hvis der er en fejl under en stor import eller eksport af bord, fordi MapReduce-rammen vil genoprette, uden at du skal starte processen igen.
Sqoop kan importere data til Hive og HBase. Bemærk dog, at pilene til Hive og HBase peger i kun én retning. Data, der er gemt i enhver relationsdatabase med JDBC-understøttelse, kan importeres direkte til Hive eller HBase-systemer med Sqoop. Eksporten udføres imidlertid fra data, der er gemt i HDFS.
Derfor skal du, hvis du har brug for at eksportere dine Hive-tabeller, pege på Sqoop til HDFS-mapper, der gemmer dine Hive-tabeller. Hvis du skal eksportere HBase-tabeller, skal du først eksportere dem til HDFS og derefter udføre Sqoop-eksportkommandoen.
