Video: Sqoop incremental import 2024
Sqoop söz konusu olduğunda, genellikle bir bin değer Sqoop mimarisini kuşbakışı gören şekli gözden geçirin.
Sqoop'un arkasındaki fikir, map görevlerini - ilişkisel veritabanı tablolarının paralel içe aktarma ve dışa aktarmayı gerçekleştiren görevleri - Hadoop MapReduce çerçevesinin içinden sağlamasıdır. MapReduce çerçevesi, paralel işleme ile birlikte alma ve verme işlerine hata toleransı sağladığı için bu iyi bir haber!
Büyük bir tablo içe / dışa aktarma işlemi sırasında bir arıza olması durumunda Arıza toleransını takdir edersiniz, çünkü MapReduce çerçevesi tekrar tekrar işlem yapmanıza gerek kalmadan iyileşir.
Sqoop, verileri Hive ve HBase'e aktarabilir. Bununla birlikte, Hive ve HBase'e yönelik okların sadece bir yönde olduğunu unutmayın. JDBC desteği ile herhangi bir ilişkisel veritabanında saklanan veriler Sqoop ile doğrudan Hive veya HBase sistemlerine aktarılabilir. Bununla birlikte, dışa aktarma, HDFS'de saklanan verilerden gerçekleştirilir.
Bu nedenle, Kovan tablolarınızı dışa aktarmanız gerekiyorsa, Sqoop'u Kovan tablolarınızı saklayan HDFS dizinlerine yönlendiriyorsunuz. HBase tablolarını dışa aktarmanız gerekiyorsa, önce bunları HDFS'ye dışa aktarmanız ve Sqoop export komutunu çalıştırmanız gerekir.
