Video: Hadoop Processing Frameworks 2024
"Basit" genellikle mimari çizimler söz konusu olduğunda "zarif" anlamına gelir Hadoop'u uyguladıktan sonra para girmeye başladığında planladığınız yeni Silikon Vadisi konak. Aynı ilke yazılım mimarisi için de geçerlidir. Domuz iki (sayıları em, iki) bileşenden oluşur:
-
Dilin kendisi: Programcıların mizah duygusuna sahip olduklarının bir kanıtı olarak Domuz için programlama dili Pig Latin olarak bilinir, üst düzey bir veri işleme ve analiz programları yazmanıza izin veren bir dil.
-
Pig Latin derleyicisi: Pig Latin derleyicisi Domuz Latin kodunu yürütülebilir koda dönüştürür. Yürütülebilir kod MapReduce işleri biçimindedir veya Pig kodunu tek bir düğümde çalıştırmak için sanal bir Hadoop örneğinin oluşturulduğu bir işlemi spawn edebilir.
MapReduce programlarının sırası, Domuz programlarının Hadoop MapReduce ve HDFS'den yararlanarak veri işleme ve analizini paralel olarak gerçekleştirmesini sağlar. Pig işini sanal Hadoop örneğinde çalıştırmak, Pig komut dosyalarınızı test etmek için kullanışlı bir stratejidir.
Şekil, Pig'in Hadoop ekosistemiyle nasıl ilişkili olduğunu gösterir.
Domuz programları, kümenizin hangi modda çalışıyor olursa olsun, herhangi bir kod değişikliği yapılmaksızın MapReduce v1 veya MapReduce v2 üzerinde çalışabilir. Bununla birlikte, Domuz betiği Tez API'sini kullanarak da çalıştırabilir. Apache Tez, MapReduce'dan daha verimli bir uygulama çerçevesi sağlar. YARN, MapReduce (Tez gibi) dışındaki uygulama çerçevelerinin Hadoop üzerinde çalışmasını sağlar. Kovanı Tez çerçevesine karşı da çalışabilir.
