Köle düğümleri - bir Hadoop evrende nümerik

Bir Hadoop evrende, bağımlı düğümler, Hadoop verisinin depolandığı ve veri işlemesinin nerede yapıldığı yerlerdir. Aşağıdaki hizmetler, bağımlı düğümlerin veri depolamasını ve işleyebilmesini sağlar:

• NodeManager: Tek bir bağımlı düğümün kaynaklarını koordine eder ve Kaynak Yöneticisine rapor verir.

• ApplicationMaster: Belli bir uygulama için Hadoop kümesinde çalışan tüm görevlerin ilerlemesini izler. Her istemci uygulaması için Kaynak Yöneticisi, ApplicationMaster hizmetinin bir örneğini bir bağımlı düğümdeki bir kapsayıcıda dağıtır. (NodeManager hizmetini çalıştıran herhangi bir düğümün Kaynak Yöneticisi tarafından görülebileceğini unutmayın.)

• Konteyner: Bir uygulama için ayrı görevleri çalıştırmak için gereken tüm kaynakların bir koleksiyonu. Küme üzerinde bir uygulama çalışırken Kaynak Yöneticisi, uygulamanın görevleri kümenin bağımlı düğümlerinde kapsayıcı hizmetler olarak çalışacak şekilde zamanlar.

• TaskTracker: Tek bir haritayı yönetir ve Hadoop 1 kümeleri için bir bağımlı düğümde yürütülen görevleri azaltır. Hadoop 2'de bu hizmet eskidir ve YARN hizmetleri ile değiştirilmiştir.

• DataNode: NameNode'un bağımlı düğümde blokları depolamasını sağlayan bir HDFS hizmeti.

• RegionServer: HBase sistemi için veri depolar. Hadoop 2'de HBase, RegionServer örneklerinin konteynerlerde çalıştırılmasını sağlayan Hoya'yı kullanır.

  

Burada, her bir bağımlı düğüm her zaman bir DataNode örneği (HDFS'nin bağımlı düğümde veri bloklarını depolamasını ve almasını sağlar) ve bir NodeManager örneği (Kaynak Yöneticisinin uygulama görevlerini işleme için bağımlı düğüme atamasını sağlar). Konteyner süreçleri, kümede çalışan uygulamalar için ayrı görevlerdir.

Her çalışan uygulama, aynı zamanda bir kapsayıcıda çalışan özel bir ApplicationMaster görevi içerir ve uygulama bitinceye kadar kümede çalışan tüm görevlerin yürütülmesini izler.

Hadoop 2'de HBase ile birlikte gördüğünüz gibi konteyner modeli halen takip edilmektedir:

Haseop 2'deki HBase, HMaster hizmetleri için konteyner isteyen Hoya Application Master tarafından başlatılmıştır. (Fazlalık için birden fazla HMaster hizmetine ihtiyacınız vardır.) Hoya Uygulama Yöneticisi, RegionServers için de özel konteynırlarda çalışan kaynakları ister.

Aşağıdaki resim, Hadoop 1 bağımlı düğümlerde konuşlandırılan hizmetleri göstermektedir.

Hadoop 1 için, her bir bağımlı düğüm her zaman bir DataNode örneği (HDFS'nin bağımlı düğümde veri bloklarını depolamasını ve almasını sağlar) ve bir TaskTracker örneği çalıştırır (JobTracker'in harita ve azaltma görevlerini bağımlı düğüme atamasını sağlar işlem için).

Köle düğümlerinin sabit sayıda harita yuvasına sahip olması ve sırasıyla harita yürütme ve azaltma yuvalarını azaltma görevleri. Kümenizde HBase çalışıyorsa, bir dizi köle düğümünün bir RegionServer hizmeti çalıştırması gerekecektir. HBase'de ne kadar fazla veri depolarsanız, daha fazla RegionServer örneğine ihtiyaç duyarsınız.

Köle düğümleri için donanım ölçütleri ana düğümler için olanlardan oldukça farklıdır; Aslında, ölçütler veri sunucuları için geleneksel donanım referans mimarilerinde bulunanlar ile uyuşmuyor. Hadoop'u çevreleyen en çok ses, Hadoop kümelerinin tasarım kriterlerinde emtia donanımının kullanılmasından kaynaklanır, ancak emtia donanımının tüketici dereceli donanıma atıfta bulunmadığını unutmayın.

Hadoop köle düğümleri hala kurumsal düzeyde donanım gerektirir, ancak maliyet spektrumunun alt ucunda, özellikle depolama için.