Hadoop İle Büyük Veri Kaynakları ve Uygulamalarını Yönetin Büyük Veri Kaynakları ve Uygulamalarını Hadoop İPLİK ile yönetmek için YARN

Büyük veriler için iş planlaması ve izleme, Hadoop MapReduce'un ayrılmaz bir parçasıdır ve kaynakları ve uygulamaları yönetmek için kullanılabilir. Hadoop'un ilk sürümleri ilkel bir iş ve görev takibi sistemini destekledi, ancak Hadoop tarafından desteklenen işin karışımı değiştiği için zamanlayıcı devam edemedi.

Özellikle, eski zamanlayıcı MapReduce dışı işleri yönetemedi ve küme kullanımını optimize etme yeteneği yoktu. Bu nedenle, bu eksiklikleri gidermek ve daha fazla esneklik, verimlilik ve performans sunmak için yeni bir yetenek tasarlandı.

Küresel kaynak yönetimi (ResourceManager)

• Uygulama yönetimi başına (ApplicationMaster)

• ResourceManager (Kaynak Yöneticisi) bir ana hizmettir ve bir Hadoop kümesinin her düğümünde NodeManager'ı kontrol eder. ResourceManager'da, yalnızca görevleri belirli çalışan uygulamalara (görevler) sistem kaynakları ayırmak olan Scheduler dahildir, ancak uygulamanın durumunu izlemiyor veya izlemiyor.

Gerekli tüm sistem bilgileri bir Kaynak Konteyner'de saklanır. Düğüm ve kümedeki uygulamaları çalıştırmak için gerekli ayrıntılı CPU, disk, ağ ve diğer önemli kaynak özniteliklerini içerir.

Her düğüm, kümedeki genel ResourceManager'a bağımlı bir NodeManager'a sahiptir. NodeManager, uygulamanın CPU, disk, ağ ve bellek kullanımını izler ve ResourceManager'a geri rapor verir. Düğüm üzerinde çalışan her uygulama için karşılık gelen bir ApplicationMaster vardır.

Çalışan uygulamayı desteklemek için daha fazla kaynak gerekiyorsa, ApplicationMaster NodeManager'ı bildirir ve NodeManager uygulama adına ek kapasite için ResourceManager (Zamanlayıcı) ile görüşür. NodeManager, görev durumunu ve ilerlemesini kendi düğümünde izlemekle de yükümlüdür.