Uygulamaları Hadoop 2'den Önce Çalıştırıyor - Hayalet

Video: How to Setup Multinode Hadoop 2 on CentOS/RHEL Using VirtualBox 2024

Mevcut birçok Hadoop uygulaması hala Henüz Yet Another Resource Negotiator (YARN) kullanmıyor, Hadoop'un veri işlemeyi günlerden önce nasıl yönettiğine hızlı bir göz atın Hadoop 2. MapReduce işlemesinde JobTracker ana zamanlayıcıları ve TaskTracker köle cinlerinin oynadığı role konsantre olun.

Dağıtılmış sistemleri kullanmanın tam anlamıyla, bilgisayar kaynaklarını kendi kendine yeten bilgisayarların bulunduğu bir ağa, hataya dayanıklı, kolay ve ucuz şekilde dağıtmak mümkün.

Hadoop gibi dağıtılmış bir sistemde, kendiliğinden çalışan hesaplama düğümlerinin hepsinin paralel çalıştığı bir kümeye sahip olduğunuzda, bütün parçaların birlikte çalışmasını sağlamak için büyük bir karmaşıklık gider. Bu nedenle, bu sistemler genellikle paralel veri işlemeyi desteklemek için farklı görevleri yerine getirmek için farklı katmanlara sahiptir.

endişelerin ayrılması olarak bilinen bu kavram, , örneğin, uygulama programcısı iseniz, örneğin, yüklenicinin yerine oturması için belirli ayrıntılar hakkında endişelenmenize gerek olmadığını sağlar. harita görevleri. Hadoop'ta sistem şu dört kattan oluşur:

Dağıtılmış Depolama Alanı: Hadoop Dağıtık Dosya Sistemi (HDFS), verilerin, geçici sonuçların ve nihai sonuç kümelerinin depolandığı depolama katmanıdır.
Kaynak yönetimi: Disk alanına ek olarak, Hadoop kümesindeki tüm bağımlı düğümlerin CPU döngüleri, RAM ve ağ bant genişliği vardır. Hadoop gibi bir sistem, birden fazla uygulamanın ve kullanıcının kümeyi öngörülebilir ve ayarlanabilir yollarla paylaşabilmesi için bu kaynakları toplamalıdır. Bu iş JobTracker arka plan programı tarafından yapılır.
İşleme çerçevesi: MapReduce işlem akışı, Hadoop 1'deki tüm uygulamaların yürütülmesini tanımlar. Bu, harita aşamasında başlar; karıştırma, sıralama veya birleştirme ile toplama işlemine devam eder; ve azalma evresi ile biter. Hadoop 1'de, bu da JobTracker daemon tarafından yönetilir, yerel yürütme slave düğümlerde çalışan TaskTracker cinleri tarafından yönetilir.
Uygulama Programlama Arayüzü (API): Hadoop 1 için geliştirilen uygulamalar MapReduce API'sı kullanılarak kodlanmalıdır. Hadoop 1'de, Hive ve Pig projeleri, programcılara Hadoop uygulamaları yazmak için daha kolay arayüzler sağlıyor ve kaputun altında, kodları MapReduce'a derleniyor.