Video: hadoop yarn architecture 2024
İPLİK, başka veri işleme çerçevelerinin Hadoop üzerinde çalıştırılmasını sağlayan Yet Another Resource Negotiator (Yet Another Kaynak Müzakerecisi) anlamına gelmektedir. YARN'ın şan ve şöhreti, Hadoop'u uzun süredir devam eden zorluklara zarif bir çözümle sunuyor olmasıdır.
YARN, hem Hadoop'un yalnızca MapReduce işlerinden fazlasını çalıştırmasını sağlayacak hem de daha verimli ve esnek bir iş yükü çizelgelemesinin yanı sıra kaynak yönetim imkânı sunacak.
Şekil, YARN'ın Hadoop'a nasıl uyduğunu ve Hadoop'un veri işleme için gerçek anlamda genel amaçlı bir platform haline gelmesini nasıl sağladığını genel olarak açıklamaktadır. Aşağıdaki liste melodiye şarkı sözleri verir:
-
Dağıtılmış saklama: MapReduce'dan YARN'a geçişle birlikte hiçbir şey değişmedi - HDFS hâlâ Hadoop'un depolama katmanı halini alıyor.
-
Kaynak yönetimi: HARDOP 1'DEN YARN'a kaymanın temelini oluşturan temel kavram, kaynak yönetimini veri işleminden ayırmaktır. Bu, YARN'ın MapReduce da dahil olmak üzere Hadoop için yazılmış herhangi bir işleme çerçevesine kaynak sağlamasına olanak tanır.
-
İşleme Çerçevesi: YARN, genel amaçlı bir kaynak yönetimi olanağı olduğundan, küme kaynaklarını Hadoop için yazılan herhangi bir veri işleme çerçevesine tahsis edebilir. İşlem çerçevesi daha sonra uygulama çalışma zamanı sorunlarını işler.
Hadoop 1 için geliştirilen tüm kodların uyumluluğunu sağlamak için, MapReduce, İPLİK üzerinde kullanılmak üzere mevcut olan ilk çerçeve olarak hizmet eder. Bu yazı hazırlanırken Apache Tez projesi, Domuz ve Kovan uygulamalarının yerine getirilmesi için alternatif bir çerçeve olarak geliştirme aşamasındaki bir kuluçka projesiydi. Tez muhtemelen standart bir Hadoop yapılandırması olarak ortaya çıkacaktır.
-
Uygulama Programlama Arayüzü (API): Ek işleme çerçeveleri için destek ile ek API desteği gelecektir. Bu yazım sırasında, Hoya (YARN üzerinde HBase çalıştırmak için), Apache Giraph (grafik işleme için), Open MPI (paralel sistemlerde mesaj geçişi için), Apache Storm (veri akışı işleme için) aktif bir gelişmeydi.
