Video: Hadoop Rack Awareness 2024
Apache Oozie, Apache Bigtop da dahil olmak üzere tüm önemli Hadoop dağıtımlarına dahil edilmiştir. Hadoop kümenizde, Oozie sunucusunu, gösterildiği gibi, küme verilerine karşı diğer istemci uygulamalarını da çalıştırabileceğiniz bir kenar düğümde kurun.
Kenar düğümleri , Hadoop kümesine dış ağ için bir ağ geçidi olacak şekilde tasarlanmıştır. Bu, onları veri aktarım teknolojileri (örneğin Flume) için ideal kılarken, aynı zamanda istemci uygulamaları ve Oozie gibi diğer uygulama altyapısı için idealdir. Oozie'nin özel bir sunucuya ihtiyacı yoktur ve domuz ve kovan gibi kenar düğümler için ideal olan diğer hizmetler ile kolayca birlikte kullanılabilir.
Oozie konuşlandırıldıktan sonra, Oozie sunucusunu başlatmaya hazırsınız demektir. Oozie'nin altyapısı $ OOZIE_HOME dizinine yüklenir. Buradan, oozie-start'ı çalıştır. sh komutu ile sunucuyu başlatabilirsiniz. (Beklediğiniz gibi, sunucuyu durdurmak, oozie-stop. Sh yazmayı gerektirir.)
oozie admin -status
komutunu çalıştırarak Oozie örneğinizin durumunu sınayabilirsiniz. Oozie sunucusunun dağıtıldığı ve başlatıldıktan sonra, çeşitli iş akışınızı, koordinatörünüzü veya paket işinizi kataloglayabilir ve çalıştırabilirsiniz. İşlerinizle çalışırken Oozie, katalog tanımlarını - tüm Oozie nesnelerini (iş akışı, koordinatör ve paket işleri) açıklayan verileri yanı sıra durumlarını özel bir veritabanında saklar.
Varsayılan olarak, Oozie gömülü Derby veritabanını kullanacak şekilde yapılandırılmıştır, ancak gerekirse MySQL, Oracle veya PostgreSQL'i kullanabilirsiniz.
Oozie sunucusu ile etkileşim kurmak için dört seçeneğiniz vardır:
-
Java API: Bu seçenek, Java uygulamalarında kendi zamanlama kodunuza sahip olduğunuz durumlarda ve sizin uygulamanızın Uygulamanızdan içindeki iş akışlarını, koordinatörlerini veya paketleri sızdırın.
-
REST API: Yine, bu seçenek, kendi planlama kodunuzu Oozie iş akışlarınızın, koordinatörlerinin veya paketlerinizin temeli olarak kullanmak istediğiniz durumlarda iyi çalışır; Kendi arabiriminizi oluşturmak veya Oozie sunucusunu yönetmek için mevcut arabiriminizi genişletmek istiyorsanız.
-
Komut Satırı Arabirimi (CLI): Oozie için geleneksel Linux komut satırı arabirimi.
-
Oozie Web Konsolu: Tamam, belki burada pek etkileşim kuramazsınız, ancak Oozie Web Konsolu size Oozie sunucusunun durumunu gösteren salt okunur bir görünüm sunar; Oozie işlerinizi izlemek için kullanışlıdır.
Hue, Hadoop yönetim arayüzü, Oozie ile çalışmak için bir başka araç sunar.Oozie iş akışları, koordinatörleri ve paketlerin hepsi XML kullanarak tanımlanır; bu özellikle karmaşık durumlar için düzenleme sıkıcı olabilir. Hue, grafiksel olarak iş akışlarını ve diğer Oozie nesnelerini oluşturmak için bir GUI tasarım aracı sağlar.
Kapakların altında Oozie, girişini ve çıktısını işleyen katıştırılmış bir Tomcat web sunucusu içerir.
