Hadoop Yönetim Komutları - mankenler

Hadoop'un Parçaları İçin Oyun Hileleri

Onun tuzuna değer veren herhangi bir Hadoop yöneticisi, küme yönetimi için kapsamlı komut setine hakim olmalıdır. Aşağıdaki liste, komutu ve sözdiziminin ve örneklerin yanı sıra en önemli komutları özetler. Onları tanıyın ve Hadoop'un bilgeliğine giden yol boyunca ilerleyin.

• dengeleyici : Küme dengeleme yardımcı programını çalıştırır. Disk kapasitesinin bir yüzdesini temsil eden belirtilen eşik değeri varsayılan eşik değerinin üzerine yazılır (yüzde 10). Yeniden dengeleme işlemini durdurmak için Ctrl + C tuşlarına basın.

  hadoop dengeleyici-eşik 20 daemonlog

  : Günlük düzeyini alır veya ayarlar Her daemon için (bir hizmet olarak da bilinir). // ana makineye bağlanır: port / logLevel? log = name ve host: port'ta çalışan arka plan programının günlük düzeyini yazdırır veya ayarlar. Hadoop cinleri, sistemde olup bittiğini belirlemenize yardımcı olan günlük dosyaları oluşturur ve sistemi hata ayıklarken bir Hadoop bileşeninin günlük düzeyini geçici olarak değiştirmek için daemonlog komutunu kullanabilirsiniz. Değişiklik, arka plan sunucusu yeniden başlatıldığında etkinleşir.

• Sözdizimi: hadoop daemonlog --getlevel; hadoop daemonlog -setlevel
  Örnek:

  hadoop daemonlog - hedef düzeyi 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlogu -setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG datanode

  : Her bağımlı düğümdeki saklamayı koordine eden HDFS DataNode hizmetini çalıştırır. -rollback seçeneğini belirlerseniz, DataNode önceki sürüme döndürülür. Bu seçeneği kullanmadan önce DataNode'u durdurun ve önceki Hadoop sürümünü dağıtın.

• hadoop veri anahtarı -rollback dfsadmin

  :

  Bir dizi Hadoop Dağıtılan Dosyayı çalıştırır --------------------------------------------------------------------------------------------------------------------------------------------- Sistem (HDFS) yönetim işlemleri. Desteklenen tüm seçeneklerin bir listesini görmek için -help seçeneğini kullanın. Genel seçenekler, birkaç komut tarafından desteklenen yaygın seçenekler grubudur. Sözdizimi:

  hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode girişi | izin | almak | bekle] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress durumu | detaylar |

• : Bir dizi MapReduce yönetimini çalıştırır. [-devre tahsisi] [-metrağı dosya adı] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | yanlış | kontrol] [-help [cmd]] operasyonlar. Desteklenen tüm seçeneklerin bir listesini görmek için -help seçeneğini kullanın.Yine, genel seçenekler birkaç komut tarafından desteklenen ortak seçenekler grubudur. -refreshServiceAcl seçeneğini belirttiğinizde, hizmet düzeyi yetkilendirme ilke dosyasını yeniden yükler (JobTracker yetkilendirme ilke dosyasını yeniden yükler); -refreshQueues sıra erişim denetimi listelerini (ACL'leri) ve durumunu yeniden yükler (JobTracker mapred-queue'leri yeniden yükler; xml dosyası); -refreshNodes, ana bilgisayar bilgilerini JobTracker'da yeniler; -refreshUserToGroupsMappings, kullanıcılarla grup eşleştirmesini yeniler; -refreshSuperUserGroupsConfiguration, süper kullanıcı proxy grup eşlemelerini yeniler; ve -help [cmd], verilen komut veya hiçbiri belirtilmemişse tüm komutlar için yardım görüntüler.

  Kullanımı:

• Hadoop'un mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]] Örnek: Hadoop'un mradmin -help -refreshNodes

  JobTracker

  Hadoop'un için veri işleme sistemi koordine MapReduce JobTracker düğüm çalıştırır. -dumpConfiguration öğesini seçerseniz, JobTracker tarafından kullanılan yapılandırma ve JSON biçiminde sıra yapılandırması standart çıktıya yazılır.

  Kullanımı:

• Hadoop'un JobTracker [-dumpConfiguration] Örnek: Hadoop'un JobTracker -dumpConfiguration

  namenode

  koordinatları NameNode, çalıştırır Tüm Hadoop kümesi için depolama alanı. -format belirtilirse, NameNode başlatılır, biçimlendirilir ve sonra durdurulur; -upgrade ile NameNode, yeni bir Hadoop sürümü dağıtıldıktan sonra yükseltme seçeneğiyle başlar; -rollback ile NameNode önceki sürüme döndürülür (bu seçeneği kullanmadan önce kümeyi durdurmayı ve önceki Hadoop sürümünü dağıtmayı unutmayın); -finalize ile, dosya sisteminin önceki durumu kaldırılır, en yeni yükseltme kalıcı olur, geri alma artık mümkün değildir ve NameNode durdurulur; Son olarak, -importCheckpoint ile, bir görüntü, kontrol noktası dizininden yüklenir (fs denetim noktası. dir özelliği tarafından belirtildiği gibi) ve geçerli dizinde kaydedilir.

  Sözdizimi:

• hadoop namenode [- biçim] | [-Yükleme] | [geribildirim] | [-finalize] | [-importCheckpoint] Örnek: Hadoop'un namenode -finalize

  ikincil namenode

  ikincil NameNode çalıştırır. -Checkpoint belirtirseniz, EditLog'un (dosya sistemi meta verilerinde oluşan her değişikliği kaydeden bir işlem günlüğü) fs'den büyük veya ona eşitse, ikincil NameNode üzerinde bir denetim noktası gerçekleştirilir. Kontrol noktası. boyut; -force belirtin ve bir Kontrol Noktası EditLog boyutundan bağımsız olarak gerçekleştirilir; -geteditsize belirtin ve Düzenleme Günlüğü boyutu yazdırılır.

  Sözdizimi: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

• Örnek: Hadoop'un secondarynamenode -geteditsize TaskTracker

  bir MapReduce TaskTracker düğümü çalıştırır.

  Sözdizimi: hadoop görev traceeri

• Örnek: hadoop görev göndereni