İçindekiler:
Video: Hadoop Rack Awareness 2024
Hadoop'un temel prensibi, artan veri depolama ve işleme taleplerini karşılamak için ek bağımlı düğümlerle ölçeklendiriliyor. Ölçeklendirme modelinde, onlarca hatta yüzlerce köle düğümü nihai olarak güçlendirilmiş, güçlendirilmiş, ağa bağlı ve soğutulması gerektiği için küme tasarımını dikkatlice düşünmelisiniz.
Sunucu form faktörleri
IT mimarlarının bir Hadoop kümesi tasarlarken karşılaşacakları ilk seçeneklerden biri, Hadoop düğümleri için kullanılacak aşağıdaki iki form faktöründen hangisidir?
-
Blade sunucusu: Maksimum yoğunluk için tasarlanmış olan bu bebeklerin çoğunu bir raf içine sıkıştırın. Blade sunucuları, özel depolama, ağ oluşturma, güç ve soğutma gibi pek çok standart sunucu bileşenine sahip bıçak kasalarına uygundur. Bu bileşenler blade sunucular arasında paylaşılır, bu da her bir blade sunucunun çok daha küçük olabileceği anlamına gelir.
Blade sunucuları yüzeyde çekici bir seçimdir, çünkü standart bir raf alabilir ve bu blade sunucuların 40 ila 50'si arasında konuşlandırabilirsiniz. Bladelerin Hadoop dağıtımları için kullanılmasıyla ilgili sorun, her bir bağımlı düğümün bağımsız olduğu ve kendi özel kaynaklarına sahip olduğu Hadoop'un paylaşımsız mimarisi ile uyumlu olmayan belirli paylaşılan bileşenlere dayanıyor olmalarıdır.
Daha da önemlisi, bıçaklar genellikle iki veya üç sürücü yuvasından daha fazla olan lokal olarak bağlı depolama alanına sahip değildirler. Köle düğümleri daha özel depolama kapasitesine ihtiyaç duyduklarından, bu Hadoop için başlangıç değildir.
-
Raf sunucusu: Paylaşılan bileşenlere ve donanım genişletme alanına sahip olmayan komple sunucular, raf sunucuları Hadoop için gerçek bir seçimdir, çünkü bunlar tamamen bağımsız bir yapıya sahiptir. Hadoop köle düğümü olarak uygun bir şekilde yapılandırılmış bir raf sunucusu, genellikle iki RU'yu kaplar; bu nedenle, bunlardan 20'sini standart bir raf içine yerleştirebilirsiniz.
Sahiplik maliyeti
Bir köle düğüm seçerken ve tasarlarken, en önemli hususlar genellikle ilk satın alma maliyetleri ve depolama hacmidir. Bununla birlikte, sahiplik maliyeti de önemlidir. Bununla birlikte, tedarik maliyeti, güç tüketimi, soğutma, donanım performansı ve yoğunluğu etkileyen seçenekler sıklıkla muhalefet gösterdiğinden, bu iyi bir dengeleme eylemidir. İyi seçimler yapmanıza yardımcı olmak adına, bazı oldukça özel öneriler var:
-
Ana düğümler için yedek güç kaynakları ayırın. Köle düğümleri için fazladan güç kaynakları olması aşırı derecede önemlidir - bir bağımlı düğümdeki bir güç kaynağı arızası, kümeyi büyük ölçüde etkilemez.Bununla birlikte, tüm bağımlı düğümlerde yedek güç kaynakları olması, güç tüketimini artıracak ve daha fazla ısı üretecektir.
-
slave node CPU'lar için yolun ortasında saat hızlarını seçin. Daha yüksek saat hızına sahip CPU'lar yalnızca daha fazla maliyet gerektirmez, aynı zamanda daha fazla güç tüketirler ve daha fazla ısı üretirler.
-
Hadoop için tasarlanmış raf sunucularını seçin. Hadoop'un popülaritesi arttıkça, tüm büyük donanım üreticileri, yerel olarak bağlı depolama alanı için 12 ila 20 sürücü yuvasıyla ideal köle düğümleri olan raf sunucuları sunuyor.
Hadoop bağımlı düğümler olarak çalışmak üzere tasarlanan raf sunucuları, genellikle bir RU'luk bir form faktörüne sığmayacak kadar büyük ancak iki RU'luk alanı kaplamak boşa boşa neden olabilir. Uzayın daha verimli kullanılması için, bazı donanım üreticileri birden çok bağımlı düğümü tek bir kasaya sıkıştıran raf sunucularını serbest bıraktı.
Örnek olarak, bu sıkıştırılmış formda standart bir raf, her bir bağımlı düğümün HDFS için 15 disk sürücüsüne yer sağladığı 27 köle düğümüne (hatta ağ anahtarlarıyla birlikte) sahip olabilir. Bu düzenlemenin sonucu, veri merkezi içinde daha yüksek yoğunluk ve alanın daha iyi kullanılmasıdır.
