Daha hızlı bir bilgisayara sahip olmak, büyük veriyi işlemek için doğru performans seviyesini sağlamak için yeterli değildir. Büyük veri servisinizin bileşenlerini bir dizi düğümde dağıtabilmeniz gerekir. Dağıtılmış hesaplamada, düğüm , bir sistem kümesinde veya bir rafta bulunan bir öğedir.
Bir düğüm genellikle CPU, bellek ve bir çeşit disk içeriyor. Bununla birlikte, bir düğüm, raftaki yakın depolama alanına dayanan bir blade CPU ve bellek olabilir.
Büyük bir veri ortamında, bu düğümler tipik olarak ölçek sağlamak için bir araya getirilir. Örneğin, büyük bir veri analizi ile başlayabilir ve daha fazla veri kaynağı eklemeye devam edebilirsiniz. Büyümeyi karşılamak için, bir organizasyon büyüyen gereksinimleri karşılamak için ölçeklenebilir şekilde bir kümeye yalnızca daha fazla düğüm ekler.
Ancak, kümedeki düğüm sayısını basitçe genişletmek yeterli değildir. Bunun yerine, büyük veri analizinin bir bölümünü farklı fiziksel ortamlara gönderebilmek önemlidir. Bu görevleri nereye gönderdiğiniz ve bunları nasıl yönettiğiniz başarı ve başarısızlık arasında fark yaratıyor.
Bazı karmaşık durumlarda, gerekli analiz hızını elde etmek için aynı küme dahilinde bile çok sayıda farklı algoritmayı paralel olarak yürütmek isteyebilirsiniz. Aynı rafta neden farklı büyük veri algoritmalarını paralel yürütüyorsunuz? Fonksiyonların dağılımı ne kadar yakın olursa, o kadar hızlı gerçekleşirler.
Mevcut kapasiteden yararlanmak için ağlar arasında büyük veri analizi dağıtmak mümkün olsa da, bu tür dağıtımları performans gereksinimlerine göre yapmanız gerekir. Bazı durumlarda, işleme hızı bir arka koltuk alır. Bununla birlikte, başka durumlarda, sonuçları hızlı bir şekilde elde etmek şarttır. Bu durumda, ağ işlevlerinin birbirine çok yakın olduğundan emin olmak istersiniz.
Genel olarak, büyük veri ortamı, analiz görevi türüne göre optimize edilmelidir. Bu nedenle, ölçeklenebilirlik, büyük verilerin başarıyla çalıştırılmasının asıl işidir. Tek bir büyük ortamda büyük bir veri ortamı kurmak teorik olarak mümkün olsa da, pratik değildir.
Büyük verilerin ölçeklenebilirlik gereksinimlerini anlamak için, yalnızca bulut ölçeklenebilirliğine bakmak ve gereklilikleri ve yaklaşımı anlamak yeterlidir. Bulut bilgiişleminde olduğu gibi, büyük veriler, performansı artırmak için raflarda birleştirilebilen hızlı ağların ve ucuz kümelerin dahil edilmesini gerektirir. Bu kümeler, dinamik ölçekleme ve yük dengeleme olanağı sağlayan yazılım otomasyonu tarafından desteklenmektedir.
MapReduce'un tasarımı ve uygulamaları, dağıtılmış bilgi işlemin büyük verilerin operasyonel olarak görünür ve uygun fiyatlı olmasını sağlayan mükemmel örneklerdir. Özünde, şirketler, doğru problemleri çözmek için teknoloji konseptlerinin doğru zamanda bir araya geldiği yerde hesaplamanın benzersiz dönüm noktalarından birinde. Dağıtık hesaplama, geliştirilmiş donanım sistemleri ve MapReduce ve Hadoop gibi pratik çözümleri birleştirmek, veri yönetimini derin şekillerde değiştiriyor.
