Büyük Veri için Hesaplamalı Temel Kalanlar - AYAKLAR

Şirketiniz büyük bir veri projesi düşünüyorsa, dağıtık bilgisayar temellerini anlamak önemlidir ilk. Hesaplamalı kaynaklar birçok yönden dağıtılabildiğinden, tek bir dağıtılmış bilgi işlem modeli yoktur.

Örneğin, aynı fiziksel sunucuda bir dizi program dağıtabilir ve iletişim kurmalarını ve bilgi aktarmalarını sağlamak için ileti servislerini kullanabilirsiniz. Ayrıca, her biri kendi hafızasına sahip olan, bir sorunu çözmek için birlikte çalışan birçok farklı sistem veya sunucuya sahip olmak da mümkündür.

Neden büyük veri için dağıtılan bilgi işlem gerekiyor

Tüm sorunlar dağıtılmış bilgi işlem gerektirmiyor. Büyük bir zaman kısıtlaması yoksa, karmaşık işlem uzaktan özel bir hizmet vasıtasıyla yapılabilir. Şirketler karmaşık veri analizi yapmak durumunda kaldıklarında, BT verileri, işleme tabi tutulması için çok fazla yedek kaynağın bulunduğu harici bir hizmete veya bir işletmeye taşıdı.

Şirketler, ihtiyaç duydukları sonuçları almak için beklemek istediler; ortaya çıkan bu gereksinimleri karşılamak için yeterli bilgi işlem kaynakları satın almak ekonomik açıdan mümkün değildi. Çoğu durumda, kuruluşlar maliyetlerden dolayı tüm verileri yakalamaya çalışmak yerine sadece veri seçimini yaparlardı. Analistler tüm verileri almak istedi ancak doğru veriyi doğru zamanda elde etmeyi umarak fotoğraflar çekildi.

Anahtar donanım ve yazılım devrimi veri yönetimi endüstrisinde devrim yarattı. Birincisi, yenilik ve talep gücü artırdı ve donanım fiyatını düşürdü. Geniş bir düğüm kümesinde yük dengeleme ve optimizasyon gibi süreçleri otomatikleştirerek bu donanımdan nasıl yararlanılacağını anlayan yeni yazılım ortaya çıktı.

Yazılım, bazı iş yüklerinin belirli bir performans seviyesi gerektirdiğini anlayan yerleşik kurallar içeriyordu. Yazılım, sanallaştırma teknolojisini kullanarak bir düğüm başarısız olursa, tüm düğümleri sanki basitçe büyük bir bilgisayar, depolama ve ağ varlıkları havuzudur ve süreçleri kesintisiz bir şekilde başka bir düğüme taşımıştır.

Hesaplamanın ve büyük verilerin değişen ekonomisi

Hızlı ileri ve çok şey değişti. Son birkaç yılda bilgisayar ve depolama kaynakları satın alma maliyeti önemli ölçüde azaldı. Sanallaştırma yardımıyla, kümelenebilen emtia sunucuları ve bir rafta ağa bağlanmış blade'ler bilgisayar ekonomisini değiştirdi. Bu değişiklik, bu sistemlerin yönetilebilirliğini önemli ölçüde artıran yazılım otomasyon çözümlerinde yenilik ile çakıştı.

Dağıtılmış bilgi işlem ve paralel işleme tekniklerinden faydalanma kabiliyeti paha biçilmez biçimde dönüşür ve gecikmeyi önemli ölçüde azaltır. Düşük gecikme ancak fiziksel olarak sunucuları tek bir konuma yerleştirmek yoluyla elde edilebilen Yüksek Frekans Ticareti (HFT) gibi özel durumlar vardır.

Büyük veriler için gecikme sorunu

Verilerin yönetimi ile ilgili uzun süreli sorunlardan biri - özellikle büyük miktarda veri - gecikmenin etkisidir. Gecikme , bir görevin yürütülmesindeki gecikmelere dayanan bir gecikmedir. Gecikme, iletişim, veri yönetimi, sistem performansı ve daha fazlası dahil olmak üzere bilgi işlemin her alanında bir konudur.

Hiç kablosuz telefon kullandıysanız, gecikme yaşadınız demektir. Sizinle arayanınız arasındaki iletilerin gecikmesi. Zaman zaman, gecikmenin, müşteri memnuniyetinde çok az etkisi vardır; şirketler, yeni bir ürün sürümü planlamak için sahnelerin arkasındaki sonuçları analiz etmeleri gerektiği gibi. Bu, muhtemelen anında yanıt veya erişim gerektirmez.

Ancak, kararın alındığı anda müvekkilin tepkisi ne kadar yakınsa, gecikmenin önemi de o kadar artar.

Dağıtık bilgi işlem ve paralel işleme teknikleri, müşteriler, tedarikçiler ve ortakların yaşadığı gecikme süresinde önemli bir farklılık oluşturabilir. Birçok büyük veri uygulaması hız için büyük veri gereksinimleri ve verilerin hacmi ve çeşitliliği nedeniyle düşük gecikmeye bağlıdır.

Yüksek performansa ihtiyaç duyulursa yüksek gecikmeli bir ortamda büyük bir veri uygulaması oluşturmak mümkün olmayabilir. Veriyi neredeyse gerçek zamanlı olarak doğrulama ihtiyacı gecikmeden de etkilenebilir. Gerçek zamanlı verilerle uğraşırken, yüksek bir gecikme süresi başarı ile başarısızlık arasındaki fark anlamına gelir.

Büyük veri talebi çözümleri karşılıyor

İnternetin ticaretten tıbba kadar her alanda platform olarak büyümesi, yeni nesil veri yönetimine olan talebi değiştirdi. 1990'ların sonlarında, Google, Yahoo gibi motor ve İnternet şirketleri!, ve Amazon. com, bilgi işlem ve depolama için ucuz donanımı kullanan iş modellerini genişletmeyi başardılar.

Sonra, bu şirketlerin, müşteriden yakaladıkları muazzam miktarda veriden para kazanmalarını sağlayacak yeni nesil yazılım teknolojilerine ihtiyaçları vardı. Bu şirketler analitik işleme sonuçlarını bekleyemezlerdi. Bu verileri gerçek zamanlı olarak işleme ve analiz etme kabiliyetine ihtiyaç duyuyordu.