Katman 0: Büyük Fiziksel Veri Altyapısı - katmanlar

Büyük veri yığının en düşük seviyesinde fiziksel altyapı bulunur. Şirketiniz zaten bir veri merkezine sahip olabilir veya fiziksel altyapı yatırımları yapabilir, bu nedenle varolan varlıkları kullanmanın bir yolunu bulmak isteyeceksiniz.

Büyük veri uygulamaları, referans mimarideki tüm öğeler için çok özel gereksinimlere sahiptir, bu nedenle, uygulamanızın işletmenizin taleplerine göre performans gösterecek ve ölçeklendirilmesini sağlamak için bu gereksinimleri katmanlar halinde incelemeniz gerekir.

Büyük veri ilkelerinin öncelikli listesinde aşağıdakilerle ilgili ifadeler yer almalıdır:

• Performans: Sistemin ne düzeyde duyarlı olmasını istiyorsunuz? Performans, ayrıca gecikme, olarak adlandırılır, tek bir işlem veya sorgu isteğine dayalı olarak genellikle uçtan uca ölçülür.

• Kullanılabilirlik: Hizmetinizin yüzde 100'lük bir çalışma süresi garantisine mi ihtiyacınız var? Hizmet kesintisi veya arıza durumunda işiniz ne kadar süre bekleyebilir?

• Ölçeklenebilirlik: Altyapınız ne kadar büyük olmalıdır? Bugün ve gelecekte ne kadar disk alanı gerekti? Ne kadar bilgisayar gücüne ihtiyacınız var? Tipik olarak, neye ihtiyacınız olduğuna karar vermeniz ve sonra beklenmedik zorluklar için biraz daha ölçeklendirmeniz gerekir.

• Esneklik: Altyapıya ne kadar çabuk kaynak ekleyebilirsiniz? Altyapınız arızalardan ne kadar çabuk kurtulabiliyor?

• Maliyet: Ödeyebileceğinizden? Altyapı bir takım bileşenler olduğundan, "en iyi" ağları satın alabilir ve depolamadan tasarruf etmeye karar verebilirsiniz. Bu alanların her biri için genel bir bütçe bağlamında şartlar belirlemeniz ve ardından gerekli yerlerde takaslar yapmanız gerekir.

Büyük veriler yüksek hızlı, yüksek hacimli ve yüksek veri çeşitliliği ile ilgili olduğu için fiziki altyapı kelimenin tam anlamıyla "uygulanmasını" sağlayacaktır. Çoğu büyük veri uygulamasının yüksek olması gerekir; bu nedenle ağlar, sunucular ve fiziksel depolama hem esnek hem de yedekli olmalıdır. Esneklik ve fazlalık birbiriyle ilişkilidir.

Bir altyapı veya bir sistem, yeterli yedekli kaynaklar bulunduğunda ve harekete geçmeye hazır olduğunda başarısızlığa veya değişime karşı dirençlidir. Fazlalık, böyle bir arızanın bir kesintiye neden olmamasını sağlar. Esneklik, altyapınızdaki tek başarısızlık noktalarını ortadan kaldırmaya yardımcı olur.

İş sürekliliği gereksinimine sahip büyük veri merkezlerinde, yedekliğin büyük bir kısmı yerinde ve büyük bir veri ortamı oluşturmak için kaldırabilmektedir.Yeni uygulamalarda tasarımcılar, dağıtımın maliyet ve performansa dayalı olarak işletmenin ihtiyaçlarına göre planlanması sorumluluğunu taşır.

Bu, teknik ve operasyonel karmaşıklığın her biri performans, kullanılabilirlik, kurtarma vb. Için belirli şartlar içeren bir hizmet koleksiyonunun arkasına gizlenmiş olduğu anlamına gelir. Bu terimler hizmet düzeyi sözleşmelerinde (SLA'lar) açıklanmaktadır ve genellikle uyumsuzluk nedeniyle ceza ile servis sağlayıcı ve müşteri arasında müzakere edilir.

Gerçekte, bu sanal bir veri merkezi oluşturur. Bu yaklaşımla bile, mevcut hizmet tekliflerinden en uygun seçimleri yapabilmeniz için büyük bir veri dağıtımı oluşturmak ve çalıştırmak için neyin gerekli olduğunu bilmelisiniz. Bir SLA'ya sahip olmasına rağmen, kuruluşunuz hala performans için nihai sorumluluğa sahiptir.

Fiziksel yedekli büyük veri ağları

Ağlar yedekli olmalı ve iş tarafından karşılaşılan "normal" ağ trafiğine ek olarak gelen ve giden verilerin beklenen hacmini ve hızını karşılayacak yeterli kapasiteye sahip olmalıdır. Büyük veriyi bilgisayar stratejinizin ayrılmaz bir parçası yapmaya başladıkça, hacim ve hızın artmasını beklemek mantıklı olur.

Altyapı tasarımcıları, bu beklenen artışları planlamalı ve "esnek" olan fiziksel uygulamalar yaratmaya çalışmalıdır. "Ağ trafiğinin dalgalanması ve akışının gerçekleşmesi gibi, uygulama ile ilişkili fiziksel varlıklar da var. Altyapınızın izleme kapasitesi sunması, böylece iş yüklerinde meydana gelen değişiklikleri gidermek için daha fazla kaynak gerektiğinde operatörler tepki verebilir.

Büyük veri donanımını yönetin: Depolama ve sunucular

Benzer şekilde, donanım (depolama ve sunucu) varlıkları, beklenen tüm büyük veri yeteneklerini işlemek için yeterli hız ve kapasiteye sahip olmalıdır. Yavaş sunucuları olan yüksek hızlı bir ağa sahip olmak pek yararlı değildir, çünkü sunucular büyük olasılıkla bir tıkanıklık haline gelecektir. Bununla birlikte, çok hızlı bir dizi depolama ve hesaplama sunucusu, değişken ağ performansını aşabilir. Şüphesiz, ağ performansı zayıfsa veya güvenilmezse, hiçbir şey düzgün çalışmaz.

Büyük veri altyapı işlemleri

Bir diğer önemli tasarım dikkate altyapı operasyonları yönetimi. En yüksek düzeydeki performans ve esneklik yalnızca iyi yönetilen bir ortamda sunulacaktır. Veri merkezi yöneticileri, felaketli arızaları öngörebilmeli ve önleyebilmelidir; böylelikle, verilerin bütünlüğü ve süregelen iş süreçleri korunur. BT organizasyonları genellikle bu alana bakmakta ve dolayısıyla bu alanda az yatırım yapmaktadır.