Video: Sqoop Import and Export data from RDMBS and HDFS 2024
MapReduce giderek büyük veriler için kullanışlı hale geliyor. 2000'li yılların başında, Google'daki bazı mühendisler geleceğe baktı ve web'de tarama, sorgu sıklığı vb. Gibi mevcut uygulamalar için mevcut mevcut çözümlerin çoğu mevcut gereksinim için yeterli olsa da, beklediği karmaşıklık için yetersiz kaldı. web, giderek daha fazla kullanıcıya ölçeklendi.
Bu mühendisler, işin ucuz bilgisayarlar arasında dağıtılması ve ardından bir "küme" şeklinde ağa bağlanması durumunda sorunu çözebileceklerini belirtti. Tek başına dağılım yeterli bir cevap değildi. Bu işin dağılımı aşağıdaki üç nedenden ötürü paralel olarak gerçekleştirilmelidir:
-
İşlem otomatik olarak genişletilebilir ve kontratlanabilir olmalıdır.
-
İşlem, ağdaki veya bireysel sistemlerin arızalarına bakılmaksızın devam edebilmelidir.
-
Bu yaklaşımı kullanan geliştiriciler, diğer geliştiriciler tarafından kolaylıkla kullanılabilecek hizmetleri oluşturabilmelidir. Dolayısıyla, bu yaklaşım veri ve hesaplamaların yapıldığı yerden bağımsız olmalıdır.
MapReduce genel bir programlama modeli olarak tasarlandı. İlk uygulamalardan bazıları, paralel yürütme, hata toleransı, yük dengeleme ve veri işleme gibi tüm temel gereksinimleri sağlamıştır. Projeden sorumlu mühendisler, mevcut işlevsel bilgisayar dillerinden iki yeteneği birleştirdiğinden, MapReduce inisiyatifini seçti: harita ve azaltın .
Google mühendisleri belirli bir pratik problemi çözmek için MapReduce'u tasarladılar. Bu nedenle, bu modelin uygulanmasıyla birlikte bir programlama modeli olarak tasarlandı - özünde bir referans uygulaması.
Referans uygulaması, konseptin uygulanabilirliğini ve etkililiğini göstermek ve bu modelin bilgisayar endüstrisi tarafından yaygın olarak benimsenmesini sağlamak için kullanılmıştır. Yıllar boyunca MapReduce'un diğer uygulamaları hayata geçirildi ve hem açık kaynak hem de ticari ürünler olarak mevcuttu.
