Video: Büyük Veri ve Hadoop Eğitimi, Bilgisayar Mühendisleri Odası 16 Ocak 2016, İstanbul 2024
MapReduce, Hadoop'un tarihinin çoğunda, veri işleme konusunda şehirdeki tek oyun olmuştur. MapReduce'un bulunması Hadoop'un başarısının nedeni olmuş ve aynı zamanda daha fazla benimsenmeyi sınırlamanın önemli bir faktörü olmuştur.
MapReduce, yetenekli programcıların, dağıtılmış alt alan hesaplama altyapısı hakkında endişelenmeden dağıtılmış uygulamalar yazabilmesini sağlar. Bu çok büyük bir anlaşma: Hadoop ve MapReduce çerçevesi, uygulama geliştiricilerinin işlemek zorunda olmadığı her türlü karmaşıklığı ele alıyor.
Örneğin, düğüm ekleyerek kümeyi şeffaf bir şekilde ölçeklendirme yeteneği ve hem veri depolama hem de veri işleme alt sistemlerinin otomatik olarak yük devretmesi, uygulamalar üzerinde sıfır etkiyle gerçekleşir.
Buradaki madalyonun diğer tarafı MapReduce muazzam miktarda karmaşıklığı gizlemekle birlikte, bunun ne olduğunu unutmayı göze alamazsınız: paralel programlama için bir arayüz. Bu ileri bir beceri ve daha geniş kabul için bir engel. Henüz çok sayıda MapReduce programcısı yoktur ve herkesin onu idare etme becerisi yoktur.
Hadoop'un ilk günlerinde (Hadoop 1 ve öncesinde), yalnızca MapReduce uygulamalarını kümelerinizde çalıştırabilirsiniz. Hadoop 2'de YARN bileşeni, kaynak yönetimini ve MapReduce çerçevesinden zaman planlamayı ele geçirerek ve uygulamaları Hadoop kümesinde çalıştırmayı kolaylaştırmak için genel bir arayüz sağlayarak tüm bunları değiştirdi.
Kısaca, bu MapReduce, şimdi Hadoop'ta uygulamaları geliştirmek ve çalıştırmak için kullanabileceğiniz birçok uygulama çerçevesinden biridir. Hadoop'ta diğer çerçeveleri kullanarak uygulamaları çalıştırmak kesinlikle mümkündür, ancak MapReduce'u unutmaya başlayabileceğimiz anlamına gelmez.
MapReduce şu anda Hadoop için kullanılabilen ve üretim için hazır olan tek veri işleme çerçevesidir. Diğer çerçeveler de sonunda kullanılabilir olmasına rağmen, MapReduce'un kemerinin altında yaklaşık on yıl olgunluğu var (yaklaşık 4, 000 JIRA tamamlandı, yüzlerce geliştiricinin de bulunduğu, takip etmeniz durumunda).
Anlaşmazlık yoktur: MapReduce, Hadoop'un veri işleme için en olgun çerçevesidir. Buna ek olarak, önemli bir miktarda MapReduce kodu şu an kullanımda ve bu yakında herhangi bir yere gidecek gibi görünmüyor. Uzun hikaye kısa: MapReduce Hadoop hikayesinin önemli bir parçasıdır.
Apache Hive ve Apache Pig projeleri çok popüler çünkü Hadoop'ta veri işleme için daha kolay giriş noktaları. Birçok sorun için, özellikle SQL ile çözebileceğiniz türler, Kovan ve Domuz mükemmel araçlardır.Ancak, istatistiksel işlemler veya metin çıkarma gibi geniş kapsamlı bir görev için ve özellikle yapılandırılmamış verileri işlemek için MapReduce kullanmanız gerekir.
