Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2024
Farklı kaynaklardan üretilen büyük veri kümelerinin dağıtılmış paralel işlenmesini sağlar. Esasen, büyük verileri depolamak ve işlemek için güçlü bir araçtır.
Hadoop, yapılandırılmış veya yapılandırılmamış her türden bilgiyi farklı kaynaklardan saklar ve daha sonra bu verileri istediğiniz gibi topluca toplar. Hadoop, dağınık paralel işleme kullanarak heterojen veriyi işler - bu da, büyük verileri işleyen analitik yazılımlarda çok verimli bir çerçeve haline getirir. Bazı büyük şirketler, Facebook, Yahoo da dahil olmak üzere Hadoop'u benimsiyorlar mı?, Google, IBM, Twitter ve LinkedIn.
Hadoop'tan önce şirketler, analiz edilmeyen ve neredeyse kullanılamayan büyük verilerin avantajından yararlanamadılar. Bu verileri mülkiyet ilişkisel bir veritabanında depolamak ve etrafında yapılandırılmış bir biçim oluşturmak maliyeti bu verilerin analiz edilmesinin faydalarını haklı çıkarmaz ve onu kullanır.
Öte yandan, Hadoop, bu görevi maliyetin bir kısmında kesintisiz hale getiriyor - şirketlerin edinmiş oldukları ve biriktirdikleri bol miktarda veri konusunda değerli bilgiler bulmalarına olanak tanıyor.
Hadoop'un gücü, metin, konuşma, e-postalar, fotoğraflar, mesajlar, tweet'ler gibi farklı türdeki verilerin işlenmesinde yatmaktadır. Hadoop, bu veriyi tüm çeşitliliğine toplatmaya özen gösterir ve size kolaylık sağlamak için tüm verileri sorgulama olanağı sağlar.
Verilerinizi anlamadan önce bir şema oluşturmak zorunda kalmazsınız; Hadoop, verileri orijinal formatında sorgulamanıza izin verir.
Hadoop, büyük miktarda çeşitli verilerin işlenmesinin yanı sıra, birden fazla makine üzerinde dağıtılan işlemlerin zamanlamasını yapan basit programları kullanarak hataya dayanıklıdır. Bu programlar, donanım hatasını algılar ve başka bir çalışan makineye göre görev aktarabilir. Bu düzenleme Hadoop'un donanım hatasından bağımsız olarak yüksek kullanılabilirlik sağlamasına olanak tanır.
Hadoop, işini yapmak için iki ana bileşeni (altproje) kullanır: MapReduce ve Hadoop Dağıtılmış Dosya Sistemi. İki bileşen kooperatif olarak çalışır:
-
MapReduce : MapReduce'un Hadoop uygulaması, Google'ın geniş veri kümelerini küçük görev bloklarına bölünerek işlemek için yaptığı programlama modelleri üzerine araştırmalarına dayanır. MapReduce, büyük veri kümelerini işlemek için kümedeki bir grup bilgisayar üzerinde dağıtılan algoritmaları kullanır.İki işlevden oluşur:
-
Ana düğüm (ağa bağlı bilgisayar) üzerinde bulunan Map () işlevi . Giriş sorgusunu veya görevi daha küçük görevlere böler ve daha sonra küçük görevleri işleyip ana düğüme geri gönderen işçi düğümlerine dağıtır. Alt görevler birden çok bilgisayarda paralel olarak yürütülür.
-
Reduce () işlevi , tüm alt görevlerin sonuçlarını toplar ve orijinal büyük sorguya cevap olarak döndürdüğü toplu bir sonuç elde etmek için bunları birleştirir.
-
-
Hadoop Dağıtılmış Dosya Sistemi (HDFS) : HDFS, veri merkezindeki diğer bilgisayarlarda bulunan (güvenilirliği sağlamak için) veri bloklarını çoğaltır ve verilerin dağıtılan sisteminizin çeşitli bölümlerine taşınmasını yönetir.
İki milyar insanın bir veritabanını düşünün ve Bay X'in sosyal arkadaşlarının sayısını hesaplamak ve coğrafi konumlarına göre onları düzenlemek istediğinizi varsayın. Bu çok uzun bir emirdir.
İki milyar insana ait veriler, sosyal ağlar, e-posta iletişim adresi listeleri, mesajlar, tweetler, tarama geçmişleri gibi çok çeşitli kaynaklardan kaynaklanabilir ve bu sadece açıcılar içindir. Hadoop, bu büyük ve çeşitli veri kütlelerini toplar, böylece basit bir sorgu ile araştırabilirsiniz.
Bu sorguyu çözmek için MapReduce programlama yeteneklerini kullanırsınız. Harita ve Reduce yordamlarını tanımlamak bu büyük veri kümesini bile yönetilebilir kılmaktadır. Hadoop çerçevesinin sunduğu araçları kullanarak hesaplamayı iki alt görev olarak yapacak bir MapReduce uygulaması oluşturursunuz:
-
Bay X'in sosyal arkadaşlarının ortalama sayısını hesaplayın.
-
Bay X'in arkadaşlarını coğrafi konuma göre düzenleyin.
MapReduce uygulama programınız bu alt görevleri paralel yürütür, alt görevler arasındaki iletişimi yönetir ve sonuçları bir araya getirir. İki milyar insandan, Bay X'in çevrimiçi arkadaşlarının kim olduğunu bilirsiniz.
Hadoop, bir dizi Harita işlemcisi sunar; seçtiğiniz hangisi (ler) altyapınıza bağlı olacaktır.
İşlemcilerinizden her biri belirli sayıda kayıt tutacaktır. Her işlemcinin bir milyon veri kaydını ele aldığını varsayalım. Her bir işlemci, anahtar-değer çiftlerinin birden çok kaydını üreten bir Eşleme prosedürü uygular. Burada, G (anahtar), bir kişinin (ülke) coğrafi konumu ve N (değer), kişinin sahip olduğu temaslar.
Her bir Harita işlemcisinin aşağıdakiler gibi birçok form çiftini ürettiğini varsayalım:
İşlemci Haritası # 1:
İşlemci Haritası # 2:
İşlemci Haritası # 3:
İşlemci Haritası # 4:
İşlemci Haritası # 5:
İşlemci Haritası # 6:
Reduce aşamasında, Hadoop belirli sayıda işlemci için bir görev atar: Üretmek için aynı tuşların değerlerini birleştiren Reduce prosedürünü yürütün Son bir sonuç. Bu örnek için Reduce uygulaması, her bir anahtar coğrafi konum için değerlerin sayısını özetlemektedir. Böylece, Harita aşamasından sonra Reduce fazı aşağıdakileri üretir:
---------
Açıkçası Bay.X popüler bir kişidir - ancak bu, MapReduce'un nasıl kullanılacağının çok basit bir örneğidir. İşlemin ve verinin işlemek için çok büyük olduğu milyarlarca belgeyi kümelemek gibi karmaşık işlemleri gerçekleştirmek istediğiniz büyük bir veri kümesiyle uğraştığınızı düşünün. Hadoop, düşünülmesi gereken bir araçtır.
