İçindekiler:
- Gerçek zamanlı işleme çerçeveleri
- Massively Parallel Processing (MPP) platformları
- NoSQL veritabanlarına giriş
Video: Büyük Veri için Veri Yapıları ve Algoritmalar - Kamer Kaya 2024
Hadoop'tan başlayarak alternatif büyük veri çözümlerini görebilirsiniz. Ufuk. Bu çözümler, gerçek zamanlı olarak büyük verilerle çalışmayı veya onu işlemek ve işlemek için alternatif veritabanı teknolojileri kullanmayı mümkün kılmaktadır. Burada, gerçek zamanlı işlem çerçevelerine, daha sonra Massively Parallel Processing (MPP) platformlarına ve son olarak Hadoop ortamının dışındaki büyük veriyle çalışmanıza izin veren NoSQL veritabanlarına tanıştıksınız.
ACID uygunluğu olarak adlandırılan, A tomicity, C onsistency, I solation, ve D idrar uyumluluğuna uyum. ACID uyumluluğu, doğru ve güvenilir veritabanı işlemlerinin garanti edildiği bir standarttır.
Büyük veri çözümlerinde, çoğu veritabanı sistemi ACID ile uyumlu değildir, ancak bu mutlaka büyük bir sorun teşkil etmez. Bunun nedeni, büyük veri sistemlerinin çoğunda Karar Destek Sistemleri (DSS) kullanılmaktadır, bu veri toplu işlem verilerini okumadan önce okumaktadır. DSS örgütsel karar destek için kullanılan bilgi sistemleri. İşlem dışı DSS gerçek ACID uyumluluk gerekliliklerini göstermez.
Gerçek zamanlı işleme çerçeveleri
Bazen gerçek zamanlı olarak büyük veri akışlarını sorgulamanız gerekebilir … ve bu tür şeyleri Hadoop kullanarak yapamazsınız. Bu gibi durumlarda, gerçek zamanlı bir işleme çerçevesi kullanın. gerçek zamanlı bir işleme çerçevesi , adından da anlaşılacağı üzere, veri akışları ve akışları sisteme akarken, verileri gerçek zamanlı (veya gerçek zamanlı olarak) işleyebilen bir çerçevedir. Aslında, gerçek zamanlı işleme çerçeveleri, Hadoop'ta konuşlandırılan toplu işlem çerçevelerinin antitezidir.
Gerçek zamanlı işleme çerçeveleri şu iki kategoriye ayrılabilir:
-
Sistemin toplam zaman verimliliğini artırmak için MapReduce görevlerinin yükünü düşüren çerçeveler: Çözümler bu kategoriye yakın gerçek zamanlı akış işlemi için Apache Storm ve Apache Spark dahildir.
-
Büyük verilerin gerçek zamanlı sorgulanmasını kolaylaştırmak için yenilikçi sorgulama yöntemleri dağıtan çerçeveler: Bu kategorideki bazı çözümler arasında Google'ın Dremel, Apache Matkap, Apache Hive için Köpekbalığı ve Cloudera'nın Impala bulunmaktadır.
Gerçek zamanlı akış işleme çerçeveleri, stok ve finansal piyasa analizlerinden e-ticaret optimizasyonlarına kadar gerçek zamanlı sahtekarlık algılamadan optimize sipariş lojistiğine kadar birçok sektörde oldukça yararlıdır. Çalıştığınız endüstriye bakılmaksızın, işiniz insanlar, makineler veya sensörler tarafından üretilen gerçek zamanlı veri akışlarından etkileniyorsa, gerçek zamanlı bir işleme çerçevesi sizin için en iyi duruma getirme ve üretme konusunda size yardımcı olur. organizasyon.
Massively Parallel Processing (MPP) platformları
MapReduce yerine, Massively Parallel Processing (MPP) platformları, dağıtılmış veri işleme için alternatif bir yaklaşım olarak kullanılabilir. Amacınız geleneksel bir veri ambarında paralel işleme dağıtmak ise, o zaman bir MPP mükemmel bir çözüm olabilir.
MPP'nin standart bir MapReduce paralel işleme çerçevesiyle nasıl karşılaştırıldığını anlamak için aşağıdakileri göz önünde bulundurun. MPP, paralel hesaplama görevlerini pahalı, özel donanım üzerinde yürütürken MapReduce bunları ucuz emtia sunucularında çalıştırıyor. Sonuç olarak, MPP işleme yetenekleri maliyet açısından kısıtlayıcıdır. Bu, MPP'nin standart MapReduce işlerine göre daha hızlı ve kullanımı daha kolay olduğunu belirtti. Bunun nedeni, MPP'nin Yapısal Sorgulama Dili (SQL) kullanılarak sorgulanabilmesidir, ancak yerel MapReduce işleri daha karmaşık Java programlama dili tarafından kontrol edilir.
Bilinen MPP üreticileri ve ürünleri, eski okul Teradata platformunu ve ayrıca EMC 2 Greenplum DCA, HP Vertica, IBM Netezza ve Oracle Exadata gibi yeni çözümleri içeriyor.
NoSQL veritabanlarına giriş
Geleneksel ilişkisel veritabanı yönetim sistemleri (RDBMS) büyük veri taleplerini karşılayacak donanıma sahip değildir. Bunun nedeni, geleneksel ilişkisel veritabanları, yalnızca temiz satır ve sütunlarda depolanan ve Yapılandırılmış Sorgu Dili (SQL) aracılığıyla sorgulanabilme yeteneğine sahip olan verilerden oluşturulmuş ilişkisel veri kümelerini işlemek üzere tasarlanmıştır.
RDBM sistemleri yapılandırılmamış ve yarı yapılandırılmış verileri işleme yeteneğine sahip değildir. Dahası, RDBM sistemleri, büyük veri hacmi ve hız gereksinimlerini karşılamak için gereken işleme ve taşıma özelliklerine sahip değildir.
Burada NoSQL gelir. NoSQL veritabanları, MongoDB gibi, büyük veri meydan okumasına ayak uyduracak şekilde tasarlanmış ilişkisel olmayan, dağınık veritabanı sistemleridir. NoSQL veritabanları, geleneksel ilişkisel veritabanı mimarisini aşar ve çok daha ölçeklenebilir, verimli bir çözüm sunar.
NoSQL sistemleri, ilişkisel olmayan veya şema içermeyen, yarı yapılandırılmış ve yapılandırılmamış verileri SQL dışı veri sorgulamasını kolaylaştırır. Bu sayede NoSQL veritabanları, büyük veri sistemlerinde yaygın olan yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri kaynaklarını işleyebilir.
NoSQL, grafik veritabanları, belge veritabanları, anahtar / değer depoları ve sütun aile mağazaları gibi dört kategori dışı ilişkisel olmayan veritabanı sunar. NoSQL, bu veri yapılarının her biri için yerli işlevsellik sunarken, çoğu ilişkisel olmayan veri türü için çok verimli bir depolama ve erişim işlevselliği sunar. Bu uyarlanabilirlik ve verimlilik, NoSQL'i büyük verilerin taşınması ve onunla birlikte gelen işleme zorluklarının üstesinden gelmek için gittikçe popüler bir seçim haline getiriyor.
NoSQL ismiyle ilgili bir tartışma var. Bazıları, NoSQL'in Sadece Sadece SQL anlamına gelmediğini öne sürerken, diğerleri kısaltmanın SQL olmayan veritabanlarını temsil ettiğini savunuyor. Argüman oldukça karmaşıktır ve gerçek ve kesin bir cevap yoktur.İşleri basitleştirmek için, NoSQL'i, SQL kullanarak sorgulanan RDBM sistemlerinin spektrumuna girmeyen bir ilişkisel olmayan veritabanı yönetim sistemleri sınıfı olarak düşünün.
