Video: What is Database & SQL? 2024
Hadoop verilerine SQL erişimi için açık kaynak projeleri ve özel çözümler üretmek için çok sayıda şirket büyük yatırım yapıyor. SQL erişimi, terimini duyduğunuzda birkaç temel varsayıma dayandığınızı bilmelisiniz:
-
Dil standartları: Elbette en önemli standart dilin kendisini gerektirir. Çoğu "SQL benzeri" çözümler bulunur, ancak genellikle belirli temel yollarla ölçülmezler - tipik SQL ifadelerinin bile çalışmasını engelleyecek yollar.
Amerikan Ulusal Standartlar Enstitüsü (ANSI) resmi teknik standart olarak SQL'i kurdu ve BT endüstrisi, temel SQL uyumluluğunun kıstasını temsil eden ANSI SQL-92 standardını kabul etti. ANSI veritabanı teknolojileri geliştikçe, yıllar içinde aşamalı olarak daha gelişmiş bazı sürümler yayımladı.
-
Sürücüler: Bir SQL erişim çözümünün bir diğer önemli bileşeni, uygulamalar için veri deposuyla veri alışverişi yapan ve arabirimi olan sürücüsü 'dir. Sürücü olmadan herhangi bir istemci uygulaması veya SQL sorgusu göndermek için bağlanacak araçlar için SQL arabirimi yoktur.
Bu nedenle, Hadoop çözümündeki SQL'lerin en azından JDBC ve ODBC sürücülerine sahip olmaları gerekir; çünkü bunlar en çok kullanılan veritabanı arabirimi teknolojileri.
-
Gerçek zamanlı erişim: Hadoop 2'ye kadar, MapReduce tabanlı yürütme, Hadoop'ta saklanan verilere karşı analitik için yalnızca mevcut seçenekti. Bir tablodaki verilerin tam taranmasını içeren nispeten basit sorgular için Hadoop, geleneksel bir ilişkisel veritabanına kıyasla oldukça hızlıydı.
Bunun, bir veri toplama analizi kullanım örneğidir; burada, hızlı , ne kadar veriye bağlı olduğuna bağlı olarak, saatler anlamına gelebilir. Ancak, veri alt kümelerini içeren daha karmaşık sorgular geldiğinde Hadoop iyi sonuç vermedi. MapReduce, toplu işlem çerçevesidir, bu nedenle Hadoop 2'den önce gerçek zamanlı sorgular için yüksek performans elde etmek mimari olarak imkansızdır.
Bloğun yeni kaynak yönetimi ve çizelgeleme sistemi olan YARN için erken bir motivasyon kaynağı, etkileşimli SQL sorguları gibi gerçek zamanlı iş yüklerini etkinleştirmek için diğer işlem çerçevelerini destekleme gereksinimi idi. Nitekim, uygun bir SQL çözümü, insanları makul sorgular beklemek zorunda bırakmamalıdır.
-
Değişken veri: Hadoop'ta SQL desteği etrafında yapılan birçok tartışmada ortak bir soru "Tipik bir ilişkisel veritabanında yapabileceğimiz gibi, ve ifadeleri kullanabilir miyiz? "Şimdilik, hayır, HDFS'nin doğasını yansıtıyor - büyük, değişmez dosyalar üzerinde yoğunlaşıyor.Hive gibi teknolojiler bu dosyalara salt okunur erişim sağlar. Ne olursa olsun, Hive Apache projesinde çalışma devam ediyor.
