Video: Fine-grained security with Apache Ranger on HDInsight Kafka | Azure Friday 2024
Daha fazla miktarda soğuk veri depolamanın yanı sıra, gördüğünüz bir basın geleneksel veri ambarları, dönüşüm (ELT) iş yükleri için artan miktarda işlem kaynağı kullanılıyor olmasıdır.
Veri dönüşümünü idare etmek için Hadoop'u bir önişleme motoru olarak kullanmanın ardındaki düşünce, değerli işlem döngülerinin boşaltılması ve veri ambarının asıl amacına uymasını sağlar: Analitik uygulamaları desteklemek için tekrarlanan iş sorularına cevap verin. Yine, Hadoop'un geleneksel veri ambarı dağıtımlarını nasıl tamamlayabileceğini ve verimliliklerini artırdığını görüyorsunuz.
Belki de minik, hayali bir ampul başınızı aydınlatmıştır ve "Hey, belki vardır" diye düşünüyor olmanız, bazı dönüşüm görevleri Hadoop'un veri işleme kabiliyeti için mükemmel bir şekilde uygundur., ancak ilişkisel bir veritabanı motorda çalışan SQL'in daha iyi olacağı cebirsel, aşamalı görevlerle dolu bir sürü dönüşüm işi biliyorum. Hadoop'ta SQL çalıştırabilirsem iyi olmaz mıydı? “
Hadoop'taki SQL zaten burada. Hadoop'taki verilere karşı SQL sorguları oluşturma kabiliyeti ile, veri akışlarınız için sadece bir ETL yaklaşımı ile sıkışıp kalmazsınız - ELT benzeri uygulamaları da dağıtabilirsiniz.
Dikkat çekmeniz gereken başka bir melez yaklaşım, dönüşüm mantığınızı nereden uygulayacağınızdır: Hadoop'ta mı yoksa veri ambarında mı? Bazı organizasyonlar depolarında analitiklerden başka herhangi bir şey çalıştırmakla ilgilenmese de, gerçekte ilişkisel veritabanlarının SQL çalıştırmada mükemmel olması ve Hadoop'tan daha fazla dönüşüm gerçekleştirmek için daha pratik bir yer olabileceği gerçeğidir.
