Middleware Hizmetleri: Veri Hareketi ve Veri Yükleme - ahşap

Çoğu durumda iki ara katman hizmeti - seçim ve çıkarma ve kalite güvencesi - veri kaynağının bulunduğu platformunda (sistem) aynı yerde yer alır. Veri ambarı, veri kaynağından farklı bir platformda barındırılıyorsa, verilerin sistemden sisteme aktarımını gerçekleştirmek için bir veri taşıma hizmeti kullanmanız gerekir. Muhtemelen göreceli olarak basit bir hizmet kullanabilirsiniz (örneğin basit bir dosya aktarım programı tarafından işlenir). Hareket servisi, bu noktada ihtiyaç duyarsanız, KG verilerinin ek dönüştürmeler yapmayı planladığınız ortama taşınması yeterlidir.

Dönüşüm ve KG işlemeyi, üretim veri ambarınızı çalıştırdığınız platformdan farklı bir platformda yapıyorsanız (örneğin, bir geliştirme sunucusunda, örneğin operasyonel sunucu üzerinde değil), veriyi sonunda bulunmasını istediğiniz yere getirmek için bir veri dolaşımı servisini daha çalıştırmanız gerekir. Bu işlem genellikle sadece nispeten basit bir dosya aktarımını gerektirir.

Veri yükleme hizmeti, çıkarılan QA'd, dönüştürülmüş ve yeniden QA'd edilen verileri deponuza yükler. Özelleştirilmiş bir program, SQL (örneğin bir INSERT deyimi) veya bir yardımcı program aracılığıyla veri yükleyebilirsiniz.

Büyük miktarda veri yüklemeniz gerekiyorsa, genellikle programlı veya SQL tabanlı bir yaklaşıma kıyasla çok daha kısa bir süreyi içeren hızlı yükleme yardımcı programını kullanmayı deneyin.

Verilerinizi bir ilişkisel veritabanına yüklemek için SQL kullanıyorsanız, günlük kaydını kapatarak (DBMS ürününüz buna izin veriyorsa) yükleme işlemini olabildiğince verimli yapmayı deneyin. Yükleme işi anormal olarak sonlandıysa, kısmen yüklenen tablonuzdan kurtulmak için sonlandırmanın neden olduğu sorunu çözmek için DROP veya TRUNCATE deyimini kullanmanız yeterlidir ve işi yeniden başlatmanız gerekir.

Bu süreç genellikle OLTP tarzı veriler ve işlem bütünlüğü için gerekli tesisleri (eş zamanlı yük ile) etkinleştirdiysen çok daha hızlıdır.