Middleware Hizmetler: Veri Kalitesi Güvencesi - mankenler

Ara katman hizmetleri akışında iki farklı kalite güvencesi (QA) hizmeti kurmalısınız. Daha fazla katmanlı bilgi hizmetleri gerçekleştirmeden önce, ilk KG görevlerini veri kaynağından ayıklamak için gerçekleştirmelisiniz.

Veri kalite güvencesi: bölüm I

İşlemlerin başında olabilecek hataları ve sorunları yakalamaya (ve düzeltmeye) çalışın. Boru hattından veri ambarına doğru veri taşımak, eğer problemler o kadar önemliyse, daha sonradan düzeltmek için çok daha fazla çaba harcaması ya da düzeltilememesi anlamsızdır.

Öyleyse, hangi sorunları ararsınız? İşte bazıları:

• Makul bir aralığı aşan veri öğelerindeki değerler: Örneğin, bir müşteri son bir ayda 150 milyon satın alma siparişini gönderdi veya bir çalışan 4, 297 yıl boyunca şirketle çalıştı., çalışan veri tabanına ve saklanan işe alım tarihine göre.

• İzin verilen değerlerin resmi ve eksiksiz listesine uymayan veri öğelerindeki değerler: Bir değer, örneğin, o alan için izin verilen tek değer M ve F olduğunda A kodu içerebilir. (If bu alan CİNSİYET etiketli, A androjenik olabilir!)

• Çapraz tutarsızlıklar: CUSTOMER_ORDER tablosundaki girdiler için, CUSTOMER_MASTER_TABLE'de karşılık gelen girdiler (CUSTOMER_ID tarafından tanımlandığı gibi) mevcut değildir.

• Alanlar arası tutarsızlıklar: Belirtilen şehir için yanlış bir eyalete veya posta koduna sahip olan kayıtlar.

• Eksik değerler: İçeriğin olması gereken bazı alanlarda eksik değerlere sahip olan kayıtlar.

• Veri boşlukları: Örneğin, bir kaynak tablo, son iki yıl içinde her ay için satılan toplam birim sayısı ve satış doları içeren bir satır veri içermelidir. Bununla birlikte, çok sayıda müşteri için, o aylardan en az birinde herhangi bir satır mevcut değildir.

• Tamamlanmamış veriler: Şirketin sattığı her ürün hakkında bilgi mevcut olması gerekiyorsa, örneğin, tüm ürünler ekstraktın içerisindedir?

• İş kurallarının ihlali: Bir iş kuralı, yalnızca bir toptancı firmanın müşterilerinin herhangi birine ürün satabileceğini belirtirse, herhangi bir müşteri kaydının birden fazla toptancı aracılığıyla yapılan satışları belirtip açıklamadığını kontrol etmeniz gerekir; kaynakta hatalı verileri gösterebilir.

• Son ekstrakttan bu yana veri bozulması: Ayıklama aylık gerçekleşirse, örneğin, ay başına sabit MÜŞTERİ başına SATIŞ SATIŞI gibi veri değerlerini veya toplamları takip etmelisiniz.Bir sonraki ayda, belirli bir müşterinin bir önceki ay için PER AYINDAN MÜŞTERİ HİSSE İŞ SATIŞI PERFORMANSININ DEĞERİ değişirse, temel alınan veriler bozulmuş olabilir.

• Yazım hatası tutarsızlıkları: Bir müşterinin adı birkaç farklı şekilde hecelendi.

Sorun bulurken ne yapıyorsun? Aşağıdaki tekniklerden birini deneyebilirsiniz:

• Otomatik düzeltme kuralı uygulayın. Örneğin, tutarsız bir yazım bulduğunuzda, önceki yazım düzeltmelerinin bir ana tabloda bir arama yapın ve veride otomatik olarak değişiklik yapın.

• Daha sonra analiz etmek ve düzeltmek için bir ekip üyesinin kaydını bir kenara bırakın. Bu durumda KG'nin insan kısmını otomatik düzeltme ile birlikte yapabilirsiniz.

  Örneğin, mümkünse otomatik düzeltmeler yapılır ve diğer sorunlarla ilgili bir rapor ayrı bir dosyaya konur ve KG personeline gönderilir. KG görevlisi tüm manuel düzeltmeleri yaptığında, düzeltmeleri otomatik KG işlemi boyunca giren verilere birleştirirsiniz.

• Jetlerinizi soğutun. Ciddi ya da belirsiz miktarda araştırma gerektiren sorunları keşfederseniz, sorunu bulup düzeltinceye kadar tüm süreci durdurmayı düşünün.

Kapsamlı bir kaynak sistemi analizi gerçekleştirirseniz KG işlemi çok daha verimli ve sorunsuz hale getirilebilir. Her bir veri kaynağında hangi tür veri sorununun karşılaşabileceği konusunda oldukça iyi bir fikriniz varsa, devam etmeden önce bu sorunları tespit etmek ve bu sorunları düzeltmek için KG sürecinizi yeniden programlayabilirsiniz.

Tarihsel olarak organizasyonlar, veri ambarı KG sürecini tek yönlü akış olarak değerlendirdiler. Veriler, katmanlı işlem akışına daha da ilerletilmeden önce sorunlar düzeltilir, ancak hiçbir zaman veri kaynaklarında düzeltilmemiştir. Çoğu yeni veri ambarı, kaynak verilerindeki veri kalitesi sorunlarını düzelten QA sürecinden yerleşik bir geri bildirim döngüsüne sahiptir.

Veri kalite güvencesi: bölüm II

Dönüştürme işlemlerinin tamamlanmasını müteakiben, veriler tekrar siparifl teyidinde bulunulmalıdır - tekrar. Dönüşüm sürecinin verilere ne tür hatalar veya tutarsızlıklar getireceğini asla bilemezsiniz. Değişiklikler gerçekleştikten sonra önceki KG süreçleri artık geçerli değil.

Konsolide edilmiş, dönüştürülen verileri, burada tartışılan aynı QA adımlarıyla çalıştırın. İlk düzey QA'nızda kapsamlı bir iş yaptıysanız büyük olasılıkla birçok temel hata (örn. Yazım hataları veya aralık dışında kalan değerler) bulamazsınız ancak yine de emin olmak istersiniz. Ayrıca, veri dönüşümünde kullanılan kodun veya komut dosyalarının yanlışlıkla yeni hatalara yol açmadığından emin olun.

Bu ikinci düzey KG'nin amacı, konsolide edilmiş ve dönüştürülmüş verilerinizin yüklenmeye hazır olduğundan emin olmaktır. veri ambarı - gerekirse bir adım daha atılır gelmez.