Büyük Verilerde Geleneksel ETL'nin Rolü - AYDINLATMALAR

ETL araçları, büyük bir veri ortamından veri almak için gereken üç önemli fonksiyonu (özü, dönüşümü, yükü) birleştirir ve başka bir veri ortamına koyun. Geleneksel olarak ETL, veri ambarı ortamlarında toplu işleme ile kullanılmıştır. Veri ambarları, işletme kullanıcılarına işletme odağıyla alakalı verileri analiz etmek ve raporlamak için bilgileri konsolide etmenin bir yolunu sunar. ETL araçları, verileri veri ambarları tarafından istenilen biçimde dönüştürmek için kullanılır.

Dönüşüm, veri ambarına yüklenmeden önce gerçekte ara bir yerde yapılır. IBM, Informatica, Pervasive, Talend ve Pentaho gibi birçok yazılım satıcısı, ETL yazılım araçlarını sağlar.

ETL, üç önemli işlevi yerine getirerek entegrasyon için altta yatan altyapı sağlar:

• Ayıkla: Kaynak veritabanındaki verileri okuyun.

• Dönüştür: Çıkarılan verilerin biçimini, hedef veritabanının gereksinimlerine uygun olacak şekilde dönüştürün. Dönüşüm, kuralları kullanarak veya verileri diğer verilerle birleştirerek yapılır.

• Yük: Verileri hedef veritabanına yazın.

Bununla birlikte, ETL geleneksel veri ambarlarından çok daha fazla entegrasyonu desteklemek için gelişmektedir. ETL, işlem sistemleri, operasyonel veri depoları, BI platformları, MDM hub'ları, bulut ve Hadoop platformları arasındaki entegrasyonu destekleyebilir. ETL yazılım sağlayıcıları, Hadoop ve geleneksel veri yönetimi platformları arasında büyük veri çıkarma, dönüştürme ve yükleme sağlamak için çözümlerini genişletiyor.

Veri temizleme, profil oluşturma ve denetleme gibi diğer veri bütünleştirme süreçleri için ETL ve yazılım araçları, verilerin güvenilir olduğuna emin olmak için verilerin farklı yönleri üzerinde çalışır. ETL araçları, veri kalitesi araçlarıyla entegre olur ve çoğu veri temizleme, veri haritalama ve veri soyunu belirleme için araçları içerir. ETL ile yalnızca entegrasyon için gereken verileri çıkarırsınız.

Yapısal ve yapılandırılmamış verilerin Hadoop'a yüklenmesi ve dönüştürülmesi için ETL araçları gereklidir. Gelişmiş ETL araçları, verilerin ortak bir dönüşüm sürecine nasıl birleştirildiğini basitleştirmek için Hadoop'a ve Hadoop'a paralel olarak birden fazla dosya okuyabilir ve yazabilir. Bazı çözümler, Hadoop veya geleneksel bir grid altyapısı üzerinde çalışan işlem ve etkileşim verileri için önceden oluşturulmuş ETL dönüşümlerinin kütüphanelerini içerir.

Veri dönüşümü, verilerin biçimini değiştirerek farklı uygulamalar tarafından kullanılabilen bir işlemdir.Bu, verilerin depolandığı biçime, verileri kullanacak olan uygulama tarafından gerekli biçimde değiştirilmesi anlamına gelebilir. Bu işlem ayrıca eşleme yönergelerini içerir, böylece uygulamalara işleme tabi tutulan verileri nasıl alacağınız anlatılır.

Veri dönüştürme süreci, yapılandırılmamış verilerin sayısındaki şaşırtıcı büyümeden dolayı çok daha karmaşık hale getiriliyor. Bir müşteri ilişkileri yönetimi gibi bir iş uygulaması, verilerin nasıl saklanacağına ilişkin özel gereksinimlere sahiptir. Verilerin, ilişkisel veritabanının organize satırlarında ve sütunlarında yapılı olması muhtemeldir. Sert format gereksinimlerini takip etmiyorsa, veriler yarı yapılandırılmış veya yapılandırılmamış olur.

Örneğin bir e-posta iletisinde bulunan bilgiler yapılandırılmamış olarak kabul edilir. Şirketin en önemli bilgilerinden bazıları; belgeler, e-posta mesajları, karmaşık mesajlaşma biçimleri, müşteri destek etkileşimleri, işlemler ve ERP ve CRM gibi paket uygulamalardan gelen bilgiler gibi yapılandırılmamış ve yarı yapılandırılmış formlardır.

Veri dönüştürme araçları, yapılandırılmamış verilerle iyi çalışacak şekilde tasarlanmamıştır. Sonuç olarak, yapılandırılmamış bilgileri iş süreci karar verme sürecine dahil etmek isteyen şirketler, gerekli veri entegrasyonunu gerçekleştirmek için elle kodlamanın önemli bir kısmıyla karşı karşıya kalmışlardır.

Yapısal olmayan verilerin karar vermede önemi ve önemi göz önüne alındığında, büyük satıcıların ETL çözümleri, yapılandırılmamış verilerin, operasyonel yapılandırılmış verilerle daha kolay entegre olabilmesi için standartlaştırılmış yaklaşımlar sunmaya başlamıştır.