Hadoop

Hadoop'dan esinlenilmiş ETL motorları fikri son yıllarda büyük bir ivme kazandı. Sonuçta, Hadoop, bu veride çok miktarda veri ve işlemi destekleyen esnek bir veri depolama ve işleme platformudur. Aynı zamanda hataya dayanıklıdır ve sermaye ve yazılım maliyetlerinde azalma olanağı sağlar.

Ancak, Hadoop'un bir ETL motoru olarak popüler olmasına rağmen, pek çok kişi (ünlü bir analist firması dahil), ETL stratejiniz için teknolojinin tek parçası olarak Hadoop'u önermez. Bunun nedeni, büyük oranda ETL akışının geliştirilmesi, kuruluşunuzun mevcut veritabanı sistemleri, verilerin doğası ve kendisine bağımlı raporlar ve uygulamalar hakkında çok fazla uzmanlık gerektirdiğinden kaynaklanmaktadır.

Diğer bir deyişle, IT departmanınızdaki DBA'lar, geliştiriciler ve mimarlar, ihtiyaç duyulan ETL akışlarını uygulamak için Hadoop'la yeterince aşina olmalıdırlar. Örneğin, Pig, Hive veya hatta MapReduce ile yoğun bir şekilde el kodlaması, en basit veri akışlarını oluşturmak için gerekebilir - bu da şirketinizi bu yol izlerseniz bu becerilere kanca yapar.

Paralel hata ayıklama, uygulama yönetimi hizmetleri (kontrol işareti ve hata ve olay işleme gibi) gibi öğeleri kodlamanız gerekir. Ayrıca, sözcük dağarcığı gibi kurumsal gereksinimleri göz önünde bulundurun ve verilerinizin soyunu gösterebilirsiniz.

Veri sınıfının gerekli olduğu pek çok endüstri standart raporu için mevzuat şartları vardır; raporlayan kuruluş, rapordaki veri noktalarının nereden geldiğini, verilerin sana nasıl geldiğini ve verilere neler yapıldığını gösterebilmelidir.

İlişkisel veritabanı sistemleri için bile ETL yeterince karmaşıktır ve ETL akışlarını yönetmek ve geliştirmek için arabirimler sağlayan popüler özel ürünler bulunmaktadır. Bu ürünlerden bazıları artık Hadoop tabanlı ETL ve diğer Hadoop tabanlı geliştirme konularında yardımcı oluyor. Bununla birlikte, gereksinimlerinize bağlı olarak, dönüşüm mantığını desteklemek için kendi kodunuzdan bazılarını yazmanız gerekebilir.