Video: Son Komançi / Kovboy Film (Western) - Türkçe Dublaj İzle 2024
Domuz Latince Domuz programlarının dili. Pig, Domuz Latin komut dosyasını, Hadoop kümesinde yürütülebilen MapReduce işlerine çevirir. Pig Latin ile görüşürken, geliştirme ekibi üç temel tasarım ilkesine uymuştu:
-
Basit tutun . Pig Latin, Java MapReduce ile etkileşim kurmak için akıcı bir yöntem sunar. Başka bir deyişle, veri akışı ve analizi için Hadoop kümesinde paralel programların oluşturulmasını kolaylaştıran bir soyutlama. Karmaşık görevler, birbiriyle ilişkili veri dönüşümleri dizisi gerektirebilir - bu seriler veri akış dizileri olarak kodlanır.
Java MapReduce programları yerine Pig Latin komut dosyaları olarak veri dönüşümü ve akışları yazmak, bu programları yazmaya, anlamaya ve sürdürmeye daha kolay hale getirir; çünkü a) işi Java'da yazmak zorunda kalmazsınız, b) MapReduce açısından düşünmenize gerek yoktur ve c) zengin veri türlerini desteklemek için özel kodlar oluşturmanız gerekmez.
Pig Latin, Hadoop kümeninizi kullanmak için daha basit bir dil sunar, böylece daha fazla kişinin Hadoop'un gücünden yararlanmasını ve daha çabuk üretilmesini kolaylaştırır.
-
Akıllı yapın. Pig Latin Derleyicisinin bir Domuz Latin programını bir dizi Java MapReduce işine dönüştürme işini yaptığını hatırlatmak istersiniz. İşin aslı, derleyicinin, bu Java MapReduce işlerinin yürütülmesini otomatik olarak optimize edebildiğinden ve kullanıcının veriyi optimize etme ve bunlara erişmek yerine semantik üzerine odaklanmasına izin vermesini sağlamaktır.
Siz orada SQL türleri var, bu tartışma tanıdık gelecektir. SQL, bir RDBMS'de depolanan yapısal verilere erişmek için kullandığınız bildirimsel bir sorgu olarak ayarlanır. RDBMS motoru, önce sorguyu bir veri erişim yöntemine çevirir ve daha sonra istatistiklere bakar ve bir dizi veri erişim yaklaşımları üretir. Maliyet tabanlı optimizasyon yürütme için en verimli yaklaşımı seçer.
-
Kalkınmayı sınırlamayın. Pig'i genişletilebilir hale getirin, böylece geliştiriciler kendi iş problemlerini çözmek için işlevler ekleyebilir.
Geleneksel RDBMS veri ambarları, e dış kaynaklardan veri toplama, t , operasyonel ihtiyaçlarınıza uygun hale getirmek için ETL veri işleme modelini kullanır ve ardından > l , operasyonel bir veri deposu, veri ambarları veya başka bir veritabanı varyantı olsun, hedefin sonuna doğru yönlendirir. Bununla birlikte, büyük verilerle, genellikle taşıdığınız verilerin miktarını azaltmak istersiniz, dolayısıyla işlemeyi verinin kendisine getirirsiniz.
Bu nedenle Pig veri akışı için eski ETL yaklaşımı geçer ve yerine ELT ile gider:
E Verileri çeşitli kaynaklardan xtract eder, l yordur HDFS'ye dönüştürür ve ardından t verileri daha ayrıntılı analiz için verileri hazırlamak için gerektiği gibi tanımlar.
