Video: Hadoop Tutorial For Beginners | Hadoop Ecosystem Explained in 20 min! - Frank Kane 2024
Sosyal duyarlılık analizi kolayca aşırı abartılır Hadoop'un kullandığı şey, dünyanın sürüp giden bağlı olduğu ve mevcut ifade nüfusu göz önüne alındığında, sürpriz olmamalı. Bu kullanım davası, insanların yaptıklarını (örneğin yaşam olayları) ve çevrelerindeki dünyaya nasıl tepki gösterdiğini (duyguları) geliştirmek için forumlardan, bloglardan ve diğer sosyal medya kaynaklarından gelen içeriği etkiler.
Metin tabanlı veri doğal olarak bir ilişkisel veritabanına sığmadığından, Hadoop bu verileri analiz etmek ve analiz etmek için pratik bir yerdir.
Dil, insanlar için bile zaman zaman yorumlanmak zordur - özellikle de kendi toplulukunuzdan farklı bir toplumsal gruptaki insanlar tarafından yazılan metni okursanız. Bu grup insan kendi dilinizi konuşuyor olabilir, ancak onların ifadeleri ve tarzı tamamen yabancıdır, bu nedenle iyi bir deneyimden mi yoksa kötü bir konuyla mı konuştıklarından emin değilsiniz.
Örneğin, bir filmle ilgili olarak bomb kelimesini duyarsanız, filmin kötü olduğunu (ya da gençliğin bir parçasıysanız iyi olur anlamına gelebilir) "Bu bombayı da iltifat olarak yorumlayan hareket"; Tabii ki, havayolu güvenlik işindeyseniz, bomb kelimesi oldukça farklı bir anlam taşır. Mesele şu ki, dil çeşitli değişken şekillerde kullanılmakta ve sürekli gelişmektedir.
Sosyal medyadaki düşünceleri analiz ettiğinizde, çoklu yaklaşımlardan birini seçebilirsiniz. Temel yöntem, programlı olarak metni çözümler, dizeleri çıkarır ve kuralları uygular. Basit durumlarda bu yaklaşım mantıklıdır. Ancak, gereksinimler değiştikçe ve kurallar daha karmaşık hale geldiğinde, elle kodlu metin çıkarma kodlamaları, özellikle performans optimizasyonu için kod bakımı perspektifinden artık mümkün değildir.
Metin işlemeye ilişkin dilbilgisi ve kurallara dayalı yaklaşımlar, Hadoop'ta büyük ölçekli çıkartmada önemli bir husus olan hesaplama açısından pahalıdır. Kuralların (duyarlılık çıkarma gibi karmaşık amaçlar için kaçınılmaz olduğu) daha fazla yer alması o kadar çok işlem gerektirir.
Alternatif olarak, istatistiğe dayalı bir yaklaşım, duyarlılık analizi için giderek yaygınlaşmaktadır. Elle karmaşık kurallar yazmak yerine Apache Mahout'daki sınıflama odaklı makine öğrenme modellerini kullanabilirsiniz. Buraya gelin, modellerinizi olumlu ve olumsuz duyguların örnekleriyle eğitmeniz gerekir. Sağladığınız daha fazla eğitim verisi (örneğin, tweet'lerden metinler ve sınıflandırma), sonuçlarınız doğru olur.
Sosyal duyarlılık analizi için kullanım örneği, çok çeşitli endüstrilerde uygulanabilir. Örneğin gıda güvenliğini göz önünde bulundurun: Gıda kaynaklı hastalıkların salgını olabildiğince hızlı bir şekilde öngörmeye çalışmak, sağlık görevlileri için son derece önemlidir.
Aşağıdaki resim, potansiyel hastalığa dayalı sökücüler kullanarak tweet'leri besleyen bir Hadoop bağlantılı uygulamayı göstermektedir: FLU veya GIDA ZEHİRLENMESİ.
Cıvıldıklarının coğrafi yerini gösteren üretilen ısı haritasını görüyor musunuz? Büyük verilere sahip bir dünyadaki verilerin bir özelliği, çoğunun uzaysal olarak zengin olmasıdır: Yörünge bilgisine sahiptir (ve zamansal nitelikler de vardır). Bu durumda, Twitter profili yayınlanan yere bakarak ters mühendislik işlemine tabi tutuldu.
Sonuç olarak, bir sürü Twitter hesabı, genel profillerinin bir parçası olarak coğrafi konumlara (yanı sıra, düşüncelerini kendi işverenlerine konuşmak yerine kendi alanlarına çeviren feragatname) sahiptir.
Gribin ortaya çıkması veya bir gıda zehirlenmesi olayı için sosyal medya ne kadar iyi bir tahmin motoru olabilir? Gösterilen isimsiz numune verilerini göz önünde bulundurun. Sosyal medya sinyallerinin yaz başlarında ve erken düşüşe kadar belirli bir ABD ilinde bir grip salgını tahmininde bulunması için tüm diğer göstergeleri soktuğunu görebilirsiniz.
Bu örnek, sosyal medyayı analiz etmekten kaynaklanan bir diğer yararı göstermektedir: Size, posterin profillerinde özellik bilgilerine bakmak için benzeri görülmemiş bir fırsat verir. Onların, Twitter profillerinde kendileri hakkında söyledikleri, çoğunlukla eksik (örneğin, konum kodu doldurulmamıştır) veya anlamsızdır (konum kodu, bulut dokuz demek olabilir).
Fakat insanlar hakkında, söylediklerini temel alarak zamanla çok şey öğrenebilirsiniz. Örneğin, bir müşterinin, bebeğinin doğumunu, en son resimlerinin Instagram resmini veya Walter White'ın davranışına inanamayacağını belirten bir Facebook gönderisini duyurduğu tweeted (Twitter'da yayınlandı) olabilir Dün geceki Breaking Bad finale.
Bu her yerde bulunan örnekte, şirketiniz bir aile grafiğini toplayan bir hayat olayı (yeni bir çocuk, bir kişi tabanlı Ana Veri Yönetimi profili için değerli bir güncelleme), bir hobi (resim) ve ilgi niteliği ekleyebilir (sen Breaking Bad şovunu seversin).
Sosyal verileri bu şekilde analiz ederek, hobiler, doğum günleri, yaşam olayları, coğrafi yerler (örneğin ülke, eyalet ve şehir), işveren, cinsiyet, evlilik gibi kişisel nitelikleri kişisel niteliklere dönüştürme fırsatına sahipsiniz durumu ve daha fazlası.
Bir havayolu şirketinin CIO'su olduğunuzu bir dakika varsayalım. Mutlu ya da öfkeli sık seyahat edenlerin gönderilerini yalnızca duyguları tespit etmekle kalmaz, aynı zamanda sosyal medya bilgisini kullanarak sadakat programınız için müşteri profillerini de yuvarlayabilirsiniz.
Potansiyel müşterileri henüz paylaşılmayan bilgilerle daha iyi hedefleyebileceğinizi düşünün. Örneğin, müvekkilinize Breaking Bad Sezon 5'in artık uçağın medya sisteminde mevcut olduğunu bildiren bir e-posta ya da iki yaşından küçük çocukların ücretsiz sinek olduğunu duyurmak.
Kayıt sistemlerinin (örneğin, satış veya abonelik veritabanları) nişan sistemlerini (örneğin, destek kanallarını) nasıl karşıladıklarının iyi bir örneği. Bağlılık üyelerinin kurtarma ve seyahat geçmişi ilişkisel bir veritabanındaysa da, katılım sistemi, kayıtları güncelleyebilir (örneğin bir sütun).
