Büyük Veri için Veri Madenciliği - mankenler

Veri madenciliği, büyük verilerin kalıplarını bulmak için büyük miktarda veriyi keşfetmek ve analiz etmektir. Teknikler istatistik ve yapay zeka (AI) alanlarından çıktı ve biraz karışımı veri tabanı yönetimine bırakıldı.

Genellikle, veri madenciliğinin amacı ya sınıflandırma ya da tahmindir. Sınıflamada, fikir veri gruplarına ayırmaktır. Örneğin, bir pazarlamacı, yanıtlayanların özelliklerine, bir tanıtıma kimin tepki vermediğine ilgi duyabilir.

Bunlar iki sınıftır. Tahminlerde, fikir sürekli bir değişkenin değerini tahmin etmektir. Örneğin, bir pazarlamacı, bir promosyona cevap vereceğini tahmin etmeyle ilgilenebilir.

Veri madenciliğinde kullanılan tipik algoritmalar arasında şunlar bulunur:

• Sınıflandırma ağaçları: Bir veya daha fazla tahmini değişkenlerin ölümlerine dayalı bağımlı bir kategorik değişkeni sınıflandırmak için kullanılan popüler bir veri madenciliği tekniği. Sonuç, düğümler ve düğümler arasındaki bağlantıları içeren bir ağaçtır ve eğer if-then kuralları oluşturmak için okunabilir.

• Lojistik regresyon: Standart regresyonun bir varyantı olan ancak kavramı sınıflandırmayla başa çıkmak için genişleten istatistiksel bir teknik. Olay oluşma ihtimalini bağımsız değişkenlerin bir fonksiyonu olarak öngören bir formül üretir.

• Sinir ağları: Hayvan beyinlerinin paralel mimarisinden sonra modellenen bir yazılım algoritması. Ağ, giriş düğümleri, gizli katmanlar ve çıktı düğümlerinden oluşur. Her birimin ağırlığı vardır. Veriler giriş düğümüne verilir ve deneme yanılma sistemi ile algoritma belirli bir durma ölçütlerini karşılayana kadar ağırlıkları ayarlar. Bazıları bunu kara kutu yaklaşımına benzetmiştir.

• K-en yakın komşuları gibi kümeleme teknikleri: Benzer kayıt gruplarını tanımlayan bir tekniktir. K-en yakın komşu tekniği, tarihsel (eğitim) verinin kayıt ve noktalar arasındaki mesafeleri hesaplar. Daha sonra bu kaydı, bir veri kümesindeki en yakın komşusu sınıfına atar.

İşte bir sınıflandırma ağacı örneği. Bir telefon şirketinin hangi konut müşterilerinin hizmetlerinden çıkarabileceklerini belirlemek istediğini göz önünde bulundurun.

Telefon şirketi şu özelikleri içeren bilgileri içerir: kişinin ne kadar süreyle hizmet ettiği, serviste ne kadar harcadığı, hizmetin sorunlu olup olmadığı, ihtiyaç duyduğu en iyi arama planına sahip olup olmadığı, nerede bulunduğu yaşlandığını, yaşını kaç yaşında, birlikte paketlenmiş başka hizmetleri olup olmadığını, diğer taşıyıcı planlarıyla ilgili rekabetçi bilgileri ve halen hizmetiniz olup olmadığını öğrenir.

Elbette bundan çok daha fazla özellik bulabilirsiniz. Son öznitelik çıktı değişkenidir; yazılımın, müşterileri iki grubun birine sınıflandırmak için kullanacağı şey budur - belki de kalıcılar ve uçuş riskleri.

Veri kümesi eğitim verisine ve bir test veri setine ayrılmıştır. Eğitim verileri, gözlem (öznitelik olarak adlandırılır) ve bir sonuç değişkeninden (bir sınıflandırma modelinde ikili) - bu durumda kalışçılardan veya uçuş risklerinden oluşur.

Algoritma, eğitim verileri üzerinden yürütülür ve bir dizi kural gibi okunabilen bir ağaç ortaya çıkar. Örneğin, müşteriler on yıldan fazla bir süre şirkette bulunmuşsa ve 55 yaşın üzerindeyse, sadık müşteriler olarak kalma ihtimalleri yüksektir.

Sonra bu kurallar, bu modelin "yeni veriler" üzerinde ne kadar iyi olduğunu belirlemek için test verileri kümesi üzerinde yürütülür. "Model için doğruluk önlemleri sağlanmaktadır. Örneğin, popüler bir teknik, karışıklık matrisidir. Bu matris, kaç kasa doğru doğru yanlış sınıflandırılmış hakkında bilgi sağlayan bir tablodur.

Model iyi görünüyorsa, mevcut olduğu için (diğer bir deyişle, yeni uçuş riskini tahmin etmek için kullanıldığında) başka verilere dağıtılabilir. Model, örneğin, uçuş riskleri olduğunu düşündüğü müşterilere özel teklifler göndermeye karar verebilir.