İçindekiler:
- Bir modele aşırı uymak, ortak bir tuzaktır; çünkü insanlar, işe yarayan modeller yaratmak ister; bu nedenle, model çok iyi bir performans elde edilinceye kadar değişen değişkenleri ve parametreleri tutmaya caziptir - çok az veri. Erkeç insandır. Neyse ki gerçekçi çözümler üretmek de insandır.
- Bu anlayış, yalnızca, içinde bulunduğunuz iş alanının samimi bilgilerinden gelir. Alan uzmanlarının uzmanlığının, aşırı yükleme tuzağına düşmenizi önlemeye yardımcı olduğu yerdir.
Video: AIMS talep tahmin modelleri, kurumlara zaman tasarrufu sağlıyor mu? 2024
Eğri uydurma , hedefin yaratacağı tahmini analitikte kullanılan bir süreçtir bir veri serisindeki gerçek (orijinal) veri noktalarına en uygun matematiksel işlevi gösteren bir eğri.
Eğri, her veri noktasından geçebilir veya veriden eğilim çizme umuduyla bazı veri noktalarını yoksayarak veri topluluğunun içinde kalabilir. Her iki durumda da, tüm veri noktalarına, tüm veri noktalarını eğilimleri ve tahmini yardımı açıklayan bir eğriye sığdırmak amacıyla tek bir matematiksel fonksiyon atanır.
Eğri uydurma üç yoldan biriyle gerçekleştirilebilir:
-
Her veri noktası için tam bir uyuşma bulma ( enterpolasyon adı verilen bir işlem)
-
verilerin eğilimlerini çizme umuduyla bazı veri noktalarını göz ardı ederek toplu verileri
-
Düzeltilmiş grafiği
Eğri uydurma, eksik değerlerin yerini almak için olası veri noktalarını doldurmak veya analistlerin verileri görselleştirmesine yardımcı olmak için kullanılabilir.
Tahmini bir analitik model oluşturmak için çalışırken, modelinizi, veri örneğinize mükemmel şekilde sığdırmaktan kaçının. Böyle bir model başarısız olur - sefilce - veri örneği dışındaki benzer ancak değişken veri kümelerini tahmin etmek için. Bir modelin belirli bir veri örneğine çok yakın olması, aşırı olarak adlandırılan klasik bir hatadır.
Bir modele aşırı uymak, ortak bir tuzaktır; çünkü insanlar, işe yarayan modeller yaratmak ister; bu nedenle, model çok iyi bir performans elde edilinceye kadar değişen değişkenleri ve parametreleri tutmaya caziptir - çok az veri. Erkeç insandır. Neyse ki gerçekçi çözümler üretmek de insandır.
Modelinizin örnek veri kümesine aşırı uymaması için, örnek verilerinizden ayrı bir test verisi bulundurduğundan emin olun. Sonra, modeli çalışmaya başlamadan önce modelinizin performansını bağımsız olarak ölçebilirsiniz.
Böylece, aşırı uyumsuzluğa karşı genel bir koruma, verilerinizi iki bölüm halinde bölmektir: eğitim verileri ve test verileri. Modelin test verisine karşı performansı, modelin gerçek dünya için hazır olup olmadığı hakkında size çok şey anlatacaktır.
En iyi örnek, verilerinizin modelleme yaptığınız alanın daha büyük popülasyonunu temsil ettiğinden emin olmaktır. Aşırı eğitilmiş bir modelin tümünün, eğitildiği örnek veri kümesinin belirli özellikleri olduğunu bilir. Eğer modeli yalnızca kışın snowshoe satışlarında eğitirseniz, başka bir sezondaki verilere tekrar çalıştırıldığında sefil bir şekilde başarısız olursa şaşırmayın.
Aşırı uyumsuzluğun önlenmesi
Tekrar etmeye değer: Modelin çok fazla ayarlanması aşırıya sığdırmaya meyillidir. Bu türden bir çimdik analizde çok fazla değişken içerir. Bu değişkenleri minimumda tutun. Yalnızca mutlaka gerekli gördüğünüz değişkenleri, sonuçta önemli bir fark yaratacağını düşündüğünüz değişkenleri ekleyin.
Bu anlayış, yalnızca, içinde bulunduğunuz iş alanının samimi bilgilerinden gelir. Alan uzmanlarının uzmanlığının, aşırı yükleme tuzağına düşmenizi önlemeye yardımcı olduğu yerdir.
Modelinizin aşırı uymaması için size yardımcı olacak en iyi uygulamaların bir listesi:
Bu, nüfusun bir bütün olarak temsil edildiği bir veri kümesi seçti.
Veri kümenizi iki bölümden ayırın: eğitim verileri ve test verileri.
-
Eldeki iş için değişkenlerin analiz edilmesini sağlayın.
-
Alan bilgisi uzmanlarının yardımına ihtiyacınız var.
-
Borsada, örneğin, klasik analitik teknik, en iyi ticaret stratejisini bulmak için geçmiş verilere karşı bir model çalıştıran
-
geri test
'tür. Yeni bir boğa piyasasında üretilen verilere karşı yeni modelini çalıştırdıktan ve analizinde kullanılan değişken sayısını değiştirdikten sonra analist, en iyi getiriyi sağlayacak en uygun ticaret stratejisine benzeyen bir model oluşturduğunu varsayalım < ise, yalnızca test verilerinin üretildiği yıl geri dönüp ticaret yapabilir. Ne yazık ki yapamaz.
Bu modeli geçerli bir ayı piyasasında uygulamaya çalışırsa, aşağıya bakınız: Dar bir süre için optimize edilmiş bir modeli ve mevcut gerçeklere uymayan koşulları uygulayarak kayıplarına uğrayacaktır. (Öyle ki varsayımsal kârlar için.) Model, aşırı eğitilmiş olduğu için, yalnızca kaybolan boğa piyasası için çalıştı, örnek veriler üreten bağlamın özelliklerini taşıyan, ayrıntıları, açıkları ve eksiklikleri ile eksiksizdi. Bu veri setini çevreleyen tüm koşullar, gelecekte tekrarlanmayacak veya tüm nüfusun gerçek bir temsilinde gösterilecek - ancak hepsi aşırı para uyandıran modelde ortaya çıktı. Bir modelin çıktısı çok doğruysa, daha yakından incelemek için bir ipucu düşünün. Alan bilgisi uzmanlarının yardımıyla, sonuçlarınızın gerçek olamayacak kadar iyi olup olmadığını öğrenin ve daha fazla karşılaştırma için bu modeli daha fazla test verisi üzerinde çalıştırın.