Veri Bilimi için Paralel Python'da çalışan Veri Bilimi için Paralel Python'da

Günümüzde çoğu bilgisayar çok çekirdekli (tek bir pakette iki veya daha fazla işlemci), bazıları birden fazla fiziksel işlemci ile. Python'ın en önemli kısıtlamalardan biri varsayılan olarak tek bir çekirdek kullanmasıdır. (Tek çekirdekli olduğu bir zamanda yaratılmıştır.)

Veri bilimi projeleri oldukça fazla hesaplama gerektirir. Özellikle, veri biliminin bilimsel yönünün bir kısmı, farklı veri matrisleri üzerinde yapılan tekrarlanan testler ve deneylere dayanmaktadır. Büyük veri miktarlarıyla çalışmanın, gözlemden sonra (örneğin, bir matrisin farklı bölümleri üzerinde özdeş ve ilgili olmayan işlemler) gözlemlemeyi en çok zaman alıcı dönüşümlerin tekrarladığı anlamına gelir.

Daha fazla CPU çekirdeği kullanmak, hesaplamayı, çekirdek sayısıyla hemen hemen eşleşen bir faktör hızlandırır. Örneğin, dört çekirdeğe sahip olmak en iyi dört kat daha hızlı çalışmak demektir. Paralel bir süreç başlatırken ek yük çıktığından tam dört kat artış elde etmiyorsunuz - yeni çalışan Python örnekleri doğru bellek içi bilgilerle kurulmalı ve başlatılmalıdır; Dolayısıyla, gelişme potansiyel olarak erişilebilen seviyeden daha az olacaktır, ancak yine de önemli olacaktır.

Bu nedenle, birden fazla CPU'nun nasıl kullanılacağını bilmek, hem tamamlanan analiz sayısını artırmak hem de veri ürünlerinizi kurarken ve kullanırken operasyonlarınızı hızlandırmak için gelişmiş fakat inanılmaz derecede faydalı bir beceridir.

Çok işlemcili, çeşitli yeni Python örneklerinde (işçiler) aynı kodu ve bellek içeriğini çoğaltarak, her biri için sonucu hesaplayarak ve birleştirilmiş sonuçları ana orijinal konsola döndürerek çalışır. Orijinal örneğiniz mevcut RAM belleğinin çoğunu zaten kullanıyorsa, yeni örnekler oluşturmak mümkün olmayacak ve makinenizin belleği dolabilir.

Çok çekirdekli paralelliği gerçekleştirme

Python ile çok çekirdekli paralellik gerçekleştirmek için Scikit öğrenme paketini, sonuçların doğrulanması için ya da sonuçların doğrulanması için modellerin çoğaltılması gibi çok zaman alan operasyonlar için joblib paketiyle bütünleştiriyorsunuz en iyi hiper parametreler.

• Çapraz doğrulama: Farklı eğitim ve test verileri kullanılarak bir makine-öğrenme hipotezinin sonuçlarının test edilmesi

• Şebeke araştırması: Hiper parametreleri sistematik olarak değiştiren Scikit öğrenir Çoklu etiket tahmini:

• Aynı anda tahmin edilecek çok sayıda farklı hedef çıktığında birden çok hedefe karşı bir algoritma çalıştırma Topluluk makine öğrenme yöntemleri: Bir makine öğrenme hipotezi ve sonuçların test edilmesi

• Çoklu etiket tahmini:

RandomForest tabanlı modelleme

kullanırken olduğu gibi, her biri birbirinden bağımsız olarak geniş bir sınıflandırıcı serisinin modellenmesi Paralel hesaplamalardan yararlanmak için özel bir şey yapmak zorunda değilsiniz - paralellik ayarını, n_jobs parametresini 1'den fazla çekirdek sayısına veya değeri -1 olarak ayarlayarak, mevcut tüm CPU örneklerini kullanmak istediğiniz anlamına gelir.

Kodunuzu konsoldan veya bir IPython Dizüstü Bilgisayarından çalıştırmıyorsanız, kodunuzu, komut dosyanızdaki herhangi bir paketi içe aktarma veya genel değişken atamasından ayırmak çok önemlidir; if __name __ == '__ main__': komutu, çok çekime sahip paralelliği yürüten tüm kodların başında. If deyimi, programın doğrudan çalışıp çalışmadığını veya zaten çalışmakta olan bir Python konsolu tarafından çağrıldığını kontrol eder; çok paralel işlemle herhangi bir karışıklık ya da hata önleme (örneğin, paralelliği tekrar tekrar çağırma gibi).

Çok işlemci gösterme

Çoklu işlemcinin veri bilim projeleri süresince size zaman kazandırabileceğine dair bir gösteri yaparken IPython kullanmak iyi bir fikirdir. IPython'u kullanmak zamanlamanın yürütülmesi için% timeit sihirli komutunu kullanmanın avantajını sağlar. Çok katmanlı bir veri kümesi, karmaşık bir makine öğrenme algoritması (Destek Vektör Sınıflandırıcısı veya SVC) ve tüm prosedürlerden gelen güvenilir sonuç skorlarını tahmin etmek için çapraz doğrulama prosedürü yükleyerek başlayın.

Bilmeniz gereken en önemli şey, prosedürlerin oldukça büyük olmasıdır; çünkü SVC her biri çapraz doğrulama kullanarak 10 kez tekrar eden 10 model üretir ve toplam 100 model sunar.

sklearn'dan. veri kümeleri import_load_digits basamak = yük_digits () X, y = rakamlar. veri, rakamlar. sklearn'tan hedef. svm SVC'yi sklearn'dan içe aktarır. cross_validation import cross_val_score% timeit single_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = 1) Out [1]: 1 döngüler, en iyisi 3: 17. Döngü başına 9 saniye

Bu testten sonra, çok çekirdekli paralelliği etkinleştirmeniz ve sonuçları aşağıdaki komutları kullanarak zamanlamanız gerekir:

% timeit multi_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = -1) Out [2]: 1 döngüler, en iyi 3: 11. Her bir döngü için 7 saniye

Örnek makina, Python'un konsol başlangıcı zamanının çoğunu ve kodun bir bölümünü her birinde çalıştırdığı küçük bir veri kümesini kullanmasına rağmen çok çekimli işleme kullanarak olumlu bir avantaj ortaya koymaktadır. Birkaç saniyelik bu genel gider, toplam yürütmenin bir avuç saniye süreyle uzaması nedeniyle hala önemlidir. Daha büyük veri setleriyle çalışırsanız ne olacağını düşünün - uygulamanızın süresi iki ya da üç kez kolayca kesilebilir.

Kod, IPython ile iyi çalışsa da, bir komut dosyasına koyup Python'dan bir konsoldan çalıştırmasını isterse, bir çok çekirdekli görevin iç işlemleri nedeniyle hatalara neden olabilir. Çözüm, tüm kodu bir if ifadesinin altına koymaktır; bu, programın doğrudan başlatılıp başlatılmadığını ve sonradan çağrılmadığını denetler. İşte bir örnek komut dosyası:

sklearn. veri kümeleri, sklearn'dan load_digits'i içe aktarır. svm SVC'yi sklearn'dan içe aktarır. cross_validation import cross_val_score if __name__ == '__main__': rakamlar = yük_digitleri () X, y = rakamlar. veri, rakamlar. hedef multi_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = -1)