Veri Bilim Aletlerini Kazıma, Toplama ve Kullanma - aptallar

Bir iş analizini veya yaklaşmakta olan bir gazetecilik parçasını desteklemek için veri gereksiniminiz olsun, web kazıma ilginç ve benzersiz veri kaynaklarını bulmanıza yardımcı olabilir. web kazıma 'da, otomatik programlar kurduktan sonra ihtiyaç duyduğunuz veriler için webin taranmasına izin verdiniz. Verileri veya resimleri sürüklemek için içe aktarma da dahil olmak üzere kullanabileceğiniz ücretsiz ücretsiz araçlar. io, ImageQuilts ve DataWrangler.

Verileri ithal ederek kazımak. io

Web'den bir tabloyu bir Microsoft Office belgesine kopyalayıp yapıştırmayı denediniz ve sonra sütunların doğru şekilde hizalanmasını sağlayamadınız mı? Sinir bozucu, değil mi? İçe aktarmada tam da bu acı noktası. io adres vermek için tasarlandı.

ithalat. io - pronounced "import-eye-oh" - ücretsiz bir masaüstü uygulamasıdır; bu, ağ sayfasının herhangi bir bölümünü fare birkaç tıklama ile ağrısız bir şekilde kopyalamanıza, yapıştırmanıza, temizlemenize ve biçimlendirmenize olanak tanır. İçe aktarımı bile kullanabilirsiniz. Otomatik olarak tarama ve çok sayfalı listelerden veri çıkarma.

İçe aktarmayı kullanma. io, verileri basit veya karmaşık bir dizi web sayfasından kazıyabilirsiniz:

• Basit: Sayfa 1, Sayfa 2, Sayfa 3.'de görünen basit köprülerle web sayfalarına erişin.

• Karmaşık: > Bir form doldurun veya açılır listeden seçim yapın, ardından kazıma isteğinizi aracınıza gönderin. ithalat. io'nun en etkileyici özelliği, ne istediğinizi öğrenmek için fare tıklamalarınızı izleyebilmesidir ve size otomatik olarak sizin için görevlerinizi tamamlayabilecek yollar sunar. İthalat olmasına rağmen. io, görevleri öğrenir ve önerir; öneriyi doğru olarak işaretledikten sonra, bu görevlerde işlem yapmaz. Sonuç olarak, insan tarafından güçlendirilmiş bu etkileşimler, aşırı tahminde bulunulması nedeniyle makinenin yanlış bir sonuç çıkaracağı riskini azaltır.

ImageQuilts

ile görüntü toplamak ImageQuilts, kısmen veri görselleştirme alanındaki ilk öncülerden biri olan efsanevi Edward Tufte tarafından kısmen geliştirilen bir Chrome eklentisidir - çizelgelerin etkinliğini değerlendirmek için mürekkep oranı.

ImageQuilts'in gerçekleştirdiği görev, tanımlamak için aldatıcı basit ancak uygulanması çok karmaşıktır. ImageQuilts, onlarca görüntünün kolajını yapar ve hepsini bir araya getirerek, eşit yükseklikteki çoklu sıralardan oluşan bir "yorgan" haline getirir. Bu görev karmaşık olabilir, çünkü kaynak görüntüler neredeyse hiç aynı yüksekliğe sahip değildir. ImageQuilts, görüntüleri tek bir çıktı görüntüsü haline getirmeden önce sıyırır ve yeniden boyutlandırır.

Gösterilen görüntü yorganı, veriler bilim teriminin Google Görseller araması için "Yeniden Etiketlenmiş" türetilmiştir. ImageQuilts bile görüntülerin sırasını seçmenize veya onları rasgele seçmenize izin verir. Herhangi bir görüntüyü herhangi bir yere sürükleyip bırakmak, bir görüntüyü kaldırmak, tüm görüntüleri aynı anda büyütmek veya tek tek her bir görüntüyü büyütmek için aracı kullanın.

Aracı, görüntü renkleri arasında gizlemek için bile kullanabilirsiniz - renkten gri tonlamaya veya ters renk (bu analog fotografı işleme alan ender kişilerden biri iseniz, negatif kontak yapraklarını hazırlamak için kullanışlıdır).

DataWrangler

ile Data Wrangling

DataWrangler, University of Washington Interactive Data Lab tarafından desteklenen çevrimiçi bir araçtır (DataWrangler geliştirildiğinde, bu grup Stanford Görselleştirme Grubu olarak anılmıştır). Aynı grup, programlama deneyimi olmadan karmaşık görselleştirme oluşturmak için kullanabileceğiniz etkileşimli bir veri görselleştirme ortamı olan Lyra'yı geliştirdi.

Hedefiniz veri kümesidir - veya nesneleri bir heykeltıraş gibi hareket ettirerek temizlemek isterseniz (bu bölümü ikiye böldüğünüzde, o parçayı ayırın ve oraya hareket ettirin, bunu aşağı itin böylece altındaki her şey sağa kaydırılır vb.) - DataWrangler sizin için bir araçtır. Visual Basic kullanarak Excel'de yapabileceklerinize benzer şekilde DataWrangler ile manipülasyonlar yapabilirsiniz. Örneğin, internette listelerdeki bilgileri kopyalamak, yapıştırmak ve biçimlendirmek için DataWrangler veya Excel'i Visual Basic ile kullanabilirsiniz. DataWrangler, veri kümenize dayanan eylemleri önermekte ve atlanan satırların ortadan kaldırılması, verilerin bir sütundan ikiye bölünmesi veya üstbilgi sütun verisine dönüştürülmesi gibi eylemleri, tüm veri kümelerinde karmaşık eylemleri tekrarlayabilmektedir. DataWrangler ayrıca, veri kümenizin veri eksik olduğu yeri gösterebilir.

Eksik veriler, temizlenmesi gereken bir biçimlendirme hatasını gösterebilir.