Hadoop Ortamını Apache Bigtop ile kurun - kuklalar

VM'ler ve Linux ile çalışmaktan memnunsanız, Bigtop'u önerilenden farklı bir VM'ye yüklemekten çekinmeyin. Gerçekten cesurysanız ve donanıma sahipseniz, devam edin ve Bigtop'u tam dağıtılmış modda bir makine kümesine yüklemeyi deneyin!

Adım 1: Bir VM'yi İndirme

Hadoop, tüm popüler Linux dağıtımlarında çalışır, bu nedenle bir Linux VM'ye ihtiyacınız vardır. Serbestçe erişilebilen (ve yasal!) CentOS 6 resmi mevcut.

Bu VM'yi çalıştırmak için dizüstü bilgisayarınızda 64 bitlik bir işletim sistemine sahip olmanız gerekir. Hadoop'un 64 bitlik bir ortama ihtiyacı var.

VM'yi indirdikten sonra, indirilen Zip dosyasından hedef dizine ayıklayın. Hadoop olarak yaklaşık 50GB boş alan bulunduğundan emin olun ve örnek verilerinizin buna ihtiyacı olacaktır.

Eğer bir VM oynatıcınız yoksa, bir tane ücretsiz indirebilirsiniz.

VM oynatıcınızı kurduktan sonra oynatıcıyı açın, Dosya → Aç'a gidin, ardından Linux VM'yi çıkardığınız dizine gidin. Aranan bir dosyaya bakın ve seçin. Kaç adet işlemciye ve ne kadar bellek kullanacağınıza ilişkin bilgileri göreceksiniz. Bilgisayarınızın ne kadar belleğe sahip olduğunu öğrenin ve kullanılacak VM için bunun yarısını ayırın. Hadoop'un çok fazla belleğe ihtiyacı var.

Hazır olduğunuzda Oynat düğmesini tıklayın, Linux örneğiniz başlayacaktır. Linux önyüklenirken çok sayıda mesaj görürsünüz ve bir giriş ekranına geleceksiniz. Kullanıcı adı zaten "Tom" olarak ayarlanmış. "Parolayı" tomtom "olarak belirtin ve oturum açın.

Adım 2: Bigtop'u İndirme

Linux VM'nizden ekrana sağ tıklayın ve beliren bağlam menüsünden Terminalde Aç'ı seçin. Bu, komutları çalıştırabileceğiniz bir Linux terminali açar. İmlecin yanıp sönmesini görebilmek için terminalin içine tıklayın ve aşağıdaki komutu girin: su -

Parolanız sorulacak, daha önce yaptığınız gibi "tomtom" yazın. Bu komut, kullanıcıyı bir Linux bilgisayarının ana hesabı olan kök haline getirir - Hadoop'u kurmak için buna ihtiyacınız olacak.

Kök erişiminizle (gücün başına gelmesine izin vermeyin), aşağıdaki komutu çalıştırın:

wget -O / etc / yum. repolar. D / bigtop. repo 

// www. apache. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Komut aslında, görebileceğiniz URL'de belirli bir dosyayı isteyen bir web isteğidir ve onu belirli bir yoldan yazar - bu durumda budur.

Adım 3: Bigtop'u Kurma

Linux'un arkasındaki dahiler, Hadoop gibi büyük yazılım paketleri yüklemeniz gereken insanlar için hayatı oldukça kolaylaştırdı.Son adımda indirdiğiniz şey, Bigtop paketinin tamamı ve bağımlılıkları değildi. Sadece bir depo dosyasıydı (uzantılı), bir yükleyici programa Bigtop kurulumu için hangi yazılım paketlerinin gerekli olduğunu söyler.

Herhangi bir büyük yazılım ürünü gibi, Hadoop'un da ön koşulları vardır, ancak endişelenmeniz gerekmez. İyi tasarlanmış bir dosya herhangi bir bağımlılığı gösterecek ve yükleyici, bilgisayarınızda eksik olup olmadığını görmek ve daha sonra bunları indirip yüklemek için akıllıdır.

Burada kullandığınız yükleyicinin adı yum, şu an harekete geçeceğiniz:

yum install hadoop * mahout * oozie * hbase * kovan * renk tonu * domuz * zookeeper *

yüklemek için Hadoop bileşenlerini seçip seçiyor. Bigtop'da mevcut diğer bileşenler de vardır, ancak burada kullanacağınız bileşenler bunlar. VM, yeni bir Linux yüklemesi olduğundan, birçok bağımlılığa ihtiyacınız olacak, bu yüzden biraz beklemelisiniz.

Yum yükleyici oldukça ayrıntılı, bu nedenle zamanı geçmek için tam olarak nelerin indirildiğini ve kurulduğunu izleyebilirsiniz. Yükleme işlemi tamamlandığında, "Complete!" Yazan bir ileti görmelisiniz. "

Adım 4: Hadoop'u Başlatma

Hadoop'ta uygulamaları çalıştırmaya başlamadan önce, yapmanız gereken birkaç temel yapılandırma ve ayarlama işlemi vardır. İşte sırada:

1. Java'yı indirin ve kurun:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. NameNode biçimlendirin:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Sözde dağıtılmış kümeniz için Hadoop hizmetlerini başlatın:

   for i hadoop-hdfs-namenode hadoop-hdfs-datanode; sudo hizmeti yapmak $ i başlatın; done
   

4. HDFS'de bir alt dizin yapısı oluşturun:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. YARN sütunlarını başlat:

sudo hizmeti hadoop-iplik-resourcemanager başlatma servisi hadoop-iplik-nodemanager başlatma

Ve bununla bitti. Tebrik ederiz! Çalışan bir Hadoop dağıtımı kurduk!

Adım 5: Örnek veri kümesinin indirilmesi

Örnek veri kümesini indirmek için, Firefox tarayıcısını VM içinden açın ve dataexpo sayfasına gidin.

Tüm veri kümesine ihtiyacınız olmayacaktır; bu nedenle, 1987'de tek bir yılla başlayın. İndirme yapmak üzereyken, Arşiv Yöneticisi ile aç seçeneğini seçin.

Dosyanız indirildikten sonra, dosyayı kolayca bulabileceğiniz ev dizininize çıkarın. Ayıkla düğmesini tıklayın ve sonra Masaüstü dizinini seçin.

Adım 6: Örnek veri kümesini HDFS'ye kopyalayın

Hadoop programlarınızın yalnızca HDFS'de saklandıktan sonra verilerle çalışabileceğini unutmayın. Yani şimdi ne yapacaksın, 1987 uçuş verilerini HDFS'ye kopyala yapacaksın. Aşağıdaki komutu girin:

hdfs dfs-copyFromLocal 1987. csv / kullanıcı / kök