軟件環境: VMware workstation 11.0

創新互聯成立于2013年，我們提供高端網站建設公司、重慶網站制作、成都網站設計、網站定制、營銷型網站、成都小程序開發、微信公眾號開發、成都網站營銷服務，提供專業營銷思路、內容策劃、視覺設計、程序開發來完成項目落地，為成都展覽展示企業提供源源不斷的流量和訂單咨詢。

linux ：CentOS 6.7

hadoop-2.7.3

jdk-1.0.7_67

spark-2.1.0-bin-hadoop2.7/

安裝虛擬機和jdk就不再此贅述。

直接講解安裝hadoop和spark的安裝。

一。下載hadoop源碼包。點擊此處下載: http://hadoop.apache.org/

 1.下載后解壓到指定的目錄下。

  tar -zxvf hadoop-2.7.3.tar.gz  -C /usr/hadoop

 2.解壓后進入目錄  cd /usr/hadoop/hadoop-2.7.3

 3.修改配置文件: 進入到cd /hadoop-2.7.3/etc/hadoop下需要修改幾個配置文件

  1> cp etc/hadoop/hadoop-env.sh.template.hadoop-env.sh

   cp etc/hadoop/hdfs-site.xml.templete  hdfs-site.xml

    cp etc/hadoop/core-site.templete  core-site.xml

   cp etc/hadoop/mapred-env.sh.templete  mapred-env.sh

   cp etc/hadoop/mapred-site.templete  mapred-site.sh

    cp etc/hadoop/slaves.templete  slaves

   cp etc/yarn-env.sh.templete  yarn-env.sh

   cp etc/yarn-site.xml.templete  yarn-site.xml

注意: 一般修改系統配置文件時最好做一個備份或者復制后修改，就像這樣的。

  hadoop-env.sh 配置文件的內容

# The java implementation to use.
   export JAVA_HOME=/opt/modules/jdk1.7.0_67/
 這是需要修改為自己機器安裝的jdk的位置。其他文件內容不需要修改。

hdfs-site.xml
  
<property>
        <name>dfs.replication</name>
        <value>2</value>
        </property>
        <property>
        <name>dfs.block.size</name>
        <value>134217728</value>
        </property>
        <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoopdata/dfs/name</value>
        </property>
        <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoopdata/dfs/data</value>
        </property>
        <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoopdata/checkpoint/dfs/cname</value>
        </property>
        <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/home/hadoopdata/checkpoint/dfs/cname</value>
        </property>
        <property>
         <name>dfs.http.address</name>
        <value>master:50070</value>
         </property>
          <property>
           <name>dfs.secondary.http.address</name>
           <value>slave1:50090</value>
          </property>
           <property>
          <name>dfs.webhdfs.enabled</name>
        <value>true</value>
           </property>
          <property>
          <name>dfs.permissions</name>
          <value>true</value>
          </property>
</configuration>

 3> core-site.xml

<configuration>

    <property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:8020</value>

    </property>

    <property>

    <name>io.file.buffer.size</name>

    <value>4096</value>

    </property>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/modules/hadoop-2.7.3/data/tmp</value>

    </property>

</configuration>

4> mapred-env.sh

 export JAVA_HOME=/usr/local/java/jdk1.7.0_67/

 修改為自己電腦的jdk路徑。

5> mapred-site.xml

<configuration>

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    <final>true</final>

    </property>

    <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

    </property>

    <property>

    <name>mapreduce.job.ubertask.enable</name>

    <value>true</value>

    </property>

    <property>

    <!-- 配置map任務的主節點 運行在哪臺節點-->

    <name>mapred.job.tracker</name>

    <value>master:9001</value>

    </property>

6> slaves 設置需要幾個節點運行

 master

 slave1

 slave2

7> yarn-env.sh

  JAVA=$JAVA_HOME/bin/java  引用jdk的路徑

8> yarn-site.xml

 <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>salve2 </value>

    </property>

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>slave2:8032</value>

    </property>

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>slave2:8030</value>

    </property>

    <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>slave2:8031</value>

    </property>

    <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>slave2:8033</value>

    </property>

    <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>slave2:8088</value>

    </property>

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <property>

         <name>yarn.nodemanager.remote-app-log-dir</name>

         <value>/opt/modules/hadoop-2.7.3/tmp/logs</value>

    </property>

注意: 修改完配置后，需要將hadoop分發到其他節點。 slave1和slave2.

  scp -r /usr/hadoop/hadoop-2.7.3  root@slave1:/usr/hadoop

   scp -r /usr/hadoop/hadoop-2.7.3  root@slave2:/usr/hadoop

然后需要修改環境變量文件?？梢孕薷漠斍坝脩舻?環境變量文件，就是~./bash_rc 或全局變量文件 /etc/profile

  export  JAVA_HOME=/usr/local/jdk-1.7.0_67

  export  PATH=:PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

保存 :wq;  然后可以把環境變量文件發送給其他節點。

二. 格式化namenode節點

  hadoop namenode -format  會看到一堆輸出信息。然后會提示namenode 格式化成功的提示。

三。啟動集群.

  可以全部啟動，也可以單獨 啟動。

 hadoop 安裝路徑下有個sbin 目錄，下是存放的是系統的啟動腳本。

 全部啟動: start-all.sh

 單獨啟動節點: hadoop-daemon.sh  start namenode/datanode xxx.

 啟動后用jps查看進程。

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網站欄目：spark入門及集群環境搭建-創新互聯
本文URL：http://newbst.com/article6/dgigog.html

成都網站建設公司_創新互聯，為您提供網頁設計公司、企業網站制作、電子商務、響應式網站、移動網站建設、定制網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯