spark入門及集群環(huán)境搭建
軟件環(huán)境: VMware workstation 11.0
從網(wǎng)站建設(shè)到定制行業(yè)解決方案，為提供成都網(wǎng)站建設(shè)、做網(wǎng)站服務(wù)體系，各種行業(yè)企業(yè)客戶提供網(wǎng)站建設(shè)解決方案，助力業(yè)務(wù)快速發(fā)展。創(chuàng)新互聯(lián)公司將不斷加快創(chuàng)新步伐，提供優(yōu)質(zhì)的建站服務(wù)。
linux ：CentOS 6.7
hadoop-2.7.3
jdk-1.0.7_67
spark-2.1.0-bin-hadoop2.7/
安裝虛擬機(jī)和jdk就不再此贅述。
直接講解安裝hadoop和spark的安裝。
一。下載hadoop源碼包。點擊此處下載: http://hadoop.apache.org/
1.下載后解壓到指定的目錄下。
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop
2.解壓后進(jìn)入目錄 cd /usr/hadoop/hadoop-2.7.3
3.修改配置文件: 進(jìn)入到cd /hadoop-2.7.3/etc/hadoop下需要修改幾個配置文件
1> cp etc/hadoop/hadoop-env.sh.template.hadoop-env.sh
cp etc/hadoop/hdfs-site.xml.templete hdfs-site.xml
cp etc/hadoop/core-site.templete core-site.xml
cp etc/hadoop/mapred-env.sh.templete mapred-env.sh
cp etc/hadoop/mapred-site.templete mapred-site.sh
cp etc/hadoop/slaves.templete slaves
cp etc/yarn-env.sh.templete yarn-env.sh
cp etc/yarn-site.xml.templete yarn-site.xml
注意: 一般修改系統(tǒng)配置文件時最好做一個備份或者復(fù)制后修改，就像這樣的。
hadoop-env.sh 配置文件的內(nèi)容
# The java implementation to use. export JAVA_HOME=/opt/modules/jdk1.7.0_67/ 這是需要修改為自己機(jī)器安裝的jdk的位置。其他文件內(nèi)容不需要修改。
hdfs-site.xmldfs.replication 2 dfs.block.size 134217728 dfs.namenode.name.dir /home/hadoopdata/dfs/name dfs.datanode.data.dir /home/hadoopdata/dfs/data fs.checkpoint.dir /home/hadoopdata/checkpoint/dfs/cname fs.checkpoint.edits.dir /home/hadoopdata/checkpoint/dfs/cname dfs.http.address master:50070 dfs.secondary.http.address slave1:50090 dfs.webhdfs.enabled true dfs.permissions true
3> core-site.xml
4> mapred-env.sh
export JAVA_HOME=/usr/local/java/jdk1.7.0_67/
修改為自己電腦的jdk路徑。
5> mapred-site.xml
6> slaves 設(shè)置需要幾個節(jié)點運行
master
slave1
slave2
7> yarn-env.sh
JAVA=$JAVA_HOME/bin/java 引用jdk的路徑
8> yarn-site.xml
注意: 修改完配置后，需要將hadoop分發(fā)到其他節(jié)點。 slave1和slave2.
scp -r /usr/hadoop/hadoop-2.7.3 root@slave1:/usr/hadoop
scp -r /usr/hadoop/hadoop-2.7.3 root@slave2:/usr/hadoop
然后需要修改環(huán)境變量文件?？梢孕薷漠?dāng)前用戶的 環(huán)境變量文件，就是~./bash_rc 或全局變量文件 /etc/profile
export JAVA_HOME=/usr/local/jdk-1.7.0_67
export PATH=:PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
保存 :wq; 然后可以把環(huán)境變量文件發(fā)送給其他節(jié)點。
二. 格式化namenode節(jié)點
hadoop namenode -format 會看到一堆輸出信息。然后會提示namenode 格式化成功的提示。
三。啟動集群.
可以全部啟動，也可以單獨 啟動。
hadoop 安裝路徑下有個sbin 目錄，下是存放的是系統(tǒng)的啟動腳本。
全部啟動: start-all.sh
單獨啟動節(jié)點: hadoop-daemon.sh start namenode/datanode xxx.
啟動后用jps查看進(jìn)程。
分享題目：spark入門及集群環(huán)境搭建
文章起源：http://m.jiaotiyi.com/article/gsdeps.html