如何安裝單機(jī)版hadoop相關(guān)套件
這篇文章主要介紹如何安裝單機(jī)版hadoop相關(guān)套件，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！
成都網(wǎng)絡(luò)公司-成都網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)公司10年經(jīng)驗(yàn)成就非凡，專業(yè)從事成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)，成都網(wǎng)頁設(shè)計(jì)，成都網(wǎng)頁制作，軟文發(fā)布平臺(tái)，1元廣告等。10年來已成功提供全面的成都網(wǎng)站建設(shè)方案，打造行業(yè)特色的成都網(wǎng)站建設(shè)案例，建站熱線：13518219792，我們期待您的來電！
hdfs 和 yarn
配置文件在 $HADOOP_HOME/etc/hadoop 目錄下。
配置 hadoop-env.sh ，添加屬性
# The java implementation to use. export JAVA_HOME=/home/java/jdk1.8.0_191 export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08"
配置 core-site.xml
fs.defaultFS hdfs://hadoop-standalone:9000 hadoop.tmp.dir /home/data/hadoop hadoop.proxyuser.hadoop.hosts * hadoop.proxyuser.hadoop.groups *
配置 hdfs-site.xml
dfs.replication 1 dfs.permissions.enabled false dfs.webhdfs.enabled true
配置 mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop-standalone:10020 mapreduce.jobhistory.webapp.address hadoop-standalone:19888 mapreduce.jobhistory.intermediate-done-dir /history/done_intermediate mapreduce.jobhistory.done-dir /history/done
配置 yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop-standalone yarn.log-aggregation-enable true yarn.nodemanager.log-aggregation.debug-enabled true yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds 3600 yarn.log.server.url http://hadoop-standalone:19888/jobhistory/logs
yarn-env.sh 配置中添加
YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08"
格式化namenode
hdfs namenode -format
分別啟動(dòng) hdfs / yarn / jobhistory服務(wù)器
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
分別訪問
http://hadoop-standalone:50070
http://hadoop-standalone:8088
spark on yarn
先安裝scala, 再在系統(tǒng)的環(huán)境變量中配置SPARK_HOME
然后配置 spark-env.sh
export JAVA_HOME=/home/java/jdk1.8.0_191 export SCALA_HOME=/home/scala2.11.12 export HADOOP_HOME=/home/hadoop-2.7.7 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_LOCAL_DIRS=/home/data/spark
配置 spark-defaults.conf
spark.yarn.jars hdfs://hadoop-standalone:9000/spark/share/lib/*.jar spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop-standalone:9000/spark/spark-events spark.history.ui.port 18080 spark.history.retainedApplications 10 spark.history.fs.logDirectory hdfs://hadoop-standalone:9000/spark/spark-events
spark的運(yùn)行包上傳到dfs
hdfs dfs -put $SPARK_HOME/jars/* /spark/share/lib
啟動(dòng) spark history 服務(wù)器
$SPARK_HOME/sbin/start-history-server.sh
spark standalone 集群
master和slave都是同一臺(tái)機(jī)子, 即管理者和工人都是自己
啟動(dòng) spark master 和 slaves服務(wù)
$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-slaves.sh
下面是默認(rèn)的端口
SPARK_MASTER_PORT=7077 # 提交任務(wù)的端口 SPARK_MASTER_WEBUI_PORT=8080 # webui端口，查看任務(wù)進(jìn)程
打開頁面 http://hadoop-standalone:8080/ , 可以看到有worker已經(jīng)加入到集群
MySQL
用于一些組件的元數(shù)據(jù) ，需要事先啟動(dòng)
hive
添加環(huán)境變量
#hive export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin
復(fù)制mysql的驅(qū)動(dòng)程序到hive/lib
配置hive.env.sh
export HADOOP_HOME=/opt/hadoop-2.6.5 # Hive Configuration Directory can be controlled by: export HIVE_CONF_DIR=/opt/hive-2.3.5/conf
修改log生成的目錄。配置文件hive-log4j.properties。修改到你所需的目錄
property.hive.log.dir = /opt/hive-2.3.5/logs
配置 hive-site.xml
hive.metastore.warehouse.dir /user/hive/warehouse javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 hive.cli.print.header true hive.cli.print.current.db true hive.metastore.port 9083 Hive metastore listener port hive.server2.thrift.port 10000 Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'. hive.metastore.local false hive.metastore.uris thrift://192.168.56.140:9083 hive.metastore.schema.verification false
初始化hive的meta數(shù)據(jù)庫(mysql)
schematool -dbType mysql -initSchema
啟動(dòng)hive的命令行客戶端，試運(yùn)行
hive
創(chuàng)建個(gè)數(shù)據(jù)庫測試下：
create database test_connect_hive;
使用jdbc客戶端連接hiveserver2
在hadoop/core-site.xml 添加配置。其中 root 是現(xiàn)在用的用戶名（報(bào)錯(cuò)那里有）
hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
修改hadoop要重啟.
下面分別啟動(dòng) metastore 訪問服務(wù)和hiveserver2服務(wù)
nohup hive --service metastore >> /home/data/hive/metastore.log 2>&1 & nohup hive --service hiveserver2 >> /home/data/hive/hiveserver2.log 2>&1 &
通過 beelines 客戶端連接 hiveserver2 測試。
beeline
輸入連接的地址
!connect jdbc:hive2://localhost:10000
將hive的配置文件拷貝給spark
將 $HIVE_HOME/conf/hive-site.xml copy $SPARK_HOME/conf/
各資源的訪問端口
dfs: http://hadoop-standalone:50070/explorer.html#/ spark master(standalone): http://hadoop-standalone:8080 spark history: http://hadoop-standalone:18080/
以上是“如何安裝單機(jī)版hadoop相關(guān)套件”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
本文標(biāo)題：如何安裝單機(jī)版hadoop相關(guān)套件
分享網(wǎng)址：http://m.jiaotiyi.com/article/jdgdeo.html