Spark該怎樣入門-創(chuàng)新互聯(lián)
本篇文章為大家展示了Spark該怎樣入門，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
1. Spark簡(jiǎn)介
2009年，Spark誕生于伯克利大學(xué)的AMPLab實(shí)驗(yàn)室。最出Spark只是一個(gè)實(shí)驗(yàn)性的項(xiàng)目，代碼量非常少，屬于輕量級(jí)的框架。 2010年，伯克利大學(xué)正式開源了Spark項(xiàng)目。 2013年6月，Spark成為了Apache基金會(huì)下的項(xiàng)目，進(jìn)入高速發(fā)展期。第三方開發(fā)者貢獻(xiàn)了大量的代碼，活躍度非常高 2014年2月，Spark以飛快的速度稱為了Apache的頂級(jí)項(xiàng)目，同時(shí)大數(shù)據(jù)公司Cloudera宣稱加大Spark框架的投入來(lái)取代MapReduce 2014年4月，大數(shù)據(jù)公司MapR投入Spark陣營(yíng)， Apache Mahout放棄MapReduce，將使用Spark作為計(jì)算引擎。 2014年5月，Spark 1.0.0 發(fā)布。 2015年~，Spark在國(guó)內(nèi)IT行業(yè)變得愈發(fā)火爆，越來(lái)越多的公司開始重點(diǎn)部署或者使用Spark來(lái)替代MR2、Hive、Storm等傳統(tǒng)的大數(shù)據(jù)并行計(jì)算框架
2. Spark是什么?
Apache Spark? is a unified analytics engine for large-scale data processing. 大規(guī)模數(shù)據(jù)集的統(tǒng)一分析引擎 Spark是一個(gè)基于內(nèi)存的通用并行計(jì)算框架，目的是讓數(shù)據(jù)分析更加快速 Spark包含了大數(shù)據(jù)領(lǐng)域常見的各種計(jì)算框架 spark core(離線計(jì)算) sparksql(交互式查詢) spark streaming(實(shí)時(shí)計(jì)算) Spark MLlib (機(jī)器學(xué)習(xí)) Spark GraphX (圖計(jì)算)
3. Spark能代替hadoop嗎?
不完全對(duì)
因?yàn)槲覀冎荒苁褂胹park core代替mr做離線計(jì)算,數(shù)據(jù)的存儲(chǔ)還是要依賴hdfs
Spark+Hadoop的組合，才是未來(lái)大數(shù)據(jù)領(lǐng)域最熱門的組合，也是最有前景的組合！
4. Spark的特點(diǎn)
速度
內(nèi)存計(jì)算在速度上要比mr快100倍以上 磁盤計(jì)算在速度上要比mr快10倍以上
容易使用
提供了java scala python R語(yǔ)言的api接口
一站式解決方案
spark core(離線計(jì)算) spark sql(交互式查詢) spark streaming(實(shí)時(shí)計(jì)算) .....
可以運(yùn)行在任意的平臺(tái)
yarn Mesos standalone
5. Spark的缺點(diǎn)
JVM的內(nèi)存overhead太大，1G的數(shù)據(jù)通常需要消耗5G的內(nèi)存 (Project Tungsten 正試圖解決這個(gè)問(wèn)題 )
不同的spark app之間缺乏有效的共享內(nèi)存機(jī)制(Project Tachyon 在試圖引入分布式的內(nèi)存管理，這樣不同的spark app可以共享緩存的數(shù)據(jù))
6. Spark vs MR
6.1 mr的局限性
抽象層次低，需要手工編寫代碼來(lái)完成，使用上難以上手 只提供兩個(gè)操作，Map和Reduce，表達(dá)力欠缺 一個(gè)Job只有Map和Reduce兩個(gè)階段（Phase）， 復(fù)雜的計(jì)算需要大量的Job完成，Job之間的依賴關(guān)系是由開發(fā)者自己管理的 中間結(jié)果 (reduce的輸出結(jié)果) 也放在HDFS文件系統(tǒng)中 延遲高，只適用Batch數(shù)據(jù)處理，對(duì)于交互式數(shù)據(jù)處理，實(shí)時(shí)數(shù)據(jù)處理的支持不夠 對(duì)于迭代式數(shù)據(jù)處理性能比較差
6.2 Spark解決了mr中的那些問(wèn)題?
抽象層次低，需要手工編寫代碼來(lái)完成，使用上難以上手
通過(guò)spark中的RDD(Resilient distributed datasets)來(lái)進(jìn)行抽象
只提供兩個(gè)操作，Map和Reduce，表達(dá)力欠缺
在spark中提供了多種算子
一個(gè)Job只有Map和Reduce兩個(gè)階段
在spark中可以有多個(gè)階段(stage)
中間結(jié)果也放在HDFS文件系統(tǒng)中(速度慢)
中間結(jié)果放在內(nèi)存中，內(nèi)存放不下了會(huì)寫入本地磁盤，而不是HDFS
延遲高，只適用Batch數(shù)據(jù)處理，對(duì)于交互式數(shù)據(jù)處理，實(shí)時(shí)數(shù)據(jù)處理的支持不夠
sparksql和sparkstreaming解決了上面問(wèn)題
對(duì)于迭代式數(shù)據(jù)處理性能比較差
通過(guò)在內(nèi)存中緩存數(shù)據(jù)，提高迭代式計(jì)算的性能
==因此，Hadoop MapReduce會(huì)被新一代的大數(shù)據(jù)處理平臺(tái)替代是技術(shù)發(fā)展的趨勢(shì)，而在新一代的大數(shù)據(jù)處理平臺(tái)中，Spark目前得到了最廣泛的認(rèn)可和支持==
7. Spark的版本
spark1.6.3 : scala的版本2.10.5 spark2.2.0 : scala的版本2.11.8(新項(xiàng)目建議使用spark2.x的版本) hadoop2.7.5
8. Spark單機(jī)版的安裝
準(zhǔn)備安裝包spark-2.2.0-bin-hadoop2.7.tgz
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/mv spark-2.2.0-bin-hadoop2.7/ spark
修改spark-env.sh
export JAVA_HOME=/opt/jdkexport SPARK_MASTER_IP=uplooking01export SPARK_MASTER_PORT=7077export SPARK_WORKER_CORES=4export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=2gexport HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
配置環(huán)境變量
#配置Spark的環(huán)境變量export SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
啟動(dòng)單機(jī)版spark
start-all-spark.sh
查看啟動(dòng)
http://uplooking01:8080
9. Spark分布式集群的安裝
配置spark-env.sh
[root@uplooking01 /opt/spark/conf] export JAVA_HOME=/opt/jdk #配置master的主機(jī) export SPARK_MASTER_IP=uplooking01 #配置master主機(jī)通信的端口 export SPARK_MASTER_PORT=7077 #配置spark在每個(gè)worker中使用的cpu核數(shù) export SPARK_WORKER_CORES=4 #配置每個(gè)主機(jī)有一個(gè)worker export SPARK_WORKER_INSTANCES=1 #worker的使用內(nèi)存是2gb export SPARK_WORKER_MEMORY=2g #hadoop的配置文件中的目錄 export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
配置slaves
[root@uplooking01 /opt/spark/conf] uplooking03 uplooking04 uplooking05
分發(fā)spark
[root@uplooking01 /opt/spark/conf] scp -r /opt/spark uplooking02:/opt/ scp -r /opt/spark uplooking03:/opt/ scp -r /opt/spark uplooking04:/opt/ scp -r /opt/spark uplooking05:/opt/
分發(fā)uplooking01上配置的環(huán)境變量
[root@uplooking01 /] scp -r /etc/profile uplooking02:/etc/ scp -r /etc/profile uplooking03:/etc/ scp -r /etc/profile uplooking04:/etc/ scp -r /etc/profile uplooking05:/etc/
啟動(dòng)spark
[root@uplooking01 /] start-all-spark.sh
10. Spark高可用集群
先停止正在運(yùn)行的spark集群
修改spark-env.sh
#注釋以下這兩行內(nèi)容#export SPARK_MASTER_IP=uplooking01#export SPARK_MASTER_PORT=7077
添加內(nèi)容
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=uplooking03:2181,uplooking04:2181,uplooking05:2181 -Dspark.deploy.zookeeper.dir=/spark"
分發(fā)修改的[配置
scp /opt/spark/conf/spark-env.sh uplooking02:/opt/spark/confscp /opt/spark/conf/spark-env.sh uplooking03:/opt/spark/confscp /opt/spark/conf/spark-env.sh uplooking04:/opt/spark/confscp /opt/spark/conf/spark-env.sh uplooking05:/opt/spark/conf
啟動(dòng)集群
[root@uplooking01 /] start-all-spark.sh[root@uplooking02 /] start-master.sh
11. 第一個(gè)Spark-Shell程序
spark-shell --master spark://uplooking01:7077 #spark-shell可以在啟動(dòng)時(shí)指定spark-shell這個(gè)application使用的資源(總核數(shù),每個(gè)work上使用的內(nèi)存)spark-shell --master spark://uplooking01:7077 --total-executor-cores 6 --executor-memory 1g#如果不指定 默認(rèn)使用每個(gè)worker上全部的核數(shù),和每個(gè)worker上的1g內(nèi)存
sc.textFile("hdfs://ns1/sparktest/").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).collect
12. Spark中的角色
Master
負(fù)責(zé)接收提交的作業(yè)的請(qǐng)求 master負(fù)責(zé)調(diào)度資源(在woker中啟動(dòng)CoarseGrainedExecutorBackend)
Worker
worker中的executor負(fù)責(zé)執(zhí)行task
Spark-Submitter ===> Driver
提交spark應(yīng)用程序給master
上述內(nèi)容就是Spark該怎樣入門，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
當(dāng)前題目：Spark該怎樣入門-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://m.jiaotiyi.com/article/eddph.html