spark2.2.0如何配置sparksql操作hive-創(chuàng)新互聯(lián)

小編給大家分享一下spark2.2.0如何配置spark sql操作hive，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)介紹好的網(wǎng)站是理念、設(shè)計(jì)和技術(shù)的結(jié)合。創(chuàng)新互聯(lián)建站擁有的網(wǎng)站設(shè)計(jì)理念、多方位的設(shè)計(jì)風(fēng)格、經(jīng)驗(yàn)豐富的設(shè)計(jì)團(tuán)隊(duì)。提供PC端+手機(jī)端網(wǎng)站建設(shè)，用營(yíng)銷(xiāo)思維進(jìn)行網(wǎng)站設(shè)計(jì)、采用先進(jìn)技術(shù)開(kāi)源代碼、注重用戶(hù)體驗(yàn)與SEO基礎(chǔ)，將技術(shù)與創(chuàng)意整合到網(wǎng)站之中，以契合客戶(hù)的方式做到創(chuàng)意性的視覺(jué)化效果。

spark可以通過(guò)讀取hive的元數(shù)據(jù)來(lái)兼容hive，讀取hive的表數(shù)據(jù)，然后在spark引擎中進(jìn)行sql統(tǒng)計(jì)分析，從而，通過(guò)spark sql與hive結(jié)合實(shí)現(xiàn)數(shù)據(jù)分析將成為一種最佳實(shí)踐。配置步驟如下：

 1、啟動(dòng)hive的元數(shù)據(jù)服務(wù)
hive可以通過(guò)服務(wù)的形式對(duì)外提供元數(shù)據(jù)讀寫(xiě)操作，通過(guò)簡(jiǎn)單的配置即可
  編輯 $HIVE_HOME/conf/hive-site.xml,增加如下內(nèi)容:

hive.metastore.uris
thrift:// master:9083

  啟動(dòng)hive metastore

[root@master apache-hive-1.2.2-bin]# ./bin/hive --service metastore  1>/dev/null  2>&1  &

  查看 metastore:

[root@master apache-hive-1.2.2-bin]# jobs
[1]+  Running                 ./bin/hive --service metastore > /dev/null 2>&1 &

 
2、spark配置
    將hive的配置文件拷貝給spark
將 $HIVE_HOME/conf/hive-site.xml copy $SPARK_HOME/conf/

[root@master apache-hive-1.2.2-bin]# cp ./conf/hive-site.xml /usr/local/spark-2.3.0/conf/

 
   將mysql的jdbc驅(qū)動(dòng)包拷貝給spark
將 $HIVE_HOME/lib/mysql-connector-java-5.1.12.jar copy或者軟鏈到$SPARK_HOME/lib/

[root@master lib]# cp ./mysql-connector-5.1.8.jar /usr/local/spark-2.3.0/jars/

 
3、啟動(dòng)spark-sql的shell交互界面
   [root@master lib]# spark-sql 

4、在spark sql 中執(zhí)行hive操作

spark-sql> show databases;

以上是“spark2.2.0如何配置spark sql操作hive”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

新聞標(biāo)題：spark2.2.0如何配置sparksql操作hive-創(chuàng)新互聯(lián)
本文鏈接：http://m.jiaotiyi.com/article/gccee.html