Sqoop1.4.6如何安裝-創(chuàng)新互聯(lián)
這篇文章主要介紹Sqoop 1.4.6如何安裝，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！
1. sqoop數(shù)據(jù)遷移
1.1 概述
sqoop是apache旗下一款“Hadoop和關(guān)系數(shù)據(jù)庫服務(wù)器之間傳送數(shù)據(jù)”的工具。
導(dǎo)入數(shù)據(jù)：MySQL，Oracle導(dǎo)入數(shù)據(jù)到Hadoop的HDFS、HIVE、HBASE等數(shù)據(jù)存儲(chǔ)系統(tǒng)；
導(dǎo)出數(shù)據(jù)：從Hadoop的文件系統(tǒng)中導(dǎo)出數(shù)據(jù)到關(guān)系數(shù)據(jù)庫
1.2 工作機(jī)制
將導(dǎo)入或?qū)С雒罘g成mapreduce程序來實(shí)現(xiàn)
在翻譯出的mapreduce中主要是對inputformat和outputformat進(jìn)行定制
1.3 sqoop實(shí)戰(zhàn)及原理
1.3.1 sqoop安裝
安裝sqoop的前提是已經(jīng)具備java和hadoop的環(huán)境
1、下載并解壓
最新版下載地址/tupian/20230522/sqoop.html
[root@hadoop1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
[root@hadoop1 sqoop]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop
[root@hadoop1 sqoop]# ls
apache-hive-1.2.1-bin hadoop-2.7.4 hdfs pig-0.17.0 pig_1517170893185.log sqoop tmp
2、修改配置文件
在/etc/profile中配置sqoop_home,代碼如下：
vim /etc/profile
export SQOOP_HOME=/usr/local/hadoop/sqoop
追加path
export PATH=$PATH:$SQOOP_HOME/bin
[root@hadoop1 sqoop]# source /etc/profile
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打開sqoop-env.sh并編輯下面幾行： ## 去掉前面的##
export HADOOP_COMMON_HOME=/usr/local/hadoop/hadoop-2.7.4/
export HADOOP_MAPRED_HOME=/usr/local/hadoop/hadoop-2.7.4/
export HIVE_HOME=/usr/local/hadoop/apache-hive-1.2.1-bin/
配置后的界面效果如下：
這里寫圖片描述
3.1 加入oracle的驅(qū)動(dòng)包
將 ojdbc6.jar 放到 $SQOOP_HOME/lib/ 下。
3.2 加入mysql的jdbc驅(qū)動(dòng)包
將mysql-connector-java-5.1.38.jar 放到 $SQOOP_HOME/lib/ 下。
4、驗(yàn)證啟動(dòng)
$ cd $SQOOP_HOME/bin
$ sqoop-version
預(yù)期的輸出：
[root@hadoop1 sqoop]# sqoop-version
Warning: /usr/local/hadoop/sqoop/../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/local/hadoop/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/hadoop/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /usr/local/hadoop/sqoop/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
18/01/29 19:09:34 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
Sqoop 1.4.6
git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25
Compiled by root on Mon Apr 27 14:38:36 CST 2015
[root@hadoop1 sqoop]#
以上是“Sqoop 1.4.6如何安裝”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！
標(biāo)題名稱：Sqoop1.4.6如何安裝-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://m.jiaotiyi.com/article/ppjgi.html