Python全系列 教程
3567个小节阅读:5931.1k
目录
鸿蒙应用开发
C语言快速入门
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
下载网址:http://archive.apache.org/dist/sqoop/,选择不同的版本进行下载即可。
本课程使用时1.4.7,具体的下载地址如下:
http://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
选择安装了hive的服务器node3安装sqoop,以下为具体的安装步骤:
上传:将sqoop安装包上传到node3的/opt/apps目录
解压并改名
xxxxxxxxxx
[root@node3 apps]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/
[root@node3 apps]# cd ../
[root@node3 opt]# mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7
配置环境变量
xxxxxxxxxx
[root@node3 opt]# cd sqoop-1.4.7/
[root@node3 sqoop-1.4.7]# pwd
/opt/sqoop-1.4.7 #复制路径
[root@node3 sqoop-1.4.7]# vim /etc/profile
# sqoop环境变量
export SQOOP_HOME=/opt/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
[root@node3 sqoop-1.4.7]# source /etc/profile
检查环境变量是否生效
xxxxxxxxxx
[root@node3 ~]# cd
[root@node3 ~]# sqoop version
Warning: /opt/sqoop-1.4.7/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/sqoop-1.4.7/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
......
INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
警告信息如何去掉呢?
关闭不必要的警告信息
xxxxxxxxxx
[root@node3 ~]# cd /opt/sqoop-1.4.7/bin/
[root@node3 bin]# vim configure-sqoop
修改前:
修改后:
配置sqoop-env.sh 不需要修改
xxxxxxxxxx
[root@node3 bin]# cd ../conf
[root@node3 conf]# ls
oraoop-site-template.xml sqoop-env-template.sh sqoop-site.xml
sqoop-env-template.cmd sqoop-site-template.xml
[root@node3 conf]# cp sqoop-env-template.sh sqoop-env.sh
测试警告是否关闭
xxxxxxxxxx
[root@node3 conf]# sqoop version
检查发现警告信息已经去掉了。
sqoop命令帮助
xxxxxxxxxx
[root@node3 ~]# sqoop help
......
usage: sqoop COMMAND [ARGS]
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
`export` Export an HDFS directory to a database table
help List available commands
`import` Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
`version` Display version information
See 'sqoop help COMMAND' for information on a specific command.
sqoop COMMAND [ARGS]
'sqoop help COMMAND'
xxxxxxxxxx
[root@node3 conf]# sqoop help import
添加数据库驱动包mysql-connector-java-5.1.37.jar将它上传到node3:/opt/sqoop-1.4.7/lib