当前位置:首页>开发>正文

2.9.0的hadoop用哪个版本的sqoop sqoop需要分发到hadoop其它节点吗

2023-04-14 06:50:10 互联网 未知 开发

 2.9.0的hadoop用哪个版本的sqoop sqoop需要分发到hadoop其它节点吗

2.9.0的hadoop用哪个版本的sqoop

目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform

sqoop需要分发到hadoop其它节点吗

2.2.x版本中一些处理机制和方案是值得我们学习的,需要有所了解的是, Hadoop 各个发... Sqoop学习路线图 Cassandra Cassandra学习路线图 Cassandra单集群实验2个节点 R利...

sqoop1.4.6和hadoop2.6兼容吗

以SQL Server为例: 假定: 用户database:InsideTSQL2008, tablename:Employees 注意:如果需要导入的table “No primary key could be found”, 则需要“specify one with –split-by or perform a quential import with ‘-m 1’.” 准备:从Micros...

sqoop 依赖zookeeper吗

sqoop安装和简单实用
运行环境 centos 5.6 hadoop hive
sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具,手册地址:http://sqoop.apache.org/docs/1.4.1-incubating/SqoopUserGuide.html

在使用过程中可能遇到的问题:
sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。
sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar,所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz,解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。
1 首先安装sqoop,如果你使用的是clouder分发版的话就非常简单
# yum install sqoop
如果用官方版本的话
# cd /etc/yum.repos.d
# wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo
# yum -y install sqoop
sqoop就会安装完成
2 使用sqoop
首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下

3 导入导出数据库
1)列出mysql数据库中的所有数据库命令
# sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 12345
2)连接mysql并列出数据库中的表命令
# sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 12345 命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码

3)将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4)从关系数据库导入文件到hive中(可以是步骤3)中已复制过去的表结构,也可以是未复制的,这样就会新建一个表)
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-table t1 --hive-import

最新文章