sqoop工作原理

sqoop工作原理？

Sqoop的工作原理是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。

如果要用Sqoop，必须正确安装并配置Hadoop，因依赖于本地的Hadoop环境启动MR程序；MySQL、Oracle等数据库的JDBC驱动也要放到Sqoop的lib目录下。

Sqoop的成层原理本质上是MapRatuce 任务。Sqoop是通过个MapReduve作业从数据库中导入一个表，这个作业从表中逐行抽取数据，接着将一行行的数据写入HDFS。

Sqoop的底层是Java， Java 提供了JDBC API，通过JDBC API应用程序可以访问储在关系型数据库中的数据。Sqoop 导入、导出数据时都需要用到JDBC。在导入之前，Sqoop会通过JDBC查询出表中的列和列的类型，同时这些类型会与Java 的数据类型相匹配，而底层运行的MapReduce会根据这些Java类型来保存字段对应的值。