大数据学习系列之 Sqoop增量导入

核心参数

增量模式(Mode)

Append

加不加–last-value的区别在于:数据是否冗余,如果不加,则会导入源表中的所有数据导致数据冗余。

Lastmodified

当使用–incremental lastmodified模式进行导入且导入目录已存在时,需要使用–merge-key–append
导入>=last-value的值。

示例

sqoop import --connect jdbc:mysql://bigdata:3306/sqooptest --table bigdata --username root --password 123456 --check-column last_mod_ts --incremental lastmodified --last-value "2016-11-11 10:32:22" --merge-key class_id -m 1

参考:

支持一下

0

添加新评论