网站介绍:根据数据量大小分配sqoop map 数量和并发线程数量 -m设置成了多个比如 -m 10,但是必须加上-split-by参数。 sqoop会向关系型数据库比如mysql发送一个命令:select max(id),min(id) from test。然后会把max、min之间的区间平均分为10分,最后10个并行的map去找数据库,导数据就正式开始啦!注意点:1.–...
- 链接地址:https://blog.csdn.net/someInNeed/article/details/89357394
- 链接标题:sqoop中多map的问题以及参数,优化介绍-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:6235
- 网站标签:sqoop中多map的问题以及参数,优化介绍