spark map flatMap flatMapToPair mapPartitions 的区别和用途
答案:1 悬赏:10 手机版
解决时间 2021-02-24 11:41
- 提问者网友：王者佥
- 2021-02-24 06:40
spark map flatMap flatMapToPair mapPartitions 的区别和用途
最佳答案
- 五星知识达人网友：独行浪子会拥风
- 2021-02-24 06:59
spark map flatMap flatMapToPair mapPartitions 的区别和用途
map: 对RDD每个元抄素转换知
flatMap: 对RDD每个元素转换, 然后再扁平化（即将所有对象道合并为一个对象）
e.g.
// data 有两行数据，第一行 a,b,c，第二行1,2,3
scala>data.map(line1 => line1.split(",")).collect()
res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3))
scala>data.flatMap(line1 => line1.split(",")).collect()
res13: Array[String] = Array(a, b, c, 1, 2, 3)
map: 对RDD每个元抄素转换知
flatMap: 对RDD每个元素转换, 然后再扁平化（即将所有对象道合并为一个对象）
e.g.
// data 有两行数据，第一行 a,b,c，第二行1,2,3
scala>data.map(line1 => line1.split(",")).collect()
res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3))
scala>data.flatMap(line1 => line1.split(",")).collect()
res13: Array[String] = Array(a, b, c, 1, 2, 3)
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯