问题导读
1.你认为map函数可以做哪些事情?
2.hadoop中map函数与Scala中函数功能是否一致?
3.Scala中reduce函数与hadoop中reduce函数功能是否一致?
spark用的Scala编写的。因此这里的map和reduce,也就是Scala的map和reduce。scala 有很多函数,而且很方便。这里想写下map和reduce函数,也是看到一篇帖子,感觉Scala非常有意思。
键值对rdd求value最大值
【
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21747
】
map函数
map函数,你可以往里面放一些,在其它语言中的匿名函数。
源数据:(“人名”,年龄) val rdd = sc.parallelize(Array[(String,Int)](("Michael",29),("Andy",30),("Justin",19), ("Tom",10), ("Tonny",11), ("Bob",12)))
比如val result = rdd.map(x => x._2)
上面是什么意思?x是rdd中的元素,代表的是任何一个(String,Int),比如("Michael",29)或则("Andy",30)等。x._2则是第二个元素。
与hadoop中map函数比较
hadoop的map函数,与Scala中map函数没有太大的关系。hadoop的map函数,主要用来分割数据。至于如何分割可以指定分隔符。