如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】

About云 · 公众号 · · 2017-11-04 17:06

正文

问题导读

1.通过什么途径，可以查看与spark兼容的组件版本？
2.如何获取pom文件？
3.pom文件中包含了哪些信息？
4.spark编译通过什么参数可以指定hadoop版本？

当我们安装spark的时候，很多时候都会遇到这个问题,如何找到对应spark的各个组件的版本，找到比较标准的版本兼容信息。答案在spark源码中的pom文件。首先我们从官网下载源码。进入官网

[Bash shell] 纯文本查看复制代码

1	`http:` `//spark` `.apache.org`

选择download，然后我们看到下面内容

[Bash shell] 纯文本查看复制代码

1

2

3

4

5

        
         # Master development branch

        
         git clone git:
        
         //github
        
         .com
        
         /apache/spark
        
         .git

        
         # Maintenance branch with stability fixes on top of Spark 2.2.0

        
         git clone git:
        
         //github
        
         .com
        
         /apache/spark
        
         .git -b branch-2.2

我们看到上面需要使用git下载。
如果你是window，那么可以装一个Linux虚拟机，或则直接在window上安装。window安装遇到的问题可参考
win7安装 git软件下载以及遇到的问题解决解决方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8521
这里使用Linux安装，更加方便。执行下面命令