如何配置hive，使hive能使用spark引擎

答案:2 悬赏:40 手机版

解决时间 2021-04-04 08:47

提问者网友：萌卜娃娃
2021-04-03 09:09

最佳答案

五星知识达人网友：神的生死簿
2021-04-03 10:14

使用Scala写一个测试代码： object Test { def main(args: Array[String]): Unit = { println("hello world") } } 就把这个Test视为类，项目组织结构如：然后设置编译选项：然后在项目文件夹下面可以找到编译好的Jar包：复制到Spark指定的目...

全部回答

1楼网友：末日狂欢
2021-04-03 10:51

1、为了让spark能够连接到hive的原有数据仓库，我们需要将hive中的hive-site.xml文件拷贝到spark的conf目录下，这样就可以通过这个配置文件找到hive的元数据以及数据存放。在这里由于我的spark是自动安装和部署的，因此需要知道cdh将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是：/etc/hive/conf 下。同理，spark的conf也是在/etc/spark/conf。此时，如上所述，将对应的hive-site.xml拷贝到spark/conf目录下即可如果hive的元数据存放在mysql中，我们还需要准备好mysql相关驱动，比如：mysql-connector-java-5.1.22-bin.jar。

我要举报

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息