spark on hive和hive on spark的区别

答案:2 悬赏:70 手机版

解决时间 2021-02-06 20:06

提问者网友：浮克旳回音
2021-02-06 09:54

最佳答案

五星知识达人网友：污到你湿
2021-02-06 10:20

spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd.
*（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息
* （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据
* （3）接下来就可以通过spark sql来操作hive表中的数据
hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要实现责麻烦很多, 必须重新编译你的spark. 和导入jar包,
======================下面是送的=============
而 hive on spark 是把hive查询从mapreduce 的mr (hadoop 计算引擎)操作替换为spark rdd 操作. 不过目前大部分使用的是spark on hive
======================================
后面补充的:: 我去了某通之后, 知道了把 hive的执行引擎换成spark 的也挺多的. 主要是为了使用类 sql 和相关脚本来完成任务.
为了真理,我要把那个垃圾的回答给顶下去...

全部回答

1楼网友：行路难
2021-02-06 10:27

你好，很高兴为你解答Hive on Spark蜂巢上的火花希望我的回答对你有帮助，满意请采纳。

我要举报

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息