怎么启用spark-sql报错

答案:2 悬赏:20 手机版

解决时间 2021-02-16 21:24

提问者网友：难遇难求
2021-02-15 21:28

怎么启用spark-sql报错

最佳答案

五星知识达人网友：上分大魔王
2021-02-15 21:33

怎么启用spark-sql报错
/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2

注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径

/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项

全部回答

1楼网友：三千妖杀
2021-02-15 21:46

1）过去整个业界对大数据的分析的技术栈的pipeline一般分为以下两种方式： a）data source -> hdfs -> mr/hive/spark（相当于etl）-> hdfs parquet -> spark sql/impala -> resultservice（可以放在db中，也有可能被通过jdbc/odbc来作为数据服务使用）； b）data source -> real timeupdate data to hbase/db -> export to parquet -> spark sql/impala -> resultservice（可以放在db中，也有可能被通过jdbc/odbc来作为数据服务使用）；上述的第二种方式完全可以通过kafka+spark streaming+spark sql（内部也强烈建议采用parquet的方式来存储数据）的方式取代 2）期待的方式：datasource -> kafka -> spark streaming -> parq

我要举报

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息