spark下运行程序如果内存溢出怎么办
答案:2 悬赏:60 手机版
解决时间 2021-03-19 16:35
- 提问者网友：萌卜娃娃
- 2021-03-18 19:22
ERROR executor.Executor: Exception in task 1.0 in stage 3.0 (TID 6)
最佳答案
- 五星知识达人网友：渡鹤影
- 2021-03-18 19:31
这个你可以自自己设置下每台机器的运行时内存。根据自身机器来，它有默认的大小，可以自己修改。
全部回答
- 1楼网友：旧脸谱
- 2021-03-18 20:07
1 加内存， 简单粗暴
2 将rdd的数据写入磁盘不要保存在内存之中
3 如果是collect操作导致的内存溢出， 可以增大 driver的 memory 参数
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯