python scrapy爬取速度怎么样
答案:2 悬赏:70 手机版
解决时间 2021-02-28 00:28
- 提问者网友：沦陷
- 2021-02-27 10:39
python scrapy爬取速度怎么样
最佳答案
- 五星知识达人网友：玩世
- 2021-02-27 11:33
考虑用多进程+分布在不同机房的集群。
理由如下：如果单进程，则瓶颈多出在CPU上。
多进程的话可以高效利用CPU。但是其实多数情况是在网络，所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫，这样减少网络阻塞。
实现的话，用scrapy+rq-queue然后用redis来作队列就好。
理由如下：如果单进程，则瓶颈多出在CPU上。
多进程的话可以高效利用CPU。但是其实多数情况是在网络，所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫，这样减少网络阻塞。
实现的话，用scrapy+rq-queue然后用redis来作队列就好。
全部回答
- 1楼网友：不如潦草
- 2021-02-27 12:09
newx3中的脚本安装比较麻烦。首先你需要先安装x plugin manager，安装好后运行里面的脚本管理器xpminstaller，xpminstaller打开后，点击install new script按钮安装你需要的脚本就ok了。 p.s 放脚本的文件夹的名字必须为英文
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯