百度蜘蛛调整一天抓取多少次为好？
答案:2 悬赏:10 手机版
解决时间 2021-11-23 06:48
- 提问者网友：贪了杯
- 2021-11-22 16:31
百度蜘蛛调整一天抓取多少次为好？
最佳答案
- 五星知识达人网友：轮獄道
- 2021-11-22 16:36
蜘蛛越活跃代表网站的权重高，你可以适量调少一点。服务器慢还是应该从服务器上考虑增加带宽或优化程序，如果你不注重SEO的话，当然也可以直接封禁蜘蛛！追问我转了三个服务器了，不论多少立马飙到100%，我调到1000频次了，可还是卡，抓取进程一直存在，考虑过DDos攻击的可能性，但是从各种情况来看就是百度蜘蛛的事。。。追答可以从服务器日志中来看是不是百度蜘蛛的ip，然后再分析抓取的都是哪些页面，一些不重要的页面目录可以在robots.txt文件里封禁掉！
全部回答
- 1楼网友：底特律间谍
- 2021-11-22 18:02
哥 你厉害了
可以控制抓取的时间和次数，
可以控制抓取的时间和次数，
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯