网站上总是有爬虫怎么办？
答案:3 悬赏:60 手机版
解决时间 2021-11-10 02:51
- 提问者网友：呐年旧曙光
- 2021-11-09 17:51
网站上总是有爬虫怎么办？
最佳答案
- 五星知识达人网友：忘川信使
- 2021-11-09 18:08
那是你没有屏蔽搜索引擎爬虫，可以用robots协议屏蔽一下就行了，就可以把爬虫屏蔽在外面了。
全部回答
- 1楼网友：玩家
- 2021-11-09 20:16
引用HAPPY磁场的回答：
那是你没有屏蔽搜索引擎爬虫，可以用robots协议屏蔽一下就行了，就可以把爬虫屏蔽在外面了。robots协议只是道德规范，不能做到真正的反爬！！！！
那是你没有屏蔽搜索引擎爬虫，可以用robots协议屏蔽一下就行了，就可以把爬虫屏蔽在外面了。robots协议只是道德规范，不能做到真正的反爬！！！！
- 2楼网友：梦中风几里
- 2021-11-09 19:14
服务器端限制。Referer
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯