禁止所有蜘蛛抓取该怎么写robots.txt
答案:4 悬赏:60 手机版
解决时间 2021-03-17 12:52
- 提问者网友：無理詩人
- 2021-03-16 14:49
禁止所有蜘蛛抓取该怎么写robots.txt
最佳答案
- 五星知识达人网友：轮獄道
- 2021-03-16 15:56
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
参见《百度搜索帮助中心-禁止搜索引擎收录的方法》
User-agent: *
Disallow: /
参见《百度搜索帮助中心-禁止搜索引擎收录的方法》
全部回答
- 1楼网友：时间的尘埃
- 2021-03-16 19:22
User-agent: *
Disallow: /
Disallow: /
- 2楼网友：鸠书
- 2021-03-16 18:21
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
User-agent: *
Disallow: /
- 3楼网友：蕴藏春秋
- 2021-03-16 16:57
robots.txt只是给蜘蛛提要求，蜘蛛还是会过来，还是会抓取，只是你要求他不会展示出来。就像淘宝也禁止蜘蛛抓取了，不是还有会有吗
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯