robost.txt能带来什么好处
答案:1 悬赏:60 手机版
解决时间 2021-12-03 18:30
- 提问者网友：缘字诀
- 2021-12-03 05:23
robost.txt能带来什么好处
最佳答案
- 五星知识达人网友：琴狂剑也妄
- 2021-12-03 06:02
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，当spider访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围，
一句话总结 ：robost.txt 文件可以有效保护网站的隐私。希望对你有帮助。
一句话总结 ：robost.txt 文件可以有效保护网站的隐私。希望对你有帮助。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯