如果想允许搜索引擎抓取这个网站除 http://test.abc.com这个地址以外的页面，robots应该怎样写？下面我的写法正确么？谢谢
User-Agent: *
Disallow: /test/
关于robots中，屏蔽二级域名的写法？
答案:2 悬赏:70 手机版
解决时间 2021-03-23 04:26
- 提问者网友：黑米和小志
- 2021-03-23 01:02
最佳答案
- 五星知识达人网友：十年萤火照君眠
- 2020-08-19 04:58
robots中，屏蔽二级域名的写法：
User-Agent:
*Disallow: /
robots.txt一般指robots协议，（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，就可以创建和编辑它。
User-Agent:
*Disallow: /
robots.txt一般指robots协议，（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，就可以创建和编辑它。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯