网站robots禁止抓取，但是网站地图里面有链接，那么搜索引擎会不会抓取，来知道的，不要猜，
答案:2 悬赏:20 手机版
解决时间 2021-01-26 10:16
- 提问者网友：爱唱彩虹
- 2021-01-25 10:33
网站robots禁止抓取，但是网站地图里面有链接，那么搜索引擎会不会抓取，来知道的，不要猜，
最佳答案
- 五星知识达人网友：神也偏爱
- 2021-01-25 10:45
不会，因为搜索引擎蜘蛛抓取网站内容的时候首先会访问robots文件，有按照规则抓取，没有默认可全部抓取。
全部回答
- 1楼网友：神的生死簿
- 2021-01-25 12:16
会不会我也不清楚。。。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯