如何禁止(compatible;+MJ12bot/v1.3.3;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 爬行我的 web ??
答案:2 悬赏:10 手机版
解决时间 2021-04-14 09:26
- 提问者网友：太高姿态
- 2021-04-13 10:34
如何禁止(compatible;+MJ12bot/v1.3.3;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 爬行我的 web ??
最佳答案
- 五星知识达人网友：神也偏爱
- 2021-04-13 11:53
这个蜘蛛官方给了一个修改robots的方法，就是在robots.txt文件中加入：
User-agent:MJ12bot
Disallow:/
User-agent:MJ12bot
Disallow:/
全部回答
- 1楼网友：玩家
- 2021-04-13 12:12
穿过一次，那次他的23号球衣被球迷偷了。 那场球我有看~
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯