网站下面没有robots.txt怎么办
答案:2 悬赏:10 手机版
解决时间 2021-02-13 22:46
- 提问者网友：愿为果
- 2021-02-13 12:53
网站下面没有robots.txt怎么办
最佳答案
- 五星知识达人网友：woshuo
- 2021-02-13 14:21
新建一个文本文件重命名为robots.txt，然后通过ftp上传上去就行了，可以百度下robots的书写规则，然后自己定制一下就行，也可以用站长工具进行生成。很简单的。
全部回答
- 1楼网友：忘川信使
- 2021-02-13 15:22
由于该网站的robots.txt文件存在限制指令的解决办法
1. 找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取；
2. 下面一步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，主动对搜索引擎示好，快照更新过来之后，现象就会消失了。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯