怎么让在百度网页搜索中的网页不会出现在百度网页搜索上

答案:1 悬赏:60 手机版

解决时间 2021-05-12 09:04

提问者网友：我一贱你就笑
2021-05-11 09:46

最佳答案

五星知识达人网友：十年萤火照君眠
2021-05-11 10:51

我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。

对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The
Robots META标签。

一、 robots.txt

1、
什么是robots.txt？

robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分

我要举报

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息