如何查看自己网站是否有蜘蛛来过

答案:6 悬赏:0 手机版

解决时间 2021-01-20 14:58

提问者网友：情歌越听越心酸
2021-01-20 10:22

如何查看自己网站是否有蜘蛛来过

最佳答案

五星知识达人网友：蓝房子
2021-01-20 10:36

百度站长工具里有蜘蛛的访问统计。
查看服务器日志文件是否有Baiduspider的访问。
利用第三方的统计功能。比如谷歌的Analytics

全部回答

1楼网友：逃夭
2021-01-20 13:02

百度搜一下，有蜘蛛统计源码，根据自己网站的语言，插入进去即可。

2楼网友：低血压的长颈鹿
2021-01-20 12:55

baiduspider是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页。
我不想我的网站被baiduspider访问，我该怎么做？
baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站，或者禁止baiduspider访问您网站上的部分文件。注意：禁止baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。
关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。另外也请检查您的robots配置是否正确。判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。或者联系空间商开通了蜘蛛访问记录也可以。具体查看过程和判断蜘蛛的方法你可以百度一下。资料很多，可以自学。

3楼网友：野味小生
2021-01-20 12:35

网站服务器上有个logfile文件夹，里面的文件就是记录你网站访问记录的，你看到spider baidu就表明百度来过了，还包括百度蜘蛛来的时间信息！
你可以下载网站日志分析软件，软件可告诉你百度蜘蛛抓取了多少页面！

4楼网友：行路难
2021-01-20 12:12

网站服务器上有个logfile文件夹，里面的文件就是记录你网站访问记录的，你看到spider baidu就表明百度来过了，还包括百度蜘蛛来的时间信息！你可以下载网站日志分析软件，软件可告诉你百度蜘蛛抓取了多少页面！

我要举报

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息