永发信息网

python练习爬虫时,网站<META NAME="robots" CONTENT="noindex,nofollow">

答案:2  悬赏:10  手机版
解决时间 2021-04-11 22:44
  • 提问者网友:鼻尖触碰
  • 2021-04-11 02:45
用浏览器能打开,但是爬虫时打开的网页代码却不一样,其中开头是:
<html>

<head>

<META NAME="robots" CONTENT="noindex,nofollow">

<script>
。。。。。
最佳答案
  • 五星知识达人网友:污到你湿
  • 2021-04-11 03:48
限制攫取
可能是限制进行网站抓取
全部回答
  • 1楼网友:纵马山川剑自提
  • 2021-04-11 04:22
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
点此我要举报以上问答信息
大家都在看
推荐资讯