python scrapy爬虫豆瓣的“加载更多” 应该怎么爬到所有的电影
答案:2 悬赏:0 手机版
解决时间 2021-02-10 03:31
- 提问者网友：饥饿走向夜
- 2021-02-09 18:32
python scrapy爬虫豆瓣的“加载更多” 应该怎么爬到所有的电影
最佳答案
- 五星知识达人网友：旧脸谱
- 2021-02-09 20:08
不说具体，说思路。
你要分析 当你点击 加载更多 时，浏览器都做了什么（他是怎么取回 "更多数据"的）
然后在scrapy中模拟这一过程！
你要分析 当你点击 加载更多 时，浏览器都做了什么（他是怎么取回 "更多数据"的）
然后在scrapy中模拟这一过程！
全部回答
- 1楼网友：第四晚心情
- 2021-02-09 21:25
你可以用前嗅爬虫采集豆瓣的影评，我之前用的，还可以过滤只采集评分在6分以上的所有影评，非常强大，而且他们软件跟数据库对接，采集完数据后，直接入库，导出excel表。很省心。
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯