java爬虫怎么抓取js动态生成的内容
答案:2 悬赏:0 手机版
解决时间 2021-02-25 23:32
- 提问者网友：niaiwoma
- 2021-02-25 15:15
java爬虫怎么抓取js动态生成的内容
最佳答案
- 五星知识达人网友：摆渡翁
- 2021-02-25 15:23
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了->换selector解决
2、有些数据保存在js/json对象中->截取对应的串，分析解决
3、通过api接口调用->伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
1、有些页面元素被隐藏起来了->换selector解决
2、有些数据保存在js/json对象中->截取对应的串，分析解决
3、通过api接口调用->伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
全部回答
- 1楼网友：迷人又混蛋
- 2021-02-25 16:35
httpclient
怎么不行，都是请求，搞清楚地址，就有参数，都是一次访问，能抓到肯定行
我要举报
如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
点此我要举报以上问答信息
大家都在看
推荐资讯