如何用python爬取ajax网页的内容 python爬虫怎么抓取ajax返回的json

如何用python爬取ajax网页的内容

推荐：《pyspider 爬虫教程（二）：AJAX 和 HTTP》——足兆叉虫
由于 AJAX 实际上也是通过 HTTP 传输数据的，所以我们可以通过 Chrome Developer Tools 找到真实的请求，直接发起真实请求的抓取就可以获得数据了。
AJAX 一般是通过 XMLHttpRequest 对象接口发送请求的，XMLHttpRequest 一般被缩写为 XHR。

python爬虫怎么抓取ajax返回的json

网页提交的数据吧？ 网页或者外界提交过来的数据都是字符串格式的。需要用json.loads()转成json格式 你试试： import jsonprint json.loads(request.body)

爬虫怎么爬异步ajax

我用的是java
用的是自动化测试hitmlunit集成webmagic网络爬虫框架xpath和jsonpath定位元素实现的
ajax有2中方法
1判断爬下来的网页被定位的元素是否有数据没有就执行等待直到有数据
2抓包分析网络连接 利用页面上的参数组建分析到的ajax请求直接读接口用jsonpath解析

python爬虫怎么抓包

方案：

1. 自己通过request库手动编写
2. 使用python的爬虫库scrapy

最推荐的一种：使用python的爬虫库scrapy
推荐理由：
1.  应用最广泛的爬虫框架，没有之一2. 成熟度最高的框架，没有之一
3. 利用成熟产品，避免重复“造轮子”，可以更快速的构建项目

为什么python适合写爬虫

有更加成熟的一种爬虫脚本语言，而非框架。是通用的爬虫软件ForeSpider，内部自带了一套爬虫脚本语言。

从一个专业C 程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C 开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C 相提并论？C 直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。首先，forespider的开发语言是C ，而且C 几乎没有现成的框架可以用，而火车采集器是用的C#。先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。

其次，因为抓取金融行业的数据，数据量大，动态性强，而采集对象一般反爬虫策略又很严格。所以，专门建立团队开发不现实。请外包人员开发太贵。买现成的软件，要考虑性价比。因为很多数据需要登录，需要验证码，是JS生成的数据，是ajax，是https协议，有加密的key，有层层的验证机制等等，分析市面上所有找得到的爬虫软件，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。forespider功能强大，这是很重要的一点。

第三，forespider在台式机上运行一天可以采400万条数据，在服务器上一天可以采8000万条数据。这样一来，数据更新速度明显比以前快了几十倍。从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。但是现在的更新速度只有两三天。forespider的性能强大，这也是非常好的一点。

第四，其实完全可视化的采集也不需要计算机专业的。大致学习了之后就可以上手采。而且forespider关于数据的管理做的很好。一是软件可以集成数据库，在采集之前就可以建表。二是数据可以自动排重，对于金融这样数据更新要求很高的行业，就特别合适。

第五，是关于免费的问题，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。大概是大家都习惯了在软件上不花钱，所以都想找到免费的。forespider有免费版的，功能倒是不限制，但是采集数目每天有限制。