Python爬虫进阶（一） Requests请求成功，获取的页面没有想要的数据 1、 准备用python分析一下某网站漏洞及其补丁的对应关系，无奈遇到数据隐藏的情况。在浏览器中能够看到CVE编号，如图所示： 但是右键查看页面源代码时，无法搜索到页面信息。 显然，数据不在当前页面，利用requests.get（url，headers= headers）是无法获取到数据的。 2、 遇到这种情况，首先怀疑数据被隐藏到其他地方，很有可能数据通过json格式进行传输。首先按F12，到开发者界面，按图中序号进行逐次操作，如图所示： （1） 点击网络选项，（2）选中XHR，（3）刷新网页，（4）依次点击弹出的链接，（5）查看响应数据，找到页面分析的内容。 3、 通过第2步，找到数据被隐藏到一个json文件中，点击消息头，明显看到请求的方法为GET（）方法以及请求的URL和headers，再利用requests.get（url，headers= headers）就可以获取到数据了。 4、 其实利用json数据，少去了网页解析步骤，对数据的整理相对简单了。随便说下，利用json.loads（respon.text）可以将json数据格式进行转换。 本文来源：https://www.wddqw.com/doc/cb365686b968a98271fe910ef12d2af90342a806.html