分为3个步骤:1,爬取网页 2,逐一解析数据 3,保存网页
1,爬取网页打开网站找到需要的数据行情中心:国内快捷全面的股票、基金、期货、美股、港股、外汇、黄金、债券行情系统_东方财富网 (eastmoney.com)
按F12进入开发者模式,选择网络,再刷新(ctrl+r)页面后找到数据存放的位置。
开始构建requests(可以通过Convert curl command syntax to Python requests, Ansible URI, browser fetch, MATLAB, Node.js, R, PHP, Strest, Go, Dart, Java, JSON, Elixir, and Rust code网站快速生成)
这样只能得到第一页的数据,通过分析可得,params中的pn代表每一页的页号,所以需要写一个for循环来获得每一页的数据。
2.逐一解析数据由于数据存储时多出来了前面这一段数据,所以将数据转化为字符串,然后用正则表达式将需要的数据提取出来。