在这里分享一个刚刚学习爬虫时自己做的一个小案例,爬取了当当网TOP500的图书信息,包括图书名称、作者名称和出版社的名称。
1.分析网页
url:http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1
首先,我们在浏览器里输入以上这个网址这个网址,进入到我们本次将要爬取的网页,然后鼠标右键点击检查。
使用抓包工具,得到将要爬取的数据所在的位置。
解析图书名称的xpath解析式:
//ul/li/div[@class='name']/a/@title
获取图书作者xpath解析式:
//ul/li/div[@class='publisher_info']/a[1]/@title
获取出版社的xpath解析式:
//ul/li/div[@class=