ccljsrz的博客

原创 爬虫：豆瓣书籍爬取

一、列表页爬取豆瓣书籍的列表页、详情页、评论、以及作者信息的三级页面，再将获取的书籍在京东进行搜索，获取书籍的销售情况，最后将数据上传至MySQL和MongoDB中进程存储。一、列表页首先我们需要爬取书籍的列表页，我们需要知道我们要爬取哪些内容。右键检查查看页面代码，选择检查页左上角，再点击左边的页面可以快捷查看对应的代码，我们通过获取列表的代码，来爬取对应的数据。