hh3167253066的博客

亚马逊某个分类商品的页面一开始肯定就是只试试这一个页面，看看能不能请求到刚开始不知道反爬做的好不好，就简单的加个User-Agent,果然不行，爬到的网页是让输入验证码的网页。然后就是用session， 再加上cookie，咦！竟然成功爬到了。再就是分析页面链接了，进行分页，发现只改个url就好了i 为for循环的数字“https://www.amazon.com/s?k=anime+figure+one+piece&page=“ + i改完开始分页爬取。咦！竟然还能爬到，发现

python驱动下载地址

chromeDriver下载地址：http://chromedriver.storage.googleapis.com/index.html