Python爬取动态加载的网站图片

在Python中，爬取动态网站上的图片通常需要结合使用诸如Selenium、Requests-HTML库以及BeautifulSoup等工具。这是因为动态内容往往由JavaScript生成，直接的HTTP请求可能无法获取到最新的数据。 以下是基本步骤： 1. 安装必要的库： - `selenium`：用于控制浏览器执行JavaScript - `webdriver_manager`：帮助管理Selenium的WebDriver（比如ChromeDriver） - `requests_html` 或 `lxml`：处理静态HTML ```bash pip install selenium webdriver_manager requests_html ``` 2. 使用Selenium启动浏览器并加载网页： ```python from selenium import webdriver driver = webdriver.Chrome(executable_path=webdriver_manager.chromedriver_path()) driver.get('http://dynamic_website.com') ``` 3. 等待页面加载完成，有时需要暂停一段时间让JavaScript渲染： ```python time.sleep(5) # 需要根据实际情况调整时间 ``` 4. 查找并保存图片元素： 使用如`requests_html`这样的库解析页面，找到img标签的src属性，然后下载图片： ```python from requests_html import HTMLSession session = HTMLSession() response = session.get(driver.current_url) img_links = response.html.find('img', first=True)['src'] # 获取第一个图片链接 download_image(img_links, 'image.jpg') # 自定义函数下载图片 ``` 5. 下载图片： ```python def download_image(url, filename): with open(filename, 'wb') as f: response = requests.get(url, stream=True) for chunk in response.iter_content(chunk_size=1024): if chunk: # filter out keep-alive new chunks f.write(chunk) ``` 6. 关闭浏览器： ```python driver.quit() ```