from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from webdriver_manager.chrome import ChromeDriverManager import time import logging from selenium.common.exceptions import TimeoutException # 配置日志 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') # 初始化 WebDriver def init_driver(headless=True): chrome_options = Options() if headless: chrome_options.add_argument("--headless") # 无头模式，不打开浏览器窗口 # 设置 User-Agent chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.6998.165 Safari/537.36") # 禁用图片加载 prefs = {"profile.managed_default_content_settings.images": 2} chrome_options.add_experimental_option("prefs", prefs) # 忽略 SSL 证书错误 chrome_options.add_argument('--ignore-certificate-errors') chrome_options.add_argument('--allow-insecure-localhost') # 启用 Unsafe SwiftShader chrome_options.add_argument('--enable-unsafe-swiftshader') # 使用 webdriver-manager 自动管理 chromedriver service = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service, options=chrome_options) logging.info("WebDriver 初始化成功") return driver # 提取视频信息 def extract_video_info(driver, url, scroll_pause_time=3, max_scroll_attempts=20): try: driver.get(url) logging.info(f"正在访问 URL: {url}") # 等待初始页面加载 try: WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, "root")) ) except TimeoutException: logging.error("页面加载超时") return # 滚动页面以加载更多内容 last_height = driver.exe

<think>好的，我现在需要帮助用户解决关于Selenium WebDriver配置优化和视频信息提取Python脚本的改进建议。首先，我得仔细分析用户的问题，了解他们的具体需求。用户提到配置优化和视频信息提取，可能他们在使用Selenium时遇到了性能问题或者提取视频信息时效率不高。 首先，配置优化方面，我应该考虑常见的优化方法。比如，浏览器选项的设置，禁用图片和JavaScript可以加快页面加载速度。另外，使用无头模式（Headless）也是一个常见的优化手段，这样不需要渲染界面，节省资源。还有，用户可能没有正确管理WebDriver实例，导致资源泄露，所以需要提醒他们使用上下文管理器或确保退出。 接下来是视频信息提取的改进建议。用户可能在提取视频标题、时长、播放量等信息时，处理方式不够高效。XPath或CSS选择器的优化是关键，可能需要检查他们的定位方式是否准确且高效。此外，处理动态加载的内容可能需要显式等待，避免使用固定的sleep时间，这样可以减少不必要的等待。异步执行也是一个可能的优化点，比如同时处理多个元素提取任务，提高效率。 用户还可能遇到异常处理不完善的情况，导致脚本不稳定。需要建议他们添加更全面的异常捕获，比如超时、元素未找到等，并记录日志以便调试。还有，资源管理方面，确保及时关闭不需要的标签页和释放资源，避免内存泄漏。 另外，用户提到的视频信息提取可能涉及动态内容，比如通过JavaScript加载的数据。这时候可能需要检查是否所有数据都能通过常规方法获取，或者是否需要模拟滚动等操作来触发内容加载。如果用户需要处理视频下载，可能需要提醒注意法律问题，并建议使用合法的方式获取数据。 最后，根据用户提供的引用，特别是引用[3]中的代码示例，用户可能在使用基本的WebDriver启动浏览器，但没有进行优化配置。可以建议他们整合配置选项，比如使用ChromeOptions来设置无头模式和禁用图片。同时，引用[4]提到的文件上传方法，虽然用户的问题不直接相关，但类似的模拟操作思路可能对处理复杂交互有参考价值。 总结下来，我需要从配置优化、提取效率、异常处理、资源管理等方面给出具体建议，并提供代码示例，帮助用户提升脚本的性能和稳定性。同时，生成的相关问题要覆盖用户可能进一步关心的主题，比如动态内容处理、无头模式优缺点等。</think>### Selenium WebDriver配置优化建议 1. **浏览器选项优化** - 禁用图片加载加速页面渲染 ```python from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument("--blink-settings=imagesEnabled=false") prefs = {"profile.managed_default_content_settings.images": 2} chrome_options.add_experimental_option("prefs", prefs) driver = webdriver.Chrome(options=chrome_options) ``` - 启用无头模式节省资源 ```python chrome_options.add_argument("--headless=new") # Chrome 109+新语法 ``` 2. **驱动管理优化** - 使用上下文管理器自动释放资源 ```python with webdriver.Chrome(options=chrome_options) as driver: driver.get("https://example.com") # 执行操作 ``` 3. **网络请求过滤** - 只加载必要资源类型 ```python from selenium.webdriver.common.proxy import Proxy, ProxyType proxy = Proxy() proxy.proxy_type = ProxyType.MANUAL proxy.http_proxy = "localhost:8080" # 配合Charles/Fiddler使用 ``` ### 视频信息提取改进方案 1. **元素定位优化** ```python # 更高效的XPath写法 title = driver.find_element(By.XPATH, "//div[contains(@class,'video-title')]/text()") duration = driver.find_element(By.CSS_SELECTOR, "span.duration::text") ``` 2. **动态内容处理** ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, "video-stats")) ) ``` 3. **数据异步采集** ```python # 使用JavaScript直接获取视频元数据 metadata = driver.execute_script(""" return { title: document.querySelector('video').title, duration: document.querySelector('video').duration } """) ``` ### 完整优化示例 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--headless=new") chrome_options.add_argument("--disable-gpu") chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"]) with webdriver.Chrome(options=chrome_options) as driver: driver.get("https://video-site.com") try: WebDriverWait(driver, 15).until( lambda d: d.execute_script("return document.readyState") == "complete" ) video_data = driver.execute_script(""" const vid = document.querySelector('video'); return { title: vid.title, duration: vid.duration, resolution: `${vid.videoWidth}x${vid.videoHeight}`, sources: Array.from(vid.querySelectorAll('source')).map(s => s.src) } """) print(f"提取到视频数据：{video_data}") except Exception as e: print(f"数据提取失败：{str(e)}") finally: driver.quit() ``` ### 改进建议说明 1. 使用无头模式减少资源消耗[^3] 2. 通过JavaScript直接获取视频属性避免DOM解析开销[^2] 3. 完善的异常处理保证脚本稳定性[^4] 4. 上下文管理器自动管理驱动生命周期 5. 等待策略确保动态内容加载完成