selenium+chrome多线程爬取多个网站信息

最新推荐文章于 2025-06-13 14:12:59 发布
原创 最新推荐文章于 2025-06-13 14:12:59 发布 · 5.7k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#多线程 #动态页面爬虫 #python

  1. 本文创建sqlserver数据库连接池，从数据库读取相关网站配置。下图为各个网址的数据标签定位配置：
    在这里插入图片描述2. 获得配置之后，创建多线程。从配置文件中读取配置后，
    下图为创建多线程（threading）：

在这里插入图片描述3. 接下来使用selenium+chromedriver调用浏览器，使用beautifuisoup解析页面爬取动态页面数据：
在这里插入图片描述

最后展示全部代码：

import pyodbc
import pymssql
import socket
import _mssql
import uuid
from multiprocessing import Lock, Pool
import multiprocessing
import decimal
from DBUtils.PooledDB import PooledDB
import time
from apscheduler.schedulers.blocking import BlockingScheduler
from apscheduler.triggers.interval import IntervalTrigger
import threading
import re
import os
import pytz
import time
import configparser
import html
import urllib
import uuid
from urllib import request
import requests
import datetime
from bs4 import BeautifulSoup
from k_v import k_v
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from fake_useragent import UserAgent
from random import choice
UserHeader = [
“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2224.3 Safari/537.36”,
“Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.3319.102 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2117.157 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1866.237 Safari/537.36”,
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36 ",
“Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1623.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.62 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.2 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1464.0 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36”,
“Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome

最低0.47元/天 解锁文章

200万优质内容无限畅学
selenium + Chrome自动化多线程爬取腾讯动漫漫画，项目实战
绝天德男的博客
12-11 1710
本文使用selenium + Chrome + + requests + 多进程的方式进行爬取 本文只能爬取免费的漫画，对于付费的漫画没有做相关的处理 本文仅供学习交流使用，严禁用于商业用途 开门见山。直接上代码 先进行导入模块，项目初始化 from selenium import webdriver import requests import os,sys import time clas...
【Python 多线程+Selenium+PyQuery+正则】爬取留学咨询服务信息
fangqileo的博客
11-19 654
很多面临留学申请的小伙伴可能在寻求学长学姐留学咨询服务的时候一定好奇相关服务的价格等等信息，那么今天就来爬取一下相关内容。 程序分为【两个部分】。首先爬取导师详情页url，之后解析详情页内容。 由于此网站索引页的html不包含导师的详情页信息（貌似使用了js），因此首先利用Selenium爬取导师的相对url。 导入模块 import requests from selenium import webdriver import time from pyquery import PyQuery
python selenium chrome 多开 多线程
08-08
phantomjs.exe，chromedriver.exe文件改个名字 填上绝对路径 就可以打开多个浏览器对象 .包含 phantomjs.exe，chromedriver.exe 和示例
【Selenium】提高测试&爬虫效率：Selenium与多线程的完美结合
苟日新，日日新，又日新!!!
06-01 1万+
本文章介绍了 Selenium + threading 和 Selenium + ThreadPoolExecutor 结合来创建多个浏览器或多个标签页的操作。提供代码模板，拿来即用
掌握ChromeDriver与Selenium的自动化测试技术
最新发布
weixin_35754962的博客
06-13 826
ChromeDriver 是一个独立的服务程序，由 Google 提供支持，允许开发者控制 Chrome 浏览器进行自动化测试。它是 Selenium Web 自动化测试框架的关键组成部分之一，广泛应用于跨浏览器测试中。通过 ChromeDriver，Selenium 可以以编程方式模拟用户在网页上的各种操作，如点击、输入、导航等。WebDriver协议是在Web自动化测试领域内不断发展的需求中诞生的。
Python+Selenium多线程基础微博爬虫
McQueen_LT的博客
06-26 3272
一、随便扯扯的概述 大家好，虽然我自上大学以来就一直在关注着CSDN，在这上面学到了很多知识，可是却从来没有发过博客（还不是因为自己太菜，什么都不会），这段时间正好在机房进行期末实训，我们组做的是一个基于微博信息的商品推荐系统，不说这个系统是不是真的可行可用，有价值，我们的主要目的只是通过构建这个系统来学习更多的技术，新学一门语言（额，原谅我现在才开始学Python）。 ...
Selenium一口气打开N个网址（简单粗暴，小白菜必会）
weixin_44842837的博客
04-25 3907
from selenium import webdriver driver = webdriver.Firefox() driver.maximize_window() #各个网址： A=‘https://www.baidu.com/’ B = “http://news.baidu.com/” C = ‘https://www.hao123.com/’ D= ‘https://zhidao.bai...
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述
weixin_37806591的博客
01-14 2138
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述 目录Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述前言一、使用webdriver的注意事项二、开始码代码1.引入库&总体思路2.检索部分3.文献url批量爬取4.文献详情爬取+excel保存总结完整代码参考内容 前言 小白的第一篇文章！最近假期写专利需要参考知网所有相关专利文献，一篇篇点进去看实在太慢了。。一气之下就写了个pytho
python + selenium多进程爬取淘宝搜索页数据
Kosmoo的博客
07-24 4332
selenium操作chrome滑动滚动条的几种方法分析 页面滚动条滑动 self.driver.execute_script(“window.scrollTo(0,document.body.scrollHeight);”) # 将页面滚动条滑到底部 self.driver.execute_script(“arguments[0].scrollIntoView();”, el) # 向...
如何在多个线程中运行`selenium-chromedriver`
08-02 757
然后下载并放置合适的ChromeDriver版本到你的系统中，路径通常为：`/usr/local/bin` 或 `C:\Users\<username>\AppData\Local\Google\Chrome Selenium Webdriver`。如果你的应用需要处理大量的文本数据，并且希望利用人工智能技术来提高效率，可以考虑将每个浏览器实例的任务分配给不同的大模型线程。- 在多线程环境下，为了保证资源的有效管理，每个线程应该独立地初始化和使用WebDriver实例。1. 将网页内容发送给每个模型线程。
python爬虫实战--selenium验证码保存+多线程多标签+自动点击+完整代码
qwerty200696的博客
12-11 5622
初步实现思路： 获取种子的页面，在每个页面中找到说谢谢的按钮，并点击后，关闭。依次进行下去即可。 相似任务： 实现对某论坛的自动回复，实现自动获取所有帖子的信息等等相关操作，无论是否需要模拟登录、模拟鼠标操作还是直接解析网站元素。 改进一：使用多线程、多标签 改进二：验证码保存+面向对象编程 改进三：使用pyqt获得验证码图片
详解Python多线程Selenium跨浏览器测试
09-21
本篇文章主要介绍了Python多线程Selenium跨浏览器测试，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
Facebook多线程爬虫（python+selenium）
04-02
用python+selenium可多线程爬取Facebook上视频数据，提供关键词，自动打开网页搜索关键词，并依次读取该关键词对应的所有视频的标题、地址、日期、播放量、点赞数、评论数、分享数、视频商品链接bit.ly点击量、是否有去逛逛和视频时长。读取到的数据存放在excel里，一个关键词一个excel表。
java+selenium(房天下 链家小区 多线程+代理实现)
10-17
java+selenium(房天下 链家小区 多线程+代理实现)
python+selenium多线程与多进程爬虫
热门推荐
broccoli2的博客
12-01 1万+
使用python+selenium抓取深圳证券交易所本所公告数据，刚开始是用单进程爬取的，最近将代码修改了一下，分别用多进程和多线程进行抓取，速度非常快。如果对selenium不了解的请移步别的地方学习一下。 多进程爬取 # coding=utf-8 ''' 多进程抓取深圳证券交易所本所公告数据 标题和公告内容写入了不同的csv文件里 Author:西兰 Date：2019-11-30 ''' ...
python+Selenium多线程后台爬虫例子
wg2627的博客
10-18 2404
Selenium多线程后台爬虫
Selenium同时启动不同的浏览器
此生不换的博客
01-07 2547
import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.chrome.ChromeOptions; import org.openqa.selenium.firefox.FirefoxDriver; import org.test
python+selenium多线程爬虫爬取boss直聘
王冬的csdn
12-30 3147
python+selenium多线程爬虫爬取boss直聘1.环境准备2.获取列表页url3. 正式爬取 1.环境准备 1.搭建python环境（强烈建议安装 Anaconda) 2.pip install selenium（其他依赖模块也一样） 3.Chrome driver安装（具体安装方法自行百度） 4.还需要一个开发工具如：pyCharm（也可以用Anaconda 的jupyter note...
如何用selenium实现多线程爬取动态页面
06-07
使用 Selenium 实现多线程爬取动态页面是一种比较常见的方式，下面是一个基本的示例代码，供您参考： ```python from selenium import webdriver from threading import Thread class MyThread(Thread): def __init__(self, url): Thread.__init__(self) self.url = url def run(self): driver = webdriver.Chrome() driver.get(self.url) # 在此处编写爬取动态页面的代码 driver.quit() urls = ['https://www.example.com/page1', 'https://www.example.com/page2', 'https://www.example.com/page3'] threads = [] for url in urls: thread = MyThread(url) thread.start() threads.append(thread) for thread in threads: thread.join() ``` 在上面的代码中，我们创建了一个 `MyThread` 类，继承自 `Thread` 类，用于实现多线程操作。在 `run` 方法中，我们创建了一个 `webdriver.Chrome()` 对象，打开指定的 URL，然后编写爬取动态页面的代码。在主程序中，我们创建了多个线程对象，分别传入不同的 URL，然后启动线程并加入到线程列表中，最后使用 `join` 方法等待所有线程执行完毕。 需要注意的是，这里仅仅提供了一个基本的示例代码，实际应用中还需要根据具体的需求进行适当的修改和优化。同时，多线程爬取动态页面也需要考虑到网站的反爬机制，遵守爬虫规则，以免被禁止访问。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值