python3用urllib抓取贴吧邮箱和QQ实例

### Python3 使用 urllib 抓取贴吧邮箱和QQ实例解析 #### 概述 本文将详细介绍如何使用Python3的`urllib`库来抓取百度贴吧中的帖子内容，并从中提取邮箱和QQ号码等信息。该过程涉及到网络爬虫的基础知识、正则表达式匹配以及网页数据解析等关键技能。 #### 主要组件 为了实现这一目标，我们定义了三个主要功能函数：`gettiebalistnumbers`用于获取贴吧的帖子数量和关注人数；`gettiebalist`用于生成所有包含特定关键词的贴吧页面列表；`geturllistformpage`用于从单个贴吧页面中抓取所有帖子的URL链接。接下来，我们将对这些函数进行详细解析。 #### 函数详解 1. **`gettiebalistnumbers(name)`** - **目的**：此函数用于获取指定贴吧的帖子总数及关注人数。 - **参数**： - `name`: 要搜索的贴吧名称。 - **步骤**： 1. 构造请求URL，包括关键词参数。 2. 设置请求头（模拟浏览器访问），以便更好地与网站交互。 3. 发送HTTP请求并接收响应数据。 4. 使用正则表达式解析响应数据，提取帖子总数和关注人数。 5. 将提取到的字符串转换为整数类型后返回。 2. **`gettiebalist(name)`** - **目的**：根据贴吧的帖子总数生成包含所有页面URL的列表。 - **参数**： - `name`: 要搜索的贴吧名称。 - **步骤**： 1. 调用`gettiebalistnumbers`函数获取帖子总数。 2. 计算出总页数（每页默认显示54条帖子）。 3. 生成包含所有页面URL的列表并返回。 3. **`geturllistformpage(url)`** - **目的**：从给定的贴吧页面中抓取所有帖子的URL。 - **参数**： - `url`: 需要抓取的贴吧页面URL。 - **步骤**： 1. 设置请求头，模拟浏览器行为。 2. 发送HTTP请求并接收响应数据。 3. 解析响应数据，提取每个帖子的URL。 4. 返回包含所有帖子URL的列表。 #### 实例代码分析 下面是对部分代码片段的具体分析： ```python import urllib import urllib.request import re from urllib import parse # 抓取贴吧页面数量信息 def gettiebalistnumbers(name): # 计算搜索的关键词有多少页输入名字返回页数 url = "https://tieba.baidu.com/f?" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"} # header字典形式 word = {"kw": name} # 接口贴吧的名字 word = parse.urlencode(word) # 编码成字符串 url = url + word # 拼接url request = urllib.request.Request(url, headers=headers) # 发送请求 request.add_header("Connection", "keep-alive") # 保持连接 response = urllib.request.urlopen(request) # 打开请求 data = response.read().decode("utf-8") # 读取数据 print(response.code) # 查看响应状态码 restr = "<span class=\"card_infoNum\">([\s\S]*?)</span>" # 正则这个贴吧有多少帖子 regex = re.compile(restr, re.IGNORECASE) mylist = regex.findall(data) # 寻找页面所有符合条件的 tienumbers = mylist[0].replace(",", "") # 替换逗号 tienumbers = eval(tienumbers) # str转化为数字 restr = "<span class=\"card_menNum\">([\s\S]*?)</span>" # 正则关注贴吧的人数 regex = re.compile(restr, re.IGNORECASE) mylist = regex.findall(data) # 寻找页面所有符合条件的 Peoplenumbers = mylist[0].replace(",", "") # 替换逗号 Peoplenumbers = eval(Peoplenumbers) # str转化为数字 return tienumbers, Peoplenumbers ``` 以上代码展示了如何构造HTTP请求，设置请求头以模拟浏览器行为，然后发送请求并解析响应数据的过程。通过正则表达式匹配特定的HTML标签来提取所需的信息，例如帖子数量和关注人数。 本示例通过组合这些功能函数实现了基本的贴吧信息抓取流程。值得注意的是，在实际应用中还需要进一步扩展功能以支持邮箱和QQ号码的抓取，这通常涉及更复杂的正则表达式和数据处理逻辑。此外，还需注意遵守相关法律法规和网站的使用条款，避免非法抓取或侵犯个人隐私的行为。