python爬虫正则表达式使用说明

Python 爬虫和正则表达式是自动化网络数据提取中常用的两种技术。本文将详细介绍如何使用 Python 编写爬虫，结合正则表达式提取网页中的数据。

一、基础知识点

1. 安装必要库

爬虫通常需要使用库来处理 HTTP 请求和解析网页，常用库有：

• requests：用于发送 HTTP 请求，获取网页内容。
• re：Python 自带的正则表达式库，用于模式匹配和提取数据。
• BeautifulSoup（可选）：如果你需要更高级的网页解析，可以使用它。

pip install requests beautifulsoup4

2. 使用 requests 获取网页内容

你可以使用 requests 库获取网页的 HTML 内容。

import requests

url = "https://example.com"
response = requests.get(url)

# 获取网页内容（HTML 文本）
html_content = response.text

print(html_content)  # 输出网页的 HTML 源码

3. 正则表达式基础

正则表达式是一种模式匹配技术，用于从文本中提取特定格式的数据。Python 使用 re 模块来处理正则表达式。

3.1 常用正则表达式符号

• .：匹配除换行符外的任意字符。
• ^：匹配字符串的开头。
• $：匹配字符串的结尾。
• *：匹配 0 次或多次前面的字符。
• +：匹配 1 次或多次前面的字符。
• ?：匹配 0 次或 1 次前面的字符。
• {n}：匹配 n 次前面的字符。
• []：匹配括号中的任意字符，如 [abc] 匹配 a、b 或 c。
• \d：匹配任意数字，相当于 [0-9]。
• \w：匹配任意字母、数字或下划线，相当于 [a-zA-Z0-9_]。
• \s：匹配空白字符（如空格、制表符）。
• ()：用来分组和提取匹配的子字符串。

3.2 基本示例