爬虫实战——求是网周刊文章爬取

### 使用爬虫技术从求是网爬取周刊文章的实战教程 为了实现从求是网爬取周刊文章的目标，可以采用 Python 的 `requests` 和 `BeautifulSoup` 库完成基本的数据提取工作。以下是详细的代码示例以及解释： #### 准备环境 首先需要安装必要的库： ```bash pip install requests beautifulsoup4 lxml ``` #### 编写爬虫代码 以下是一个完整的代码示例，用于从求是网爬取周刊文章的内容。 ```python import requests from bs4 import BeautifulSoup def fetch_weekly_articles(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: response = requests.get(url, headers=headers) response.raise_for_status() response.encoding = 'utf-8' # 设置编码方式 soup = BeautifulSoup(response.text, 'lxml') articles = [] article_list = soup.find_all('div', class_='article') # 替换为实际的文章列表容器类名[^3] for article in article_list: title = article.find('h2').get_text(strip=True) if article.find('h2') else None link = article.find('a')['href'] if article.find('a') and 'href' in article.find('a').attrs else None summary = article.find('p').get_text(strip=True) if article.find('p') else None if title and link: articles.append({ 'title': title, 'link': link, 'summary': summary }) return articles except Exception as e: print(f"Error occurred while fetching data from {url}: {e}") return [] if __name__ == "__main__": url = "https://www.qstheory.cn/" # 替换为目标网址 weekly_articles = fetch_weekly_articles(url) for idx, article in enumerate(weekly_articles[:10], start=1): # 输出前10篇文章作为示例 print(f"{idx}. Title: {article['title']} | Link: {article['link']} | Summary: {article['summary']}") ``` 以上代码实现了以下几个功能： 1. 发送 HTTP 请求到目标 URL 并解析 HTML 页面内容。 2. 利用 `BeautifulSoup` 提取页面中的文章标题、链接和摘要信息。 3. 将结果存储在一个字典列表中以便后续处理或展示。 需要注意的是，在实际应用过程中可能需要调整 CSS 选择器以匹配具体的网页结构[^3]。 #### 数据保存至本地文件 如果希望将爬取的结果保存到本地文件中，可以在程序最后加入如下逻辑： ```python with open("articles.txt", "w", encoding="utf-8") as f: for article in weekly_articles: f.write(f"Title: {article['title']}\nLink: {article['link']}\nSummary: {article['summary']}\n\n") print("Articles have been saved to articles.txt.") ``` 这会将每一篇文章的信息按指定格式写入名为 `articles.txt` 的文本文件中。 --- ### 注意事项 在编写爬虫时需注意遵守目标网站的服务条款及法律法规，避免因频繁请求或其他不当行为引发法律风险或被封禁 IP 地址等问题[^3]。 ---