BeautifulSoup爬虫实战

最新推荐文章于 2023-11-30 08:36:56 发布

蝶衣_疯魔

最新推荐文章于 2023-11-30 08:36:56 发布

阅读量202

点赞数

CC 4.0 BY-SA版权

分类专栏：人生苦短，我学python

本文链接：https://blog.csdn.net/shujuku____/article/details/108686781

人生苦短，我学python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一个使用Python和BeautifulSoup实现的简单爬虫项目，该爬虫可以从古诗文网抓取古诗词及其相关信息，并将其保存到本地文本文件中。通过分析网页结构，爬虫能够准确地提取每首诗词的标题、作者、链接和内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

4.https://www.gushiwen.cn/default_1.aspx 故事文网下载每一页面古诗并写入文本文件。使用BeautifulSoup完成

import requests
from bs4 import BeautifulSoup


# 定义请求url
url = 'https://so.gushiwen.cn/shiwen/'

# 定义请求头

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
}

res = requests.get(url=url, headers=headers)

# 判断是否成功并获取源码
if res.status_code == 200:
    print('请求成功')

    # 解析数据
    soup = BeautifulSoup(res.text, 'lxml')

    # 获取数据
    # 获取文章大div
    divs = soup.find_all('div', class_="sons")
    #print(divs)
    data = []
    for i in divs:
        cont = i.find('div', class_="cont")
        #判断非空 cont.p is not None
        if cont.p:
            varlist = {
                'title':cont.p.text,
                'author':cont.find('p',class_="source").text,
                'url':cont.p.find('a')['href'],
                'content':cont.find('div',class_="contson").text
            }
            data.append(varlist)
            print('标题：'+cont.p.text+'\t'+cont.find('p',class_="source").text+'\t'+'链接:  https://so.gushiwen.cn/'+cont.p.find('a')['href']+'\n'+cont.find('div',class_="contson").text)   
         # 写入数据
    with open('./gushi.txt', 'w', encoding='utf-8') as fp:
        for i  in data:
            print(i)
            fp.write('标题:'+i['title']+'\t作者:'+i['author']+'\t链接:  https://so.gushiwen.cn/'+i['url']+'\n内容:'+i['content']+'\n')
    print('文件已写入！')