爬取CSDN文章代码

最新推荐文章于 2024-09-18 22:19:52 发布

理想不闪火

最新推荐文章于 2024-09-18 22:19:52 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

文章标签： javascript 开发语言 ecmascript

本文链接：https://blog.csdn.net/weixin_43838785/article/details/128028745

Python 专栏收录该内容

67 篇文章

订阅专栏

该程序使用Python的requests和parsel库爬取CSDN博客文章，通过tomd库将HTML内容转换为Markdown格式，并保存到本地文件中。用户输入文章链接后，程序会创建一个Markdown文件，包含文章标题和内容，同时处理了HTML标签的移除。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import parsel
import tomd
import os
import re

#对一篇文章的爬取
def spider_csdn(title_url):    # 目标文章的链接
    head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.52",
    "Referer": "https://blog.csdn.net/tansty_zh"
    }
    html=requests.get(url=title_url,headers=head).text
    page=parsel.Selector(html)
    #创建解释器
    title=page.css(".title-article::text").get()
    content=page.css("article").get()
    content=re.sub("<a.*?a>","",content)
    content = re.sub("<br>", "", content)
    text=tomd.Tomd(content).markdown
    #转换为markdown 文件
    path = os.getcwd()  # 获取当前的目录路径
    file_name = "/passage"
    final_road = path + file_name
    try:
        os.mkdir(final_road)
        print('创建成功！')
    except:
        print('目录已经存在或异常')
    with open(final_road+r"/"+title+".md",mode="w",encoding="utf-8") as f:
        f.write("#"+title)
        f.write(text)

def main():
    print("本项目由tansty开发")
    url = input("请输入网址：")
    spider_csdn(url)

if __name__ == '__main__':
    main()