python3 下载特定网页上的文件

最新推荐文章于 2025-06-04 17:42:43 发布

徐为波

最新推荐文章于 2025-06-04 17:42:43 发布

阅读量6.9k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： python项目 pyhton开发文章标签： Python3

本文链接：https://blog.csdn.net/xwbk12/article/details/88534415

pyhton开发同时被 2 个专栏收录

177 篇文章

订阅专栏

python项目

17 篇文章

订阅专栏

本文介绍如何使用Python的urllib库从特定网页上抓取并下载文件到本地指定目录。通过正则表达式解析HTML源码，提取出目标文件的URL，并实现文件的下载。提供了两种下载方法：urllib.request.urlretrieve()和自定义读写循环。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python3 下载特定网页上的文件

参考：https://blog.csdn.net/csdn86868686888/article/details/82108146
https://www.cnblogs.com/rkfeng/p/8366327.html
源码如下

# -*- coding: utf-8 -*-
import urllib3,urllib,time,re,sys,ssl,os
from urllib import request
import urllib.request
import subprocess
"""
Created on Wed Mar 13 10:35:48 2019

@author: fern.xu
"""

#对目标网站进行html源码查看
ssl._create_default_https_context = ssl._create_unverified_context
url = "http://xxx.xxx.xxx.xxx:8081/nexus/content/repositories/releases/wolaidai/welab-kms/27345/"
page = request.urlopen(url)
html = page.read().decode('utf-8') 

#使用正则对源码html中匹配.jar的绝对url地址
reg = r'<a href="(.+?\.jar)">' 
imgre = re.compile(reg) 
imglist = re.findall(imgre,html) 

#print (imglist[0])

#从url中提取文件名
url_filename = os.path.basename(imglist[0])
print(url_filename)

#组装在WINDOWS文件要保存路径与名称
winpath = r'D:\work\pywork'
#filename = r'agreement.jar'
#dest_dir = os.path.join(winpath,filename)
#print(dest_dir)

dest_dir = os.path.join(winpath,url_filename)
print(dest_dir)


#对文件进行下载
#方法1
#urllib.request.urlretrieve(imglist[0],dest_dir)
#方法2
response = request.urlopen(imglist[0])
chunk = 16*1024
with open(dest_dir,"wb") as f:
    while True:
        chunk = response.read(chunk)
        if not chunk:
            break
        f.write(chunk)