网络爬虫url链接相对转绝对路径

已于 2024-09-20 12:11:25 修改
阅读量3.5w 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Python 网络爬虫 文章标签： url python 爬虫 合并url
于 2021-02-09 17:45:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/113771985
在数据采集时，遇到URL的相对路径需转为绝对路径以正确访问详情页。本文介绍如何使用Python内置模块，通过几步简单代码将相对路径转化为绝对路径，包括定义基础网址和相对网址，然后使用函数合并，实现完整绝对路径的生成。同时，讨论了模块中处理和解析URL的其他功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在数据采集和网页抓取过程中，常常会遇到相对路径和绝对路径的处理问题。尤其是一些网站的详情页URL为相对路径，这会导致直接抓取的URL无法访问，返回404错误。为了确保数据抓取的准确性，必须将相对路径转换为绝对路径。Python内置的urllib.parse模块提供了便捷的解决方案，通过几行代码即可完成路径拼接和转换。

本篇教程将详细介绍如何使用urllib.parse模块将相对路径转换为绝对路径，同时展示其他URL解析和重构的相关方法。

文章目录

URL路径处理方法

类似某些网站在我们进行数据抓取的时候会遇见文章列表页url是绝对路径的情况，这个抓取下来直接访问详情页是没有结果直接404的，因此需要将网址url进行拼接或者详情页的网址。

在这里插入图片描述

在处理相对路径时，最常见且简便的方法是使用urllib.parse模块的urljoin()函数。它允许将一个基础URL与相对路径合并，生成完整的绝对路径。

以下是一个简单的示例代码：

from urllib import parse

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
67. Python的绝对路径
weixin_63986098的博客
02-09 1692
绝对路径
Python 爬虫技巧1 | 将爬取网页中的相对路径转换为绝对路径
Maple的博客
11-07 8000
1.背景： 在爬取网页中的过程中，我对目前爬虫项目后端脚本中拼接得到绝对路径的方法很不满意，今天很无意了解到在python3 的 urllib.parse模块对这个问题有着非常完善的解决策略，真的是上天有眼，感动！ 2.urllib.parse模块 This module defines a standard interface to break Uniform Resource Locat...
用python做采集时相对路径转换成绝对路径
weixin_34379433的博客
08-20 438
采集时，有时候需要采集图片，但某些网站的图片提供的相对地址，最好转换成绝对地址在scrapy中有如下的解决策略http://stackoverflow.com/questions/6499603/python-scrapy-convert-relative-paths-to-absolute-paths http://stackoverflow.com/questions/1...
python 相对路径改为绝对路径方法
weixin_50959846的博客
02-15 1533
python 用一行代码解决相对路径变为绝对路径问题。
java 相对路径转换绝对路径_Java爬虫的相对路径转绝对路径
weixin_34840783的博客
02-16 698
网上看到的，摘录如下：@SuppressWarnings("finally")public static String getAbsoluteURL(String baseURI, String relativePath){String abURL=null;try {URI base=new URI(baseURI);//基本网页URIURI abs=base.resolve(relativeP...
Java爬虫的相对路径转绝对路径
心中愉悦才能写出精彩动人的代码
12-22 378
最近在做个HTMLParser抓取网页内容； 有些网页的链接写的都是相对路径； 在CSDN上找到的，记录一下。 [code="java"] @SuppressWarnings("finally") public static String getAbsoluteURL(String baseURI, String relativePath){ String abURL=nu...
python爬虫-08-绝对路径和相对路径.ev4.rar
最新发布
03-15
本教程“python爬虫-08-绝对路径和相对路径”旨在深入讲解这两种路径的概念及其在爬虫项目中的应用。 首先，让我们理解什么是绝对路径。绝对路径是从根目录开始，完整描述文件或目录位置的路径。在Windows系统中，...
PHP利用正则表达式将相对路径转成绝对路径的方法示例
10-20
在进行网站开发或网络爬虫开发时，常常需要处理链接，将相对路径转换为绝对路径是常见需求。相对路径是相对于当前页面的URL，而绝对路径是完整指向资源的URL。本文将展示如何使用PHP中的正则表达式功能，将相对路径...
相对路径转化成绝对路径
12-17
理解相对路径和绝对路径之间的转换对于编写处理网络内容的程序至关重要，尤其是在处理跨域资源、数据抓取和网页爬虫等场景。掌握这一技巧可以避免链接失效，提高用户体验，同时也有助于维护和调试代码。在开发过程中...
根据Uri获取图片绝对路径，解决Android4.4以上版本Uri转换
来啊 快活啊
08-31 845
/** * 根据Uri获取图片绝对路径，解决Android4.4以上版本Uri转换 * @param activity * @param imageUri * @author yaoxing * @date 2014-10-12 */ @TargetApi(19) public static String getImageAbsolutePath(Act
写爬虫获取资源路径时有的是相对路径怎么办？
qq_22002157的博客
10-29 1550
之前在用python写爬虫时，遇到的相对路径一般是规则的，所以都是采用字符串拼接的方式就完事儿了，直到昨天我遇到一个难题。 像这种不规则的路径可让我犯了难，字符串怎么拼也不成啊。 后来我发现用urllib中的parse.urljoin就可以做到。 from urllib.parse import urljoin ret = urljoin('http://www.cwi.nl/%7Eguido/...
PHP将相对路径URL转换为绝对路径URL
weixin_71792169的博客
10-27 695
在采集程序或者蜘蛛程序中经常会遇到一类问题，就是将网页中相对路径形式的URL转换为绝对路径形式的URL。例如在http://www.msphome.cn/blog/1/这个页面中，有一个URL链接为../index.php，那么我们要将它转换为http://www.msphome.cn/blog/index.php。下面给出了解决这类问题的代码。该程序能够成功处理各种URL，将其变成绝对形式。
正则表达式验证a中的href和从相对路径转到绝对路径
tudusi
12-23 593
还是在继续蛛蛛的问题 今天遇到两个问题 1：正则表达式验证a中的href 链接问题 2：从绝对路径转到相当路径的问题 办法： 1：要想从a中得到完整的链接还真有点难度 要考虑的问题是：有很多页面不是绝对路径的而是相对路径的 这个没有什么共同的地方 不好用正则表达式去匹配它 我是怎样搞的呢 思路：将全部带有链接的标记找到 例如:&lt;a href="http://www.madein...
linux 查询scrapy路径,Scrapy：启用绝对路径和相对路径的文件管道？
weixin_42349469的博客
05-10 295
问题：我的代码中缺少了什么(请参阅下面的“当前代码”部分)，这将使我能够使用Scrapy从绝对路径和相对路径下载文件？我很感激你的帮助。我对所有这些组件如何协同工作以及如何获得所需的行为感到迷茫。在背景：我使用了一种组合方式：仔细阅读垃圾文档，在GitHub上找到可比较的示例，以及拖网式的StackOverflow来寻找答案，但我无法让垃圾文件管道按照我希望的方式工作。我看到的是相当基本的目标网站...
把 scrapy 抓来的内容 相对路径，转换成 绝对路径，用于下一次的抓取
changdejie的专栏
01-16 6383
代码如下 from scrapy.utils.response import get_base_url from scrapy.utils.url import urljoin_rfc class TestSpider(BaseSpider):          name = 'test'          def __init__(self):         #
url转路径地址
qq_43197829的博客
07-16 612
/** * android7.0以上处理方法 */ private static String getFilePathForN(Context context, Uri uri) { try { Cursor returnCursor = context.getContentResolver().query(uri, null, null, null, null); int nameIndex = returnCursor.getCol
url相对路径转绝对路径
mjf853912229的博客
07-11 599
１.python方法： from urllib import parse absurl="http://www.XXXX.com/XX/XXX/XXX.html" url="../../XX.html" url=parse.urljoin(absurl, url) 2.java方法 absurl="http://www.XXXX.com/XX/XXX/XXX.html" tempurl="...
网络爬虫——相对路径转成绝对路径
黄泉颤抖
03-13 467
public static String relative2AbsolutePath(String content, String url, String tag, String property) throws URISyntaxException, MalformedURLException { String newContent = ""; if (content != null...
URL地址相对路径转绝对路径
热门推荐
zhyoulun的专栏
10-11 1万+
URL相对路径转绝对路径在做爬虫或者网页解析时，经常会从网页中提取到很多相对URL，在做进一步爬取之前，我们需要将这个地址转成完整的URL，其实URL和文件路径是相似的，看似很简单，实则有很多情况需要考虑，网上提供的很多方法都会有各种各样的问题，这里提供了一个相对靠谱的方法，代码如下。echo PhpUri::doIt("https://www.google.com/", "foo"); //输出
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr数据杨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值