python爬虫——提取抓取内容（5）XPath的简单使用

最新推荐文章于 2025-07-23 22:19:16 发布

原创最新推荐文章于 2025-07-23 22:19:16 发布 · 3.7k 阅读

13 ·

CC 4.0 BY-SA版权

python爬虫专栏收录该内容

37 篇文章

订阅专栏

本文介绍了XML的基本概念，重点讲解了XPath的用途、节点类型、节点关系、选取节点的方式，以及XPath在Python爬虫中的简单应用，包括属性定位、层级索引定位、逻辑运算、模糊匹配、文本获取和属性提取。还提供了Chrome浏览器XPath插件的安装教程，以及使用XPath处理本地和网络文件的示例。

一.XML基本概念

1.XML是什么?

XML 指可扩展标记语言（EXtensible Markup Language）
XML 是一种标记语言，很类似 HTML
XML 的设计宗旨是传输数据，而非显示数据
XML 标签没有被预定义。您需要自行定义标签。
XML 被设计为具有自我描述性。
XML 是 W3C 的推荐标准

2.XML 与 HTML 的主要差异

XML 不是 HTML 的替代。
XML 和 HTML 为不同的目的而设计：
XML 被设计为传输和存储数据，其焦点是数据的内容。
HTML 被设计用来显示数据，其焦点是数据的外观。
HTML 旨在显示信息，而 XML 旨在传输信息
内容参考：https://www.w3school.com.cn/xml/index.asp

二.XPthon基本概念

1.XPath是什么？

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

XPath 使用路径表达式在 XML 文档中进行导航
XPath 包含一个标准函数库
XPath 是 XSLT 中的主要元素
XPath 是一个 W3C 标准

2.XPath节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。
我主要学习前三种：元素，属性，文本

在这里插入图片描述

3.节点关系

父（Parent）

每个元素以及属性都有一个父。

子（Children）

元素节点可有零个、一个或多个子。

同胞（Sibling）

拥有相同的父的节点

先辈（Ancestor）

某节点的父、父的父，等等。

后代（Descendant）

某个节点的子，子的子，等等。

4.选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

下面列出了常用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点
/	从根节点选取
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
./	从当前节点开始向下查找
. .	选取当前节点的父节点
@	选取属性

5.谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()< 3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

6.选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

内容参考：https://www.w3school.com.cn/xpath/xpath_syntax.asp

三.安装谷歌浏览器插件

网盘地址：链接：https://pan.baidu.com/s/1hGgbvfdTeZfR0oBn3p_2QA
提取码：kw68

1).在chrome右上角找到选项–》更多工具–》扩展程序。把crx文件拖拽，即可安装，如果安装成功右上角都会有一个小叉叉。
2).如果安装失败，则打开开发者模式，再次拖拽安装。
3）.如果2）也失败，请将crx文件后缀修改为rar解压，点击开发者模式的加载已解压的扩展程序，选择解压后的文件夹，点击确定

如果安装成功右上角都会有一个小叉叉

点击小叉叉会有黑框出现
测试：

在这里插入图片描述
查询前后对比：

四.XPath的简单使用

1.属性定位

1.1匹配搜索的文本框： //input[@id="kw"]
在这里插入图片描述

1.2匹配‘“百度一下”，要把属性值写全：//input[@class="btn self-btn bg s_btn"]

在这里插入图片描述

2.层级定位和索引定位结合使用（索引从1开始）

1.1匹配‘百度首页’：
在这里插入图片描述
先匹配：//div[@id="head"]节点

再匹配第五个div标签：//div[@id="head"]/div[5]

再匹配上一个标签下的第二div标签：//div[@id="head"]/div[5]/div[2]
最后匹配上一个标签下的第第一个a标签：//div[@id="head"]/div[5]/div[2]/a[1]
在这里插入图片描述
还有很多种表示方法，这里就不一一列举了。

3.逻辑运算

1.1 找出图中的文本框(如果一个条件不足以找出则可以用and再连接一个条件)：input[@class="s_ipt" and @name="wd"]
在这里插入图片描述

4.模糊匹配

1.1contains函数
(1)匹配图中的文本框：//input[contains(@class,"s")] 所有的input，有class属性，并且属性中带有s的节点
在这里插入图片描述

1.2starts-with函数
匹配图中的文本框：//input[starts-with(@class,"s")]所有的input，有class属性，并且属性以s开头

在这里插入图片描述

5.取文本（text()）

1.1匹配文中“贴吧”两个字：//div[@id="u_sp"]/a[6]/text()
在这里插入图片描述

1.2匹配div中id=“u_sp”标签中a所有文本：//div[@id="u_sp"]/a//text()

6.取属性

匹配图中a标签的href属性：//div[@id="u_sp"]/a[6]/@href
在这里插入图片描述

五.两种使用方法

1.将html文档变成一个对象，然后调用对象的方法去查找指定的节点

（1）本地文件

tree = etree.parse(文件名)

测试1：找出“清明时节雨纷纷，路上行人欲断魂。”
html文件：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8" />  # 要加/
    <title>xpath测试</title>
</head>
<body>
    <div class="chi">
        零食
        <b>大白兔奶糖</b>
        <b>德芙巧克力</b>
        <b>可比克薯片</b>
        面包
    </div>
    <div class="tang">
        <ul>
            <li class="hun">清明时节雨纷纷，路上行人欲断魂。</li>
            <li id="shuang">床前明月光，疑是地上霜。</li>
            <li class="hun" name="lala">清时明月汉时关，万里长征人未还。</li>
            <li id="jun">正是江南好风景，落花时节又逢君。</li>
            <li><a href="http://www.baidu.com/">百度一下</a></li>
        </ul>
        <ol>
            <li class="hello">寻寻觅觅，冷冷清清，凄凄惨惨戚戚</li>
            <li class="hily">葡萄美酒夜光杯，欲饮琵琶马上催</li>
            <li class="home">君不见黄河之水天上来，奔流到海不复回</li>
            <li>杨家有女初长成，养在深闺人未识</li>
            <li>小时不识月，呼作白玉盘</li>
            <li>春蚕到死丝方尽，蜡炬成灰泪始干</li>
        </ol>
    </div>
</body>
</html>

python文件：
方法一：

from lxml import etree

# 生成对象
tree = etree.parse("xpath.html")
# print(tree)
ret = tree.xpath('//div[@class="tang"]/ul/li[1]')
print(ret[0].text)

在这里插入图片描述
方法二：

from lxml import etree

# 生成对象
tree = etree.parse("xpath.html")
# print(tree)
ret = tree.xpath('//div[@class="tang"]/ul/li[1]/text()')
print(ret)

在这里插入图片描述
测试2：找出"百度一下"的href属性

from lxml import etree

# 生成对象
tree = etree.parse("xpath.html")
# print(tree)
ret = tree.xpath('//div[@class="tang"]/ul/li[last()]/a/@href')
print(ret)

在这里插入图片描述
测试3：找出所有class=“hun”的所有节点

from lxml import etree

# 生成对象
tree = etree.parse("xpath.html")
# print(tree)
ret = tree.xpath('//div[@class="tang"]/ul/li[@class="hun"]')
print(ret)

在这里插入图片描述
测试4：找出所有class=“hun”和name=“lala”的节点

from lxml import etree

# 生成对象
tree = etree.parse("xpath.html")
# print(tree)
ret = tree.xpath('//div[@class="tang"]/ul/li[@class="hun" and @name="lala"]')
print(ret)

在这里插入图片描述
测试5：找出li标签下所有class中带有h的节点

from lxml import etree

# 生成对象
tree = etree.parse("xpath.html")
# print(tree)
ret = tree.xpath('//li[contains(@class,"h")]')
print(ret)

在这里插入图片描述

（2）网络文件

tree = etree.HTML(网页字符串)
ret = tree.xpath(路径表达式)  # ret是一个列表