Python—爬取信息案例(Xpath方法)

原创已于 2022-02-27 15:19:25 修改 · 744 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #xpath

于 2022-02-27 15:04:24 首次发布

python 同时被 3 个专栏收录

37 篇文章

订阅专栏

爬虫

19 篇文章

订阅专栏

Xpath

5 篇文章

订阅专栏

本文通过实例展示了如何使用Python的lxml库，结合XPath表达式，从互联网抓取指定网站的二手房列表信息，包括标题和详细内容，并将其保存到文本文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例：爬取某二手房信息

Xpath实例化一个etree对象两种方法：from lxml import etree

-1.将-本地的html文档中-的源码数据加载到etree对象中：

etree.parse(filePath)

-2.可以将从-互联网-上获取的源码数据加载到该对象中：

etree.HTML('page_text')

- xpath表达式：

- /:表示的是从根节点开始定位，表示的是一个层级

- //:表示的是多个层级；或可以表示从任意位置开始定位

-属性定位:

//div[@class="song"] tag[@attrName="attrValue"]

- 索引定位:

//div[@class="song"]/p[3] 索引是从1开始。

- 取文本：

- /text() 获取的是标签中直系的文本内容

- //text() 标签中非直系的文本内容(所有的文本内容)

-取属性：

/@attrName img/@src

源码：

import requests
from lxml import etree
#UA伪装
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}

#爬取到页面源码数据
url='输入自己要爬取的网址信息'
page_text=requests.get(url=url,headers=headers).text

#页面数据解析
tree=etree.HTML(page_text)
#返回一个列表数据
div_list=tree.xpath('//section[@class="list"]/div')

#文件存储
fp=open('58.text','w',encoding='utf-8')

#逐个数据进行存储
for div in div_list:
    #局部解析 ./:当前标签下 //:从任意位置开始定位
    title=div.xpath('.//h3/text()')[0]
    print(title)
    fp.write(title+'\n\n')

实现效果：

保存到文件效果