python爬虫获取页面元素的css样式,BeautifulSoup获取指定class样式的div的实现

本文介绍了从网页中抓取特定标签内容的三种方法,并详细对比了它们的特点与局限性,特别是针对复杂嵌套标签的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

如何获取指定的标签的内容是解析网页爬取数据的必要手段,比如想获取

...
这样的div标签,通常有三种办法,

1)用字符串查找方法,然后切分字符串(或切片操作),如str.index(patternStr)或str.find(patternStr),这种方法快,但步骤多,因为要去头去尾。

2)用正则表达式,比如'

([\s\S]+?)
',通过正则表达式的括号,可以获取匹配的内容,即

import re

def getTags(html):

reg = r'

([\s\S]+?)
'

pattern= re.compile(reg)

tags= re.findall(pattern, html)

return tags

不过正则表达式仍有缺点,例如'

([\s\S]+?)
'括号中的问号表示非贪婪匹配,正常情况下可以匹配到所需要的内容,但如果class="result_info"的div中还嵌套了子的div,那么正则表达式的后半部分"
"将会匹配子div的结尾部分
,而不是希望的父div.

假如有这样一个html:

some paragraph test 1

some paragraph test 2

some contents in sub div

backend content here

那么backend contents here这段内容将会匹配不到,正则表达式将会将id为div_sub的

作为结尾。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值