根据target属性爬取

最新推荐文章于 2024-07-24 02:04:40 发布

scan724

最新推荐文章于 2024-07-24 02:04:40 发布

阅读量433

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 爬虫

本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/111595075

Python 爬虫专栏收录该内容

26 篇文章 ¥39.90 ¥99.00

订阅专栏

该篇博客展示了如何利用Python的requests库和lxml库，通过目标属性[target]筛选和爬取网页上的特定链接内容。示例代码中，作者首先进行登录操作，然后读取并解码HTML文件，接着使用XPath表达式选取target为'aaa'的a标签内的文本，成功获取到'科比'和'乔治'等信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[root@yyjk /tmp]#cat fh2.html
<div><a target="aaa">科比</a></div>
<div><a target="bbb">乔丹</a></div>
<div><a target="aaa">乔治</a></div>
<a target="aaa">艾弗森</a>

[root@yyjk /tmp]#python a2.py
{'Connection': 'keep-alive', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'User-Agent': 'python-requests/2.18.4'}
<type 'unicode'>
科比
乔治
[root@yyjk /tmp]#vim a2.py ^C
[root@yyjk /tmp]#cat a2.py
# !/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib2
import urllib
import cookielib
import json
import httplib
import re
import requests
import StringIO
import time
from lxml import etree
s = requests.sessi