获取href 对应的数组

最新推荐文章于 2021-08-06 12:41:27 发布

scan724

最新推荐文章于 2021-08-06 12:41:27 发布

阅读量161

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 爬虫

26 篇文章 ¥39.90 ¥99.00

订阅专栏

使用Python的requests和lxml库爬取网页中div类名为'daohang-links'的a标签href属性，并将结果保存到数组中。示例代码展示了一个登录过程，然后抓取特定页面的链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# !/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib2
import urllib
import cookielib
import json
import httplib
import re
import requests
from lxml import etree
import StringIO
import time

s = requests.session()
print s.headers
url = "https://licai.yingyinglicai.com/user/login.htm"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'
}

login_url = 'http://xxxxx.19/login/VerifyLogin.jsp'
data = {'formmethod': 'post', 'logfile': '/wui/theme/ecology8/page/login.jsp?templateId=3&a