Python爬虫自学系列（二）

最新推荐文章于 2025-06-23 20:27:57 发布
最新推荐文章于 2025-06-23 20:27:57 发布
阅读量8.7k 收藏 185
点赞数 45
CC 4.0 BY-SA版权
分类专栏： 一起偷偷学Python 文章标签： python xpath html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43762191/article/details/112861626
本文是Python爬虫自学系列的第二部分，介绍了如何从HTML网页中利用XPath选择和提取数据。文章讲解了XPath的基本概念，探讨了XPath与BeautifulSoup的性能对比，并提供了两种可持续发展的数据抓取方法，包括通过element对象中转和传入XPath列表进行循环取值。此外，鼓励读者通过实践来提升XPath技能，如在招聘网站上进行练习。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

文章目录

前言

依旧是先唠嗑两句，过气博主又来找存在感了。

回顾一下往昔，过去我们讲了爬虫的简单操作，并封装了一个简单的，获取网页源数据的函数，还挺好用吧。
Python爬虫自学系列一

今天我们来从获取到的网页数据中抓取我们想要的数据。
（注：这一篇里面很多东西都已经是讲过的了，所以本篇基本上是链接了，也不会很长的）

HTML网页简单介绍

Xpath，永远滴神

XPath 是一种将 XM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python爬虫自学系列（五）
看，未来的博客
01-23 9165
emmmm，又到了单数篇。 不知道为什么，我居然会觉得，这个系列，单数篇必是精品，双数篇基本划水。。 好，废话不多说，本篇我们进入了大并发时代，看看我们的大并发爬虫。 什么是大并发？几千个量？几万个量？几十万个？好意思吗？ 这波我找了一百万个网址（虽然也不大，凑合着用吧）。 我准备了csv格式、Excel格式、还有最原始的数据集以及清洗代码，看你喜欢哪种了。
自学爬虫项目(一)
壹乐的博客
01-27 5186
引言 本人是只有python语言基础的小白，进入大学前从未接触过编程知识，学习的专业也与编程无关。机缘巧合之下，有幸接触到编程，对其产生浓厚的兴趣，并开始学习。 此文旨在记录生活，总结心得，若有不足之处，欢迎批评指正。 文章目录引言一、明确目标二、分析过程三、代码实现 一、明确目标 用多协程爬取安客居前十页的二手房源的名称，价格，几房几厅，大小，建造年份，联系人，地址。 二、分析过程 1. 首先打开安客居的网站 安客居的url:https://beijing.anjuke.com/sale/ 进入网站后按F
非计算机专业小白自学爬虫全指南（附资源）
q7695650的博客
08-22 2373
爬虫是我接触计算机编程的入门。哥当年写第一行代码的时候别提有多痛苦。 本文旨在用一篇文章说透爬虫如何自学可以达到找工作的要求。 爬虫的学习就是跟着实际项目去学，每个项目会涉及到不同的知识点，项目做多了，自然也就会了。练练练！！！！ 本文推荐的资源就是以项目练习带动爬虫学习，囊括了大部分爬虫工程师要求的知识点。   爬虫工程师要求知识点 1、python入门和进阶（进阶的包括多进程等等）...
零基础小白如何学爬虫技术？看一遍就会的详细教程！
最新发布
Leo的博客
06-23 2738
本文为零基础学习者提供了一套快速掌握爬虫技术的3周极简路径。核心方法包括：1.从单页数据抓取入手，掌握"请求-解析-存储"流程；2.学习非结构化数据存储和反爬虫技巧；3.用Scrapy框架工程化升级。文章详细拆解了爬虫学习六大步骤：Python包使用、数据存储方案、Scrapy框架、数据库知识、反爬措施和分布式爬虫，并附有电商数据采集实战案例。推荐了《Python网络数据采集》等经典书籍，强调以实际需求为导向，通过流程化思维和工程化实践快速提升爬虫技能。
爬虫自学
wangxiaohua_147的博客
11-17 542
爬虫的价值为我所用 基于数据做自己需要的东西爬虫架构 爬虫的调度端 用来启动爬虫，终止爬虫，监视爬虫的运行情况。 |URL管理器 ，对已经爬取的URL和待爬取的URL进行管理。 然后取出一个待爬取的URL传给网页下载器 |网页下载器，网页下载器会将URL指定的网页组成一个字符串。字符串会传给网页解析器 |网页解析器，一方面解析出有价值的东西，另一方面会解析
爬虫自学1
m0_38136788的博客
08-31 208
import urllib.request weburl = "http://www.douban.com/" webheader = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'} req = urllib.request.Request(url=weburl, h
爬虫自学之路
qq_33570092的博客
10-08 300
阅读文本大概需要 10 分钟。从毕业时开始做爬虫到现在已经有 4 个月的时间了，这 4 个月时间里，我从最初负责编写爬虫插件的边缘业务做起，到如今负责公司爬虫主业务。4 ...
爬虫自学之路（一）
海边看花开的博客
10-28 548
学习爬虫需要掌握爬虫的基础，请求库，解析库的使用，这里小编是根据https://www.cnblogs.com/zhaof/p/6910871.html进行学习的，他这里对一些基础讲解的挺好的，希望可以帮助到初学的人，大家共勉。 ...
如何自学爬虫
weixin_42579969的博客
01-01 377
自学爬虫的方法有很多，但通常的步骤大致如下： 了解爬虫的基本概念，包括爬虫的作用、分类、原理以及如何设计爬虫。 学习爬虫所需要的知识和技能，包括 HTML、CSS、JavaScript 以及网络编程基础知识。 选择一种编程语言，例如 Python、Java、C++ 等，并学习相应的编程基础知识。 了解爬虫常用的库和工具，例如 Beautiful Soup、Scrapy、Selenium 等...
爬虫自学笔记（基础自看）【从入门到死亡】
琉璃树下
02-12 1103
爬虫自学（B站 AV9784617）全课程内容导学 全课程内容导学 API： (application programming interface 应用程序接口) API规定了运行在一个端系统上的软件请求因特网基础设施向运行在另一个端系统上的特定目的地软件交付数据的方式。 ...
爬虫自学之路（三） selenium
海边看花开的博客
10-28 284
镜像下载地址：https://npm.taobao.org/ 中文文档：https://selenium-python-docs-zh.readthedocs.io/zh_CN/latest/waits.html 1 安装：pip install selenium 2 使用： windows下的使用 先查看本机谷歌版本，然后去网站下载对应版本的chromedriver，然后把它添加环境变量里，（一...
初学Python之爬虫的简单入门
xxue345678的博客
03-02 2037
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
自学Python爬虫---简记
zzn_follow_me的博客
03-01 392
字符串方法: 函数 作用 对象.split(‘符号’) 通过指定的符号 分隔字符串 对象.replace(‘目标’,‘替换’) 指定将字符串中目标改为替换 对象.strip(‘符号’) 返回除去两侧指定符号的字符串 对象.format(‘内容’) 替换字符串中{}的部分 文件操作: 函数 作用 open(‘地址’) 打开地址指定文件（ ‘r’...
Python爬虫教程（纯自学经历，保姆级教程）
bsefef的博客
03-08 193
序言 这是一个系列文章，笔者把从书本，网课，包括博客等多种途径自学爬虫的笔记和心得整理发出。一边是作为一个基础教程，供读者参考，一边也是我自己对笔记的整合，对过程的记录。文章会持续更新 今天是2021.05.10 三天一更新，欢迎各位读者关注我或者关注文章。 文章目录 序言 1.1python爬虫伪装 [免费伪装ip伪装请求头] 一、网络爬虫入门 二、我的第一个爬虫代码 三、“指哪打哪” 四、网页信息存储和 BeautifulSoup之find用法 五，网页抓取 补充 实战心得记录 六、动态网页原理
我的python爬虫自学之路
故沉的博客
06-22 9587
昨天开始装装插件，找找博客，看看知乎，开始我的python的自学之路。惭愧，我算是一个只有三分钟热度的人，挖个坑督促一下自己。希望能坚持把坑填上。 先来盘点一下昨天完成的事，以及接下来的计划。 看完两篇知乎文章并实现和理解了其中的简单实例 Python爬虫（1）：Requests Python爬虫（2）：XPath语法 W3school上的XPath教程   简单整理了一下笔记  ...
如何自学Python爬虫？ 零基础入门教程
zihong523的博客
12-17 2866
如何自学Python爬虫？在大家自学爬虫之前要解决两个常见的问题，一是爬虫到底是什么？二是问什么要用Python来做爬虫？爬虫其实就是自动抓取页面信息的网络机器人，至于用Python做爬虫的原因，当然还是为了方便。本文将为大家提供一份详细的新手入门教程，带大家从入门到精通Python爬虫技能。 一、爬虫是什么？ 网络爬虫又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序。其
如何自学Python爬虫？详细的从入门到精通Python爬虫技能教程来了
DEVELOPERAA的博客
02-15 1664
如何自学Python爬虫？在大家自学爬虫之前要解决两个常见的问题，一是爬虫到底是什么？二是问什么要用Python来做爬虫？爬虫其实就是自动抓取页面信息的网络机器人，至于用Python做爬虫的原因，当然还是为了方便。本文将为大家提供一份详细的新手入门教程，带大家从入门到精通Python爬虫技能。一、爬虫是什么？网络爬虫又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序。
零基础如何学爬虫技术？
JAVAmonster12的博客
04-12 1547
对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现！同时，你需要从！只有在目标的驱动下，你的学习才会更加精准和高效。这里给你一条零，之后我会，并推荐一些个人认为给你。大多数爬虫是按“”这样的流程来进行，这其实是模拟了我们使用浏览器获取网页信息的过程。在Python众多的爬虫包中（urllib、requests、bs4、scrapy、pyspider 等）
python爬虫自学
09-13
对于学习Python爬虫的资料，我推荐以下几个资源： 1. 官方文档：Python官方文档中有关于爬虫模块和库的详细说明，包括最新的更新和用法。你可以访问官方网站（https://docs.python.org/3/library/）查看相关内容。 ...
评论 22
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

看，未来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值