第16课：把爬虫代码写入 def 函数中

最新推荐文章于 2024-01-04 15:52:37 发布
最新推荐文章于 2024-01-04 15:52:37 发布
阅读量993 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python3 爬虫零基础快速入门教学专栏 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012874140/article/details/110788124
本文分析了如何将爬虫代码结构化，强调import和headers应置于全局，而具体爬取功能可封装为def函数。通过分析代码功能，决定变量的全局或局部使用，有助于提高代码复用性和可维护性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里写目录标题

分析代码

我们需要把我们写的代码写入函数中，我们就需要先分析py文件中，那些代码一共分为几个功能部分。
还需要了解，那些代码，是需要放在全局模式，那些代码放在def 的局部模式。

注意：以下爬虫代码，并非是 bs4 的代码，这里只是一个参考，你要模仿写的话，请写 bs4 爬虫代码。

import requests
import json
headser = {
   
   
    'cookie':'************',
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (
了解本专栏 订阅专栏 解锁全文
第17课：def 函数之间的相互调用引用
Hakcer's Junk
12-06 3786
本节课课程目录什么是函数之间的调用：如何运行函数：总结-引用调用： 什么是函数之间的调用： 比如 A要吃苹果，但只B有苹果，并且B生产苹果，所以A就需要到B那里来，拿到苹果后，然后吃。 A，B都是一个个体，每个个体都有不同的任务和功能。A是负责吃这个功能，而B负责 生产这个功能。但是B不仅仅可以给A吃，还可以给C，C可能不用来吃，用来做摆设。还有D可能用来做水果拼盘，卖给E。 以下代码做演示： import requests import json headser = { 'cookie':'***
爬虫日记(20)：使用Pipeline模块写入文件
大坡3D软件开发
03-22 555
前面学习了Item对象，知道怎么样把数据从一些散乱的网页里收集到，变成我们需要的结构化数据，这是一个伟大的进步，从无序变成有序。其实大自然往往是把有序变成无序，比如一片菜园，如果无人打理它，经历一段时间之后就会成杂草众生，这是大自然的选择。但是我们人类往往是反自然而存在的，选择了种各种粮食，维护各种果树，清除杂草，才能有我们的粮食存在。同样道理，我们需要对收集到结构化的数据进一步处理，毕竟各种数据还是一片杂乱众生的果树园，需要去掉杂草，才能保留果树。因此Pipeline模块就是用来实现这个目的。 在.
Python爬虫学习-新华书店书本数据定向爬虫（实例）
Bri0117的博客
02-08 1635
在学习了半个月python基础知识以及相关的爬虫基础技术后，尝试学以致用，本次决定使用requests、BeautifulSoup来对新华书店（https://www.xhsd.com）小说类书本商品信息进行爬取。 1. 爬虫的构建思路进行分析: 将代码分为4块； 第一块构建函数getHTMLText(），该函数的作用是通过requests来获取到页面的信息； 第二块构建fillList()，该...
爬虫（一）爬虫入门
松鼠豪的坚果
08-25 1274
如果不知道啥是爬虫 ，传送门--------->五分钟告诉你什么是爬虫 一、为什么学习爬虫 大数据时代，根据数据分析用户购买意向，从而进行商业相关调整。浏览器中用户能拿到的，原则上爬虫都可以爬到。 关于反爬：资源同等情况下，爬虫胜利。 爬虫与黑客的区别： 爬虫：灰色地带，带账号权限操作，只是一种便利的获取数据。 黑客：违法，免爬取，付费。 二、爬虫的分类：...
爬取MM 图片使用 def函数
qq__205232573的博客
03-09 279
目标地址 import requests from lxml import etree headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36' } num ...
Python爬虫自学与实战1：函数Function
tomo的博客
08-31 645
函数是功能的封装。 需要注意变量的作用域，有全局变量与局部变量。在局部变量中使用Global语法可以使之在全局起作用。
Python爬虫笔记——def()自定义函数的几种参数
Fo*(Bi)的博客
07-26 3033
Python自定义函数是以def开头，空一格之后是这个自定义函数的名称，名称后面是一对括号，括号里放置形参列表，结束括号后面一定要有冒号“：”，函数的执行体程序代码也要有适当的缩排。Python自定义函数的通用语法是： def function_name(parameters): function_expression return(result) 1、使用lambda匿名函数的自定义函数： Python提供了一种非常有趣、精简好用的一行自定义函数的方法lambda,这是一种可以实现一行语
python爬虫写入excel时出错之前爬的数据在哪儿_Python爬虫：把爬取到的数据插入到execl中...
weixin_42355411的博客
02-04 573
当我们爬虫爬取大量数据并且已经爬取到了本地，这些数据如果不存储起来，那么就会变得无效.那下面让小编教你把这些数据插入Excel中保存下来吧~我们已经把数据爬到本地并已经插入execl，上效果图​操作Execl其实里面很多东西要去了解，但这里我讲常用的读写，满足我们的一般需求,感兴趣的朋友可以自己去深入。​1. 读execl文件需要安装 xlrd库，老办法，直接在setting中安装，然后导入放可使...
Python爬虫系列：爬取小说并写入txt文件
a55656aq的博客
02-16 1万+
导语： 哈喽，哈喽~都说手机自带的浏览器是看小说最好的一个APP，不须要下载任何软件，直接百度就ok了。 但是小编还是想说，如果没有网，度娘还是度娘吗？能把小说下载成一个.txt文件看不是更香吗？这能难倒小编吗？坚决不能滴。于是乎，自己动手丰衣足食，Python就是万能的好吧。 概要： 程序语言：python 第三方库：requests，parsel 数据解析方式：css/xpath 爬取网站：笔趣阁（以天蚕土豆的《斗破苍穹》为例） 代码部分展示： # 导..
爬虫第二课：定义函数
认真写的博客
01-10 6731
定义函数 定义函数就是封装一部分代码，设置参数，输入相应的参数就会返回相应的结果。如果一个爬虫的代码超过五十行，那么如果不定义函数，每一行代码就会看起来很凌乱，如果定义一个函数的话，界面的结构就会很清晰。每次使用直接调用函数就可以了，不需要重复敲代码。 比如： 定义一个啷个数之和减去两个数之差的函数： def func(x,y): a = x + y b = x - y ...
python爬虫学习笔记3封装爬虫类
乱世之尘
04-21 1948
前言 在完成了基本的爬取任务之后，接到了将其封装为一个爬虫类的任务 个人博客传送门： python爬虫学习笔记1一个简单的爬虫 python爬虫学习笔记2模拟登录与数据库 由于本文比较长，建议前往我个人博客阅读有侧栏目录的版本： python爬虫学习笔记3封装爬虫类 这篇和前面两篇一样，是按照时间记录的。 转载注明出处。 任务介绍 1、尝试不使用session去进行爬取，最好能将cookie...
实现一个完整的爬虫
智慧吖@
12-22 647
import random from random import randint import requests from fake_useragent import UserAgent #反爬虫 伪装请求头 from retrying import retry #装饰器 import hashlib #信息摘要 md5 import queue #队列 import re #正则表达式 fro...
python爬虫学习04
qq_43635902的博客
06-06 305
这里写目录标题网络爬虫实例教程生成url列表获取贴吧数据（上）获取贴吧数据（下）获取贴吧数据面向对象版（一）获取贴吧数据面向对象版（二）获取贴吧数据面向对象版（三）获取贴吧数据面向对象版（四） 网络爬虫实例教程 生成url列表 这次的参数有两个，kw和pn。所以要在字典里再加一个键值对， params = {'kw': text, 'pn': '50'} 但是这样只能获取这一页的数据，不能获取多个贴吧页面。为了获取多个url，需要url列表。 https://tieba.baidu.com/f?kw=st
Python爬虫详解
xiangxueerfei的博客
12-01 1390
爬取豆瓣电影Top250的基本信息，包括电影的名称，豆瓣评分，评价数，电影概况，电影链接等。
Python从入门到网络爬虫（函数详解）
qq_41765777的博客
01-04 1380
函数是变成语言中最常见的语法，函数的本质就是功能的封装。使用函数可以大大提高编程效率与程序的可读性。函数是能够实现特定功能的计算机代码而已，他是一种特定的代码组结构。函数的作用1.提升代码的重复利用率，避免重复开发相同代码2.提高程序开发效率3.便于程序维护函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。函数内容以冒号起始，并且缩进。
Python爬虫超详细讲解（零基础入门，老年人都看的懂）！
热门推荐
爬遍所有网站
09-21 3万+
注重版权，转载请注明原作者和原文链接 作者：码农BookSea 原文链接：https://blog.csdn.net/bookssea/article/details/107309591 先看后赞，养成习惯。 点赞收藏，人生辉煌。 讲解我们的爬虫之前，先概述关于爬虫的简单概念（毕竟是零基础教程） 爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。
Python爬虫日记-解释def __init__(self, *args, **kwargs)
Jiana_Feng的博客
08-07 1万+
编写python script的时候，经常需要使用def init(self, *args, **kwargs): 其含义代表什么？ 这种写法代表这个方法接受任意个数的参数 如果是没有指定key的参数，比如单单‘apple’，‘people’，即为无指定，则会以list的形式放在args变量里面 如果是有指定key的参数，比如item=‘apple’这种形式，即为有指定，则会以dict的形式放在kwargs变量里面 For example: ...
python 函数与部分使用示例
weixin_49843611的博客
10-22 688
#!/usr/bin/python # # -*- coding: UTF-8 -*- def test(s): print(s) return test("hazy") def changeint(a): a = 10 return b = 2 changeint(b) print(b) def printlist(name ,age = 27): #缺省参数 print("name: ", name) print("age: ",age) r
爬虫介绍02：爬取第一个站点
DaoDao的博客
05-23 5134
这篇文章讲了如果编写一个爬虫，以及编写爬虫过程总用到的外部工具和模块。通过文章，我们可以了解关于网站、User Agent、Sitemap、爬取延迟和其它的爬取策略等内容。
使用python爬虫爬取卖书网站并写入csv文件中代码
最新发布
12-31
### Python 爬虫抓取售书网站并保存至 CSV 文件 为了实现从售书网站获取书籍详情并将其存储到CSV文件中的功能，可以采用`requests`库发送HTTP请求以及`BeautifulSoup`解析HTML文档。下面是一个简单的例子展示如何...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宋哈哈呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值