- 博客(31)
- 收藏
- 关注
RSS订阅原创 js入门01_数据类型、a++和++a、全局和局部
2、js变量分类number，string，boolean，object。一定要写分号，因为js会压缩文件。4、 数字和字符串 相互转换。全局和局部变量就想象成全国和某省的张三。比如fn(a)这个a就是fn省里的，和全国没直接关系。可以理解为 temp =a 先赋值，然后 a再自增1。fn(a++)和fn(++a)， 与前者相反，后者是先加一再赋值。3、逻辑运算符 &&短路与 || 短路或 ，!5、++操作（难点）
2025-07-13 22:19:12
324
原创 python基础25_某大网校（下）处理json数据以及保存题库
paperRule题型，题内容。题型的话有时候option为空，所以要区分开来代码如下：因为单选和多选的json数据结构是一样的，这里添加了对option的判断（如果是判断题，要自行想办法，这里不讲…）每个key对应的内容，isRight是1，则选项为正确question_info就包含了所有选择题的内容，包含（题目内容，选项，解析）材料题的json数据格式，注意material和question发现“材料题” 的json数据结构，和选择题是一致的，所以单独抽取“单选题”的逻辑，改成
2025-07-10 22:12:23
300
原创 python24_scrapy综合练习（某大网校（上））
f12对应如下的xpath：根据文本，对应‘/first-title/p/text()’和‘/send-title’这里注意的是我们要的是“考点练习”，而不是“模拟练习”对应如下24行。
2025-07-07 00:37:26
122
1
原创 python基础23（2025.6.29）分布式爬虫（增量式爬虫去重）&结合redis去重
本次写一个爬取网易新闻的案例。因为redis能处理高并发，存储数据也可以，故不用mysql。而且新闻网站容易更新很多，而mysql只能持久化存储。这里的意思是，我们为了“验证访问的url”每次访问都是不一样的，如果访问了，我们就不再访问。但是如果是post请求，我们就可以如上图那样记录“不一样的参数”运行的讲解一：开启redis。
2025-06-29 18:34:03
214
原创 python基础21（2025.6.28）_全栈爬取（Linkexctrator）_车168以及诗词名句案例
总结：老师说这个crawlspider用的比较少，参考用即可，因为分页爬取，里不能改代码，使用比较少。scrapy genspider -t crawl 项目名 域名。创建项目命令：（注意这里的创建和之前的创建的不一样）解读三：关于Rules的链接提取。一、che168案例解析器代码。
2025-06-28 18:44:13
303
原创 python基础18_Redis（二）_关于python连接redis操作&案例：爬取免费代理ip
综合案例，将以前的知识都复习了一遍！复习多线程（默写！）
2025-03-27 19:13:10
154
原创 Python基础18_Redis（一）_安装、可视化界面、CRUD操作、常用命令
本次资源有两个（注意Redis-x64-3.0.504 才是redis的资源，rdm是redis的可视化界面）（一）、首先进入我们的redis目录，打开命令行，输入如下命令安装到windows的服务可以打开 可看到安装成功了，右键“计算机--- 管理---- 服务” ，也可以cmd 输入service.msc打开（二）、进入Redis界面，打开如下conf文件，修改requirepass设置redis密码（三）启动/关闭redis当然安装，我这里我也重启了电脑，就会说已经启动了。这里随意。
2025-03-25 12:20:37
343
原创 Python正式课16_python&mysql
千万不要ctrl + A 选中全部sql语句执行，像如下那样，选中一行执行一行(图省略）对自己要求，新的知识点多敲5~10遍！右键“计算机”——“管理”——“服务选项”，如下。打开cmd，管理员身份打开命令窗口，切换盘符。启动mysql，不然是无法登录的。一、 mysql安装。
2025-03-15 15:27:37
183
原创 python爬虫异常记录一_响应乱码_br压缩问题导致响应响应乱码
今天忘记记录了一个久违的坑关于发出请求后，响应直接乱码。。。人蒙了。。。第一、网页和响应都看到了是utf-8的编码，但是都不是。结果是。。。是 “请求头” 出了问题，很需要补救一下！！！（这个压缩方式貌似是谷歌出的，为了传输更快。但是给爬虫埋下了巨坑）
2025-03-08 19:29:02
274
原创 Python正式课14_协程
1、参照多线程的效率（小结：主要讲多线程会造成一定的线程的堵塞）04_协程在爬虫领域的使用(案例：艺图语)3、 多任务异步协程。
2025-02-26 21:11:52
185
原创 Python正式课11_关于cookie和session
"""http, 无连接, 无状态.我们在淘宝上买东西.用户登陆的状态是必须要有的...工作当中是需要这个状态的.但是http协议是不负责维持这个状态的.loginusernamepassword浏览器想了一个办法.弄了一个本地化的存储. 来保持这个状态.本地保存的这个东西. 每次发请求的时候. 浏览器都会自动携带该信息. 这个本地化的存储. 我们叫它cookiecookie的生成过程:1. cookie的生成不一定是单纯的在浏览器端....
2025-02-26 19:52:04
1580
原创 Python正式课13_多线程和多进程&生产者和消费者模型
背景：（一个公司能创造的价值毕竟是有限的. 怎么办?开分公司啊. 此所谓多进程. python实现多进程的方案和多线程几乎一样. 非常的简单 ）1、直接用Process创建进程（课堂强调多进程会非常消耗空间）
2025-02-26 18:36:57
233
原创 六、python基础22年_关于函数编程（下）_2025-2-24
"""递归: 函数自己调用自己递归如果没有任何东西拦截的话. 它默认就是一个死循环python默认是有递归深度的限制的. 默认的最大递归深度是1000"""print(123)func()func()import sysxxxxreturn xxx。
2025-02-24 16:37:18
161
原创 二、python基础22年_关于dic字典的crud_2025-2-8
关于python，dic字典整理，重难点看json如何提取里面的键对应的值
2025-02-08 17:56:20
208
原创 异常五_2025_01_关于爬取m3u8遇到的坑_关于QINIU-PROTECTION-10加密的问题
关于QINIU-PROTECTION-10的解决方案
2025-02-02 18:12:02
380
原创 异常二_pip install 安装包异常失败&清华源403被禁止访问，只能换源
然后查了一下，只能换源，换源的cmd命令如下。其他源：（清华源和豆瓣源）
2025-01-10 17:39:09
800
原创 异常一_pycharm启动terminal终端环境异常_An unexpected error has occurred. Conda has prepared the above report.I
然后它大致是说 有插件（plugins）需要关掉，上网查了一下，好了！打开window命令窗口cmd，然后执行如下命令，清理一下插件占用的缓存吧，估计是。刚学到bs4，想pip install这个包，结果一打开这个终端就报错了，真难受！第一步直接将anaconda重装，并且c盘目录下的condac文件默认源都给换了，还是不行。然后读了一下人家分享说的删除condac文件，结果压根儿没用！
2025-01-10 16:55:31
295
原创 Python正式课5_爬虫基础之re正则表达
注意1 ：因为很多页数据中，其中几页数据里面的主演的数据缺失，导致第一种正则匹配是匹配不到的。所以放弃第一种，转向第二种。json和jsonp其实区别不大，反正目的都是为了提取json里面的数据。以下为数据，有点长 ，所以放素材了。代码注意事项讲解（截图）
2025-01-09 18:34:39
300
原创 Python正式课4_基础之CSS
01_换行和特殊符号<br />标签和 空格符号02_表格03_浏览器如何和服务器能有交互form表单04_form表单效果演示1，点击提交按钮然后在f12控制台上看到这个。注意就是有name属性的这里控制台才会显示，否则没有name属性就不会在这里显示：关于form表单提交后跳到action属性值那里，所以提交后会跳转到百度演示效果二：这里就会在f12的控制台上的console模块不断弹出123这个输出！05_初识css重点标注06_CSS选择器。
2025-01-07 18:51:09
325
原创 Python正式课3~4_异常处理（补充）\HTML\CSS
打印错误信息：traceback.format_exc()，主要是打印完整的错误信息！但是我们后期会将其写在另一个文件上。
2025-01-07 18:17:51
231
原创 Python正式课1_if判断、字符串、文件操作、字典、模块以及python处理json方式
请想办法出下列`json`中所有的`英雄名称`和`英雄title`.并将`英雄名称`和`英雄title`写入`names.txt`文件中.说明：普通代码不放运行结果了！最后有作业是个人随便写的，有错误可留言私信！五、字典的嵌套（类似于java对象的嵌套）
2025-01-03 12:04:59
385
原创 树莓派在centos的docker安装并启动MySQL
mysql01 就是你镜像的名称，就是你可以用“docker ps -a”命令去查询并且查看是否启动。第一、最好docker-search一遍，查看是否有属于自己的镜像。（tips：这里的mysql-server就是你的镜像名）第二，选择镜像名称进行安装。
2023-08-11 23:04:12
295
1
python基础23（2025.6.29）分布式爬虫（增量式爬虫去重）&redis应用-（未完成！）
2025-07-01
python基础Redis（二）-关于python连接redis操作&案例：爬取免费代理ip
2025-03-30
python自动化测试实战
2024-04-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人