自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(889)
  • 收藏
  • 关注

原创 Spatiotemporal Filtering(时空滤波)详解:从理论到实战

时空滤波(Spatiotemporal Filtering)是计算机视觉中处理视频数据的关键技术,通过在空间和时间维度上同时进行特征提取,实现对动态内容的理解。文章系统介绍了从空间滤波到时空滤波的演变,重点讲解了3D卷积的数学原理和在PyTorch中的实现方式(如nn.Conv3d)。同时分析了经典模型(C3D、I3D、SlowFast)的应用特点和工程优化策略,包括(2+1)D卷积分解、帧采样等技术。文章还提供了构建小型时空网络的代码示例,并总结了常见问题(如显存占用高、帧数不足等)的解决方案。最后指出时

2026-01-23 15:15:55 1003 1

原创 PyTorch 核心 API 完全手册:从基础张量到模型部署

本文全面介绍了PyTorch的核心API使用方法,从基础张量操作到神经网络构建和模型训练。主要内容包括:1) 张量创建与基础操作,如torch.tensor()、torch.randn()等;2) 维度变换与内存管理,包括view()、permute()等操作;3) 神经网络层实现,如nn.Linear、nn.Conv2d等;4) 自动求导与优化方法,包括梯度计算和参数更新;5) 通过线性回归示例演示完整训练流程;6) 常见错误排查技巧。文章还解释了PyTorch动态计算图的核心概念,适合PyTorch初学

2026-01-23 15:13:55 1030

原创 python中的enmerate

Python中的enumerate函数是一个高效的迭代工具,能够为可迭代对象自动生成索引和值的组合。它默认从0开始计数,但可通过start参数自定义起始值,避免了手动维护计数器的繁琐。enumerate适用于列表、字符串、文件等各种可迭代对象,其惰性求值特性也使其内存友好。典型应用场景包括需要同时获取元素索引和值的遍历操作,如查找特定元素位置或标记文件行号,让开发者能更专注于业务逻辑而非计数细节。

2026-01-23 15:11:38 811

原创 K 折交叉验证(K-Fold Cross Validation)全解析:原理、代码实践、应用场景与常见坑点

K折交叉验证(K-Fold CV)是机器学习中评估模型泛化能力的经典方法。其核心思想是将数据集分为K份,轮流用K-1份训练,1份验证,最终取平均评估指标。相比单次划分,K折CV能提高数据利用率、增强评估稳定性,尤其适合小数据场景。常见变体包括分层KFold(保持类别比例)、GroupKFold(防止组内数据泄露)和TimeSeriesSplit(时间序列专用)。应用场景涵盖模型选择、参数调优等。需注意避免数据泄露、时间序列乱序等常见错误。K值通常取5-10,数据量极小时可适当减少。

2026-01-23 15:10:37 1286 2

原创 后端架构选型:Django、Flask 与 Spring Boot 的三剑客之争

摘要: Django、Flask和Spring Boot是当前主流的后端框架,各有其适用场景。Django以“电池完备”著称,适合快速构建全栈应用,但需避免绕过ORM导致兼容性问题。Flask轻量灵活,适合微服务和AI模型部署,但需注意多线程下的全局变量陷阱。Spring Boot凭借强大的并发处理能力成为企业级首选,但需警惕循环依赖问题。实战中,可结合三者优势:Django管理后台、Spring Boot处理高并发、Flask运行AI推断。性能优化需针对框架特性调整参数(如Gunicorn协程、JVM Z

2026-01-23 15:09:33 1435 1

原创 ASFormer 动作分割模型全解析:原理、结构、代码实战与工程踩坑总结

ASFormer是一种基于Transformer的动作分割模型,通过结合Transformer的长时建模能力和多阶段细化机制,有效解决了动作分割中的关键问题。它能够处理长序列视频帧,捕获复杂的跨时间依赖关系,并通过多阶段refinement减少预测抖动和噪声影响。模型结构包含特征降维、Transformer编码器和多阶段细化模块,显著提升了动作边界检测和帧级预测的准确性。相比传统卷积模型,ASFormer更适合处理长视频、模糊边界和重复动作场景,在多项基准测试中达到SOTA效果。

2026-01-23 15:08:33 1326 1

原创 cmd、powershell、linux下命令对比

本文对比了Windows CMD、PowerShell和Linux中常用命令的差异,包括文件操作、进程管理、网络测试等场景。CMD保持传统DOS风格,Linux偏好简洁命令,而PowerShell采用面向对象的长命令名,同时为兼容性提供缩写形式(如ls、pwd等)。PowerShell更注重结构化输出和安全控制,如默认禁止脚本执行。Linux命令往往更高效(如ss替代netstat),而PowerShell则提供更丰富的对象化数据处理能力。三种环境各具特色:CMD守旧、Linux高效、PowerShell强

2026-01-23 15:06:55 1421

原创 【Python】cv2.imread导致的AttributeError ‘NoneType‘ object has no attribute ‘shape‘

摘要:使用OpenCV的cv2.imread读取含中文路径的图片时会出现读取失败问题,导致返回None对象。解决方法是通过numpy的fromfile读取文件后,再用cv2.imdecode解码。具体实现是先用np.fromfile读取文件为uint8数组,再通过cv2.IMREAD_COLOR参数解码为图像,这样就能正确处理中文路径的图片文件。该方法有效解决了中文路径导致的图片读取失败问题。

2026-01-23 15:05:42 732

原创 别再手动录入车牌了!手把手带你玩转 EasyPR:从底层原理到 Python 实战全解析

EasyPR是一个基于OpenCV的轻量级中文车牌识别系统,通过传统图像处理技术实现高效识别。其核心流程分为车牌定位(颜色/纹理/MSER算法)、字符分割(二值化/投影法)和字符识别(SVM+ANN)。本文详细解析了EasyPR的技术原理,包括SVM分类和图像形态学处理,并提供了Python实战代码,演示了从车牌定位到识别的完整过程。通过HSV颜色空间和轮廓分析等技巧,开发者可在普通CPU上实现准确的车牌识别,是学习计算机视觉的优秀案例。

2026-01-23 15:04:41 1172

原创 深度解析 HyperLPR:高性能中文车牌识别框架从入门到实战

HyperLPR 将复杂的深度学习模型封装成了易用的工具,极大地降低了中文车牌识别的门槛。我们不再试图告诉计算机“车牌长什么样”,而是让计算机通过海量数据自己学习“什么是车牌”。本文部分内容由 AI 辅助生成,并经人工整理与验证,仅供参考学习,欢迎指出错误与不足之处。

2026-01-23 15:03:17 6622 1

原创 拯救灰暗画质:深度解析 CLAHE(限制对比度自适应直方图均衡化)

摘要: CLAHE(限制对比度自适应直方图均衡化)是一种改进的直方图均衡化算法,用于解决传统HE和AHE在图像增强中导致的过曝或噪声放大问题。它通过分块处理并限制对比度阈值,平衡细节增强与自然效果,广泛应用于医学影像、自动驾驶等领域。文章解析了CLAHE的原理,对比HE与AHE的局限性,并提供了Python实现代码(包括灰度与彩色图像处理技巧),以及车牌识别的实战案例。CLAHE计算高效,适合部署在服务器端进行并行化处理。

2026-01-22 17:29:11 1112

原创 深度解析 MSER 最大稳定极值区域算法

MSER(最大稳定极值区域)算法是计算机视觉中用于图像斑点检测的重要方法。该算法通过模拟"洪水淹没山谷"的过程,检测在灰度变化中保持形状稳定的区域,特别适用于复杂光照条件下的文字、标志等目标识别。文章详细介绍了MSER的基本原理、Python实现方法(包括参数调优和常见问题处理),并重点分析了其在车牌识别中的优势——仿射不变性和抗光照干扰能力。同时指出了MSER的局限性(计算量大、对模糊敏感),建议将其与深度学习结合使用。文中还提供了文字区域定位的实战代码示例,展示了MSER在实际应用中

2026-01-22 17:27:46 1293 1

原创 深度解析计算机视觉中的垂直与水平边缘检测

本文深入解析计算机视觉中的垂直与水平边缘检测技术。边缘作为图像亮度的突变点,是特征提取的基础,其中垂直边缘反映水平方向变化,水平边缘反映垂直方向变化。文章介绍了Sobel算子及其卷积核设计,强调高斯去噪和数据类型处理等关键细节,并提供了Python实战代码示例。同时指出方向性检测在车牌识别、HOG特征等高级应用中的重要性,最后建议服务器端可采用Canny算法优化边缘检测效果。垂直与水平边缘检测是理解图像结构信息的基础工具。

2026-01-22 17:26:20 1330

原创 告别RGB:为什么计算机视觉开发者更偏爱 HSV 空间?

一、HashMapHashMap是Map里面的一个实现类。特点都是由键决定的:无序、不重复、无索引没有额外需要学习的特有方法,直接使用Map里面的方法就可以了。HashMap跟HashSet底层原理是一模一样的,都是哈希表结构,只是HashMap的每个元素包含两个值而已。二、LinkedHashMap由键决定:有序、不重复、无索引。这里的有序指的是保证存储和取出的元素顺序一致原理:底层数据结构是依然哈希表,只是每个键值对元素又额外的多了一个双链表的机制记录存储的顺序。三、

2026-01-22 17:25:06 1124

原创 ResNet-18和ResNet-34的区别

ResNet-18和ResNet-34是残差网络的基础模型,主要区别在于网络深度和计算复杂度。ResNet-18(18层)适用于轻量级任务,参数量约11.7M;ResNet-34(34层)特征提取能力更强,参数量约21.8M,适合中等规模数据。实际应用中,低分辨率数据(如28x28)推荐ResNet-18,高分辨率图像(如512x512)建议使用ResNet-34。过深的网络在小数据集上易过拟合,若需更高性能,可考虑直接升级至ResNet-50的BottleNeck结构。选择时需权衡计算资源、数据规模和任务

2026-01-22 17:23:40 1168 1

原创 视觉领域的变革者:ViT (Vision Transformer) 深度解析与实战

ViT(Vision Transformer)颠覆了计算机视觉领域对CNN的依赖,通过将图像分割为补丁并转换为序列输入Transformer架构。其核心在于全局注意力机制,虽缺乏CNN的归纳偏置,但在大数据集上表现卓越。实现时需注意补丁嵌入、位置编码相加等关键步骤,并使用AdamW优化器和学习率预热。ViT虽理论性能强,但部署时需考虑延迟问题,建议采用MobileViT等优化版本。训练时需确保输入分辨率为补丁大小的整数倍,并配合强数据增强。ViT的出现标志着视觉与语言模型架构的统一趋势。

2026-01-22 17:22:20 1922

原创 深度学习里程碑:ResNet(残差网络)从理论到实战全解析

ResNet(残差网络)通过引入残差连接解决了深层网络的退化问题,其核心思想是学习输入与理想映射之间的差异(F(x)=H(x)-x),而非直接学习H(x)。文章详细解析了ResNet的理论基础、代码实现(包括常见错误示例)以及在病理图像分类中的实战应用,并提供了高级优化技巧(如混合精度训练)和工业部署建议。ResNet的设计思想影响深远,其残差连接机制已成为现代深度学习模型的常见组件。

2026-01-22 17:15:56 1275

原创 【计算机视觉】深度学习医疗影像实战:PathMNIST 数据集全解析

本文深入解析PathMNIST医疗影像数据集,这是MedMNIST系列中的病理组织学图像分类基准。该数据集包含107,180张28×28像素的结直肠癌组织切片图像,分为9类组织类型。文章详细介绍了数据集特点、类别分布及不平衡问题,并提供了使用ResNet18构建分类器的实战代码。通过标准化处理和可视化分析,帮助读者快速上手医疗影像分类任务。PathMNIST作为低分辨率医疗影像的代表,既保留了关键病理特征,又降低了计算门槛,是深度学习在医疗领域应用的理想入门数据集。

2026-01-22 17:05:49 1283

原创 【第三方库】 Python的psutil库使用详解

本文介绍了Python的psutil库,这是一个跨平台的系统监控工具,可用于获取CPU、内存、磁盘、网络等系统信息以及进程管理。文章详细讲解了安装方法、常用功能(包括系统信息获取、CPU/内存/磁盘/网络监控、进程管理)和常见错误示例,并通过一个系统监控工具的项目实战展示了其实际应用。此外,还介绍了高级技巧和工作应用场景,如多进程监控、资源限制等。psutil通过调用操作系统底层API实现跨平台监控,是系统性能分析和资源管理的实用工具。

2026-01-22 15:51:33 1417

原创 【论文笔记】《A REVIEW ON SELF-SUPERVISED LEARNING FOR TIME SERIES ANOMALY DETECTION: RECENT ADVANCES ....》

本文综述了自监督学习在时间序列异常检测中的最新进展与挑战。针对时间序列数据多变且标注困难的特点,传统监督学习和无监督学习方法存在过拟合、误报率高等问题。自监督学习通过自预测任务和对比学习任务,无需人工标注即可提取数据特征,提高了检测的灵活性和准确性。文章系统分类了局部和全局上下文中的异常检测方法,包括重构、预测、分类等单类型方法以及多任务集成策略。重点分析了对比学习在特征空间建模的优势,并探讨了混合方法、神经增强等前沿技术。最后指出当前研究在跨领域迁移、实时性等方面的开放挑战,为未来研究提供了方向性指导。

2026-01-22 15:48:38 13749

原创 【论文笔记】《Deep Learning for Time Series Anomaly Detection: A Survey》

摘要 《Deep Learning for Time Series Anomaly Detection: A Survey》综述了2024年时序数据异常检测(TSAD)领域的最新深度学习进展。时序异常检测广泛应用于金融、医疗、工业等领域,深度学习模型显著提升了检测性能。文章提出四类方法分类:基于预测、重构、表示和混合模型,并分析其优缺点。重点探讨了单变量(UTS)和多变量(MTS)时序的异常类型(如全局、上下文、季节性异常)及检测技术,包括RNN(LSTM/GRU)、CNN(TCN、DeepAnt)和前沿模

2026-01-21 16:46:22 13965 2

原创 【Django】Django的静态文件相关配置与操作

本文详细介绍了Django中静态文件的配置与管理方法。主要内容包括:静态文件的概念与重要性,如何正确配置STATIC_URL和STATICFILES_DIRS,常见错误配置示例及调试技巧。还讲解了高级应用如版本控制和动态静态文件处理,并通过博客系统实例演示完整配置流程。文章最后提供了静态文件调试技巧、常见问题解决方案以及Django静态文件管理背后的原理。涵盖从基础配置到生产环境优化的全过程,适合Django开发者参考学习。

2026-01-21 13:42:14 3884

原创 偏好对齐阶段中的通用模型蒸馏、领域模型蒸馏和模型自我提升

文本摘要是将大量文本内容压缩成简洁的摘要。在领域蒸馏中,模型能够从大量的文献、文章中提炼出重要的信息,通过蒸馏提高其摘要质量。

2026-01-21 13:40:40 1664

原创 指令调整阶段中的通用模型蒸馏、模型自我提升和数据扩充

本文探讨了指令调整(Instruction-Tuning)阶段提升大语言模型性能的三大关键技术:通用模型蒸馏、模型自我提升和数据增强。通用模型蒸馏通过知识迁移将大模型能力转移至小模型,分为单模态和多模态应用;模型自我提升利用反馈机制优化模型表现;数据增强则通过标注、重构和协同标注扩充训练数据。文章分析了这些方法在文本生成、图像分类等单模态任务及跨模态任务中的应用,并指出知识转移效率、计算复杂度和标注一致性等挑战。这些技术的综合运用可显著提升模型性能和泛化能力。

2026-01-19 17:11:44 1285

原创 【论文笔记】《Improving action segmentation via explicit similarity measurement》

本文提出了一种基于显式相似性度量的动作分割方法ASESM,通过多分辨率特征提取和相似性投票提高初始预测精度,并设计迭代边界校正算法优化动作边界。监督学习框架采用多编码器结构,结合边界校正与片段平滑技术,在50Salads等数据集上验证了有效性。同时提出完全无监督的边界检测方法,仅依赖特征相似性无需训练。该方法解决了现有技术过度依赖逐帧分类和缺乏边界验证机制的问题,显著提升了动作分割性能。

2026-01-19 17:10:13 8684

原创 微调阶段中的模型自我提升、通用模型蒸馏和数据扩充

本文探讨了机器学习微调阶段的三种关键技术:模型自我提升、通用模型蒸馏和数据增强。模型自我提升通过单次或迭代方式优化模型性能;通用模型蒸馏利用教师模型指导学生模型,包含多种数据合成方法;数据增强则通过标注和重构提升数据质量。这些方法虽能显著提升模型表现,但仍面临计算资源消耗、过拟合风险和数据多样性不足等挑战。未来需要进一步优化这些技术以应对复杂任务需求。

2026-01-16 11:33:18 1482

原创 预训练阶段中的模型自我提升、通用模型蒸馏和数据增强中的数据重构和非LLM驱动的数据增强

在深度学习和自然语言处理(NLP)领域,。本文将深入探讨这些方法在预训练阶段中的应用、原理及其背后的挑战。

2026-01-16 11:32:43 1419

原创 数据增强中的数据标注、数据重构、协同标注和非LLM驱动的增强

数据标注是指对原始数据(例如文本、图像、音频等)进行标签化的过程,使得机器学习模型可以通过标注信息进行监督学习。在监督学习中,标注数据集是训练机器学习模型的核心。在数据增强中,数据标注的质量和准确性直接决定了模型的训练效果。数据重构(Data Reformation)是指通过对原始数据进行转化、转换或重新组织,使其能够更好地适应机器学习模型的训练要求。数据重构不仅包括数据清洗和标准化,还涉及特征选择、特征提取等方法,旨在优化数据的表示和结构。

2026-01-15 16:20:59 1283

原创 通用模型蒸馏中的数据合成方法:从种子生成数据、合成推理步骤、可控性合成、从头开始合成数据、合成多模态数据

数据合成是在模型训练过程中通过人工或自动生成新的数据来扩展训练集的技术。数据合成可以通过多种方式进行,例如从种子数据(Seeds)出发、根据推理步骤生成、控制合成过程、从零开始生成数据以及多模态数据的合成等。通过数据合成,模型可以接触到更多样化的样本,从而提高其泛化能力和鲁棒性。

2026-01-15 16:20:21 1142

原创 LLM全生命周期的数据合成与数据扩充:数据准备、预训练、微调、指令调整、偏好对齐和应用

随着大语言模型(LLM,Large Language Model)的快速发展和广泛应用,如何优化模型的训练过程,提升其性能,成为了AI领域的研究热点。在LLM的训练中,数据的质量与多样性直接影响模型的效果。数据合成与数据扩充作为提升LLM训练效果的关键技术,在整个LLM的生命周期中起到了至关重要的作用。本文将深入探讨LLM全生命周期中的数据合成与数据扩充,包括数据准备、预训练、微调、指令调整、偏好对齐和应用,并扩展相关概念与背后的原理。

2026-01-14 08:34:48 1620

原创 数据合成中的通用模型蒸馏、领域模型蒸馏和模型自我提升

模型蒸馏(Model Distillation)是一种将知识从复杂模型(通常称为“教师模型”)传递到较小模型(称为“学生模型”)的技术。通过这种方式,学生模型能够利用教师模型在训练过程中获得的知识,完成类似的任务,同时保持较低的计算资源需求。该过程的核心思想是让学生模型学习教师模型的“软标签”——这些软标签表示了模型对每个类别的信心程度,而不仅仅是硬标签(即标准的类别标签)。

2026-01-14 08:33:26 1607

原创 【Water】数据增强中的数据标注、数据重构和协同标注

本文探讨了人工智能中数据增强的三种关键技术:数据标注(Data Labeling)、数据重构(Data Reformation)和协同标注(Co-Annotation)。数据标注为机器学习提供监督信号,包含分类、回归等类型,但面临高成本与偏差问题;数据重构通过数据转换和特征提取优化数据质量;协同标注则利用多人协作提高标注效率与准确性。这些技术通过增加训练数据多样性提升模型性能,但各自存在实施挑战。未来数据增强将趋向更智能化和自动化发展。

2026-01-13 15:09:07 1109

原创 【大数据】SparkSQL常用操作

本文介绍了SparkSQL常用操作,包括查询语法(基本查询、选择特定列、多表连接)、数据过滤与排序(WHERE、ORDER BY、LIMIT)、聚合操作(GROUP BY、HAVING、聚合函数)、去重操作(DISTINCT)、连接操作(INNER/LEFT/RIGHT/FULL JOIN)、子查询与联合查询以及窗口函数等。文章还提供了SQL优化技巧,帮助提升查询性能。SparkSQL作为Spark处理结构化数据的重要模块,支持丰富的SQL语法,适用于大数据环境下的高效数据处理需求。

2026-01-13 15:08:47 1406

原创 【Hadoop】HDFS 使用教程:从核心原理到工程实战的完整指南

本文全面介绍了Hadoop分布式文件系统(HDFS)的核心概念与工程实践。内容涵盖HDFS架构原理、环境配置、常用命令操作、文件读写流程,以及日志存储分析等实战案例。重点讲解了HDFS适合处理大文件顺序读写的特性,提供了副本管理、回收站设置等高级技巧,并总结了常见错误排查方法。文章强调HDFS在大数据体系中的基础地位,同时指出其不适合小文件和随机访问场景的局限性,为开发者提供了从理论到实践的完整指导。

2026-01-12 11:10:42 2128

原创 【Sqoop】Sqoop 使用教程:从原理到实战的完整指南

本文介绍了Apache Sqoop工具的使用教程,涵盖从原理到实战的完整指南。Sqoop主要用于关系型数据库与Hadoop生态系统之间的数据交换,适合批处理场景而非实时同步。文章详细讲解了Sqoop的架构原理、安装配置、常用命令(包括导入导出操作)、项目实战案例(MySQL与Hive数据同步)以及高级使用技巧。同时提供了常见错误排查思路和实际工作经验总结,最后给出最佳实践示例。本文可作为离线数仓建设中数据同步的实用参考手册,帮助读者掌握Sqoop在数据处理中的应用方法。

2026-01-12 11:08:02 1294

原创 【Wandb】Linux环境下通过Docker部署Wandb教程

本文介绍了在Linux系统上使用Docker部署Wandb(Weights & Biases)本地服务的完整流程。主要内容包括:前期准备(代理设置、许可证获取、Docker配置);通过Docker镜像拉取和容器启动部署Wandb本地服务;解决Python环境下安装wandb库时遇到的依赖问题(包括Go语言环境、Rust编译环境的安装);最后通过Python代码测试验证Wandb是否成功运行。整个过程详细记录了可能遇到的各种报错及解决方案,特别针对无GPU环境提供了跳过GPU统计的解决方法。该指南适用

2026-01-11 15:02:33 3591

原创 【Wandb】wandb介绍

Wandb(Weights and Biases)是一款用于机器学习的实验追踪工具,可记录超参数、训练指标和模型版本。文章介绍了Wandb的安装配置、基础使用(初始化、日志记录、实验结束)和高级功能(超参数优化、模型版本控制),并提供了图像分类项目的实战示例。同时指出了常见错误(如未初始化或结束实验)和最佳实践(清晰命名、控制日志频率等)。Wandb通过云端服务实现实验可视化与协作,帮助开发者优化模型训练过程。

2026-01-11 15:01:04 1367

原创 【Sqoop】Linux(CentOS7)下安装Sqoop教程

本文介绍了Sqoop的安装配置过程。实验环境采用3节点CentOS 7集群,使用Hadoop 3.3.4和MySQL 8.0.29。安装步骤包括:下载Sqoop压缩包并解压、配置环境变量、修改sqoop-env.sh配置文件、添加MySQL驱动和依赖包。最后通过连接MySQL数据库验证安装成功。所有操作均在feilink1节点完成,使用root用户(密码123456)和hadoop用户(密码hadoop)进行配置。

2025-12-31 10:00:11 1241

原创 【Spark】Linux(CentOS7)下安装Spark教程(包括Local、StandAlone、Spark On Yarn、Spark On Hive模式)

本文详细介绍了Spark在Local和StandAlone两种模式下的安装配置过程。实验环境基于三台CentOS 7节点,依赖Hadoop 3.3、MySQL 8和JDK 8。Local模式安装包括解压Spark包、创建Python虚拟环境、配置环境变量及测试PySpark运行。StandAlone模式扩展为集群部署,详细说明了多节点环境配置、Spark参数调优、HDFS日志目录创建及历史服务器设置,并提供了集群启停脚本。两种模式均验证了Spark的基本功能,为后续分布式计算应用奠定了基础。

2025-12-31 09:59:06 3352

原创 【Hive】Linux(CentOS7)下安装Hive教程

本文详细介绍了Hive 3.1.3在CentOS 7环境下的安装配置过程。实验使用3个节点(feilink1-3)搭建Hadoop 3.3.4集群,配置MySQL 8.0.29作为元数据库。重点包括:配置Hadoop代理用户、下载安装Hive、添加MySQL驱动、配置hive-site.xml文件、初始化元数据库(创建74张表),以及启动Hive服务(metastore和hiveserver2)。文中提供了完整的命令序列和配置文件内容,确保Hadoop与Hive的集成运行。

2025-12-31 09:57:00 1776

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除