- 博客(19)
- 收藏
- 关注
RSS订阅原创 模型微调/量化技术整理
本文介绍了大模型微调技术及其优化方法。首先阐述了模型微调的概念，包括指令微调和人类对齐等具体方法。其次重点分析了参数高效微调(PEFT)技术，详述了其五种实现方式：增量模型、软提示、适配器、选择性方法和重参数化方法。随后深入探讨了LoRA和QLoRA两种低秩微调技术，以及QLoRA采用的4位量化等创新点。最后介绍了模型量化技术原理，包括对称/非对称量化及NF4量化方法。全文系统梳理了大模型微调的关键技术与优化策略，为降低计算资源消耗提供了有效解决方案。
2025-08-18 20:57:20
469
原创 常用大模型架构整理
本文介绍了Transformer及其衍生模型GPT和BERT的架构原理。Transformer采用纯注意力机制，通过编码器-解码器结构实现并行计算，其中位置编码解决序列顺序问题，自注意力机制捕捉全局依赖关系。GPT基于Transformer解码器，通过无监督预训练和微调实现文本生成任务；BERT则利用Transformer编码器，通过掩码语言模型和下一句预测任务进行预训练，擅长理解任务。三种模型在NLP领域各有侧重，Transformer奠定了注意力机制的基础架构，GPT和BERT则分别发展出强大的生成和理
2025-08-17 18:18:06
363
原创 文本生成与AIGC整理
本文概述了两种传统AIGC技术和Seq2Seq模型。N-gram模型通过词序列联合概率预测下一个词，但存在稀疏性问题；NPLM神经概率语言模型则通过神经网络学习词向量空间关系。Seq2Seq模型包含编码器和解码器，用于序列转换任务，并引入注意力机制解决固定向量限制问题。注意力机制通过动态计算输入序列不同部分的权重，提升模型性能，包括多种类型如点积、缩放点积和多头注意力等。此外，文章还探讨了教师强制与计划采样两种训练策略的优缺点。
2025-08-15 15:40:05
975
原创 自然语言处理整理
本文介绍了中文自然语言处理的关键技术与实现方法。主要内容包括：1.中文分词工具（结巴分词、HanLP）的使用与优化；2.文本摘要算法的分类与实现（抽取式与生成式）；3.TF-IDF算法原理及代码实现；4.Word2Vec词向量模型（Skip-Gram和CBOW）的应用；5.TextCNN文本分类模型架构；6.RNN循环神经网络及其变体（LSTM）的原理和应用场景。文章通过具体代码示例展示了各技术的实现过程，涵盖了从基础分词到深度学习模型的全套NLP处理流程，适合作为自然语言处理实践的参考指南。
2025-08-14 17:12:00
664
原创 训练任务整理（持续更新）
本文介绍了使用深度学习方法进行图像识别的三个实践案例：1) 基于Keras的MNIST手写数字识别，包括数据预处理、CNN模型构建、训练评估及预测过程；2) 验证码识别任务，分别处理简单字符分割和复杂整体识别两种场景，展示了多输出层网络设计；3) 使用PyTorch框架在CIFAR-10数据集上训练ResNet50模型，包含数据增强、迁移学习和多周期训练策略。三个案例均详细说明了数据预处理、模型架构、训练优化和结果评估的完整流程，涵盖了计算机视觉中分类任务的典型实现方法和技术要点。
2025-08-13 15:33:52
304
原创 训练问题整理（持续更新）
摘要：本文分析了机器学习中的三类常见问题及解决方案。针对数据不平衡问题（如客户流失预测中正负样本比例悬殊），提出了数据增强和调整权重的方法，并介绍了混淆矩阵评价指标。对于过拟合现象（训练集表现优异但测试集差），建议采用Dropout、数据增强、早停机制和优化网络结构。针对欠拟合问题（模型性能提升缓慢），推荐检查数据质量、增加训练轮次和优化网络架构。这些方法可有效提升模型性能。
2025-08-12 11:13:36
184
原创 深度学习与神经网络整理
深度学习是机器学习的重要分支，通过神经网络模拟人脑处理信息。其核心优势在于自动特征提取，广泛应用于图像识别、自然语言处理等领域。神经网络由输入层、隐藏层和输出层构成，通过前向传播和反向传播进行训练。主要模型包括BP神经网络、卷积神经网络（CNN）、循环神经网络（RNN）及其变体LSTM，以及基于注意力机制的Transformer。这些模型各有特点：BP神经网络适用于分类和回归，CNN擅长图像处理，RNN系列适合时序数据，Transformer在NLP领域表现突出。训练过程通过梯度下降优化权重参数，使网络输出
2025-08-11 15:12:11
767
原创 计算机视觉整理
本文介绍了计算机视觉的基础概念和相关技术应用。首先阐述了计算机视觉的定义及其数据处理特征，包括高维度、大数据量、高冗余等特点。其次概述了三大常见任务：图像分类、目标检测和图像分割。接着详细讲解了OpenCV工具包的使用方法，涵盖基础操作（如图像读取、显示、缩放）和高级操作（如腐蚀、膨胀、边框填充等）。最后介绍了OCR文字识别和人脸识别技术，具体说明了Tesseract引擎和face_recognition库的应用方法，包括图像预处理、特征提取和识别比对等关键步骤。文章为计算机视觉的入门学习提供了基础技术指导
2025-08-07 15:17:02
646
原创 分类聚类整理
本文介绍了四种常用机器学习算法：1. K-Means聚类算法：无监督学习技术，通过迭代计算质心实现数据聚类，需预先确定K值，应用场景包括用户画像、广告推荐等。2. KNN分类算法：基于距离度量的监督学习方法，通过K个最近邻样本的类别进行预测，K值选择影响模型复杂度。3. SVM支持向量机：通过寻找最优超平面实现分类，擅长处理高维数据，但计算开销较大。4. 决策树：基于树形结构的监督学习算法，通过特征判断实现分类或回归。每种算法均配有基本原理、特点及sklearn实现示例，为机器学习实践提供参考。
2025-08-06 14:07:08
990
原创 回归通识整理
摘要： 本文介绍了线性回归和逻辑回归的基本原理与应用。线性回归通过拟合最优直线预测结果，分为一元（单因素）和多元（多因素）回归，适用于房价预测等问题。数据预处理、损失函数（如均方误差）和梯度下降是模型训练的关键步骤。逻辑回归则用于分类任务，通过激活函数（如sigmoid）输出概率，并利用梯度下降优化参数。文中还提供了Python的sklearn库实现代码，涵盖数据拆分、模型训练及评估流程。两种方法均为机器学习的基础模型，分别适用于预测和分类场景。
2025-08-05 14:20:24
461
原创 AI通识整理
本文系统介绍了人工智能（AI）及其核心技术机器学习的知识框架。AI发展依赖数据、算法和算力三大要素，主要分支包括计算机视觉、自然语言处理和机器人技术。机器学习作为AI实现方式，其流程涵盖数据收集、预处理、模型训练与评估等关键环节。文章详细解析了计算机视觉的三大任务（分类、检测、分割）及图像处理方法，并介绍了数据归一化的多种技术（如Softmax、Min-Max、Z-score等）。同时阐述了欠拟合与过拟合等模型常见问题，为理解AI技术应用提供了系统化的知识结构。
2025-08-04 14:38:29
615
原创 Linux远程AI环境搭建
本文介绍了Linux服务器环境配置的关键步骤：1)配置SSH免密登录，包括生成密钥对和上传公钥；2)安装NVIDIA显卡驱动和CUDA工具包，提供自动安装和手动配置两种方法；3)使用Miniconda搭建Python开发环境，包括镜像源配置、虚拟环境创建和常用AI框架安装；4)安装FFmpeg多媒体处理工具；5)配置Ollama支持。这些步骤为AI开发和服务器管理提供了基础环境，涉及SSH安全连接、GPU加速支持、Python包管理和多媒体处理等关键技术要点。
2025-07-23 15:24:47
294
原创 服务器配置ollama及实现本地调用
本文介绍了两种在服务器上配置Ollama大模型服务的方法，以及如何通过SSH隧道实现本地访问。对于有管理员权限的用户，推荐使用systemd守护进程方式部署服务；无权限用户则可使用用户级systemd配置。两种方式都需创建服务配置文件并启动服务。最后通过SSH隧道将本地端口映射到远程服务器端口，即可在本地通过curl命令验证和调用远程模型服务。这种方法避免了重复部署，使本地开发更加便捷。
2025-07-21 17:57:29
478
原创 Java对象引用传值遇到的问题
Java中对象的赋值是基于引用的，所以你通过tbTryCalcRiskInfos = new ArrayList<>()重新创建了一个新的ArrayList，但是并没有同步更新pageTbTryCalcRiskInfos.getData()的引用，导致pageTbTryCalcRiskInfos.getData()仍然指向原来的ArrayList。你需要显式地通过setData()方法更新pageTbTryCalcRiskInfos的data字段，确保它指向新的对象。// 创建新的空对象。
2024-12-06 15:44:59
612
原创 ThreadLocal常用场景
是 Java 提供的一个工具类，用于实现线程局部变量。它可以确保每个线程访问的变量都是独立的，不同线程之间互不干扰。
2024-12-05 11:21:13
198
原创 解决rpc远程调用（跨服务调用）泛型擦除
上述对象满足发送方已知业务对象类型和数据，需要将其全部发给接收方的情况，如有需求，发送方仅已知业务对象类型，需要接收方填充数据，需要使用如下对象：(仅传输对象类型)如果发送方将对象的某属性定义为Object类型，接受方收到该对象后反序列化Object类型的属性会自动变为map类型，无法获得其精准结构数据，导致后续使用报错。发送方需要通过远程调用传一个Object类型（即动态类型的对象），接收方需要精准获得该对象的结构和数据。类型，原因在于 Java 的序列化机制和反序列化时类型推断的方式。
2024-12-05 11:09:06
224
原创 DBeaver常用快捷键
这些快捷键可以帮助你更高效地编写和编辑 SQL 代码。这些快捷键可以帮助你快速执行一些常见的数据库操作。这些快捷键帮助你在不同的视图和窗口之间快速切换。帮助你快速查看和操作 SQL 查询的结果。帮助你查看和操作执行过的 SQL 查询。快速切换视图或关闭不需要的窗口。
2024-12-05 10:34:34
2687
原创 docker安装cassandra数据库并整合spring webflux工程
docker安装cassandra数据库并整合spring webflux工程。
2024-03-26 14:51:55
463
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人