eyexin2018的博客

RAG（Retrieval-Augmented Generation，检索增强生成）和知识库（Knowledge Base）是两个相关但不同的概念。它们在自然语言处理（NLP）和人工智能（AI）中都有重要作用，但它们的目标和功能有所不同。在实际应用中，RAG 和知识库可以结合使用，例如在问答系统中，知识库提供存储和检索功能，而 RAG 框架结合检索到的上下文信息生成更准确的答案。RAG的建立依赖于模型，一旦建立成功后不一定需要用那个模型才能调用，其他模型也可以使用，但是该模型需要开启着才行。

这些向量在一个连续的向量空间中，保持了原始数据的语义或结构信息，使得相似的数据点在空间上距离较近。OLLAMA_KEEP_ALIVE=24h 设置模型加载到内存中保持24个小时(默认情况下，模型在卸载之前会在内存中保留 5 分钟)果然获取维度失败是有原因的，有些模型是支持嵌入的，有些则不支持，如qwen-1.5B, deepseek-70B它就支持，查看API文档。支持嵌入的一般是比较小的模型，灵活，像稍大一点的模型就不支持嵌入了比如qwen-32B，Qwen2.5-7B-Instruct。

不行，需要自定义镜像源，而且不能拉最新的，最新的没有ARM版本one-api安装又需要外网下载分词器，还是搞不定，再换一种方法重新解决第一可以适当修改docker-compose.yaml文件，选择合适的镜像第二可以单独拉镜像改docker-compose pull为docker pull mysql/one-api/redis …分开一个一个拉，这样失败的概率会低一点然后docker-compose up -d但仍然需要分词器手动下载上传重启服务Bash。

7)OpenWebUI主要是一个Web界面，用于与LLM交互，支持RAG和知识库，但更多是提供用户界面和集成工具，而不是自主决策。Cherry Studio则是管理工具，支持配置模型和知识库，但用户需要手动选择模型和知识库，缺乏自主决策和持续行动的能力。终于成功了，真的是会了不难，难了不会，现在搞清楚了发现也就这么几个步骤，但是在我没弄明白之前，死活都不知道该怎么做，它对我来说就像一个黑盒。虽然它不是智能体，但是功能类似，放在这里分别比较功能都是免费的，简单易用，而且基本功能都可以满足。

在通用数据集上微调很成功，但是，在专业数据集上微调却不行，我使用控制变量进行了许多次测试，都无法得到好的效果，无论是回答格式，还是回答内容，都无法使用。至少在华为910上是这样。数据集：中文基于满血DeepSeek-R1蒸馏数据集（Chinese-Data-Distill-From-R1）General：共计58352，包含弱智吧、逻辑推理、小红书、知乎、Chat等。Math：共计36568个样本，STEM：共计12648个样本，Exam：共计2432个样本，基于unsloth进行微调。

QLoRA 是一种在 4-bit 量化模型基础上使用 LoRA 方法进行训练的技术。它在极大地保持了模型性能的同时大幅减少了显存占用和推理时间。GPTQ 等后训练量化方法(Post Training Quantization)是一种在训练后对预训练模型进行量化的方法。量化加载的参数更多，所以对显存的需求更大。量化有助于减少显存使用并加速推理。量化7B模型，12GB显存不够用。增大至24G显存就够了。

这也是因为llamafactory前端目前也只支持单卡训练或推理。指定模型做推理，前端访问。

设置 do_sample: false，取消随机抽样策略。

这个报错很奇怪，貌似是和sklearn有关，卸载sklearn才得以解决。我这里尝试了无数种方法都不行，最终，卸载sklearn，意外解决了问题。ldd --version查看glibc的版本。

昇腾910跑大模型时遇到报错。还是要去source一下。

代理设置Docker代理问题，是在这个文件里设置的[Service]临时使用docker镜像源成功了在 /etc/systemd/system/docker.service.d/http-proxy.conf 文件中设置的代理配置，主要用于为 Docker 守护进程（dockerd）配置代理，以便在拉取镜像、推送镜像等操作中使用代理服务器然而如果想要docker容器能够上网，就需要通过 daemon.json 配置全局代理但是这样修改容易造成冲突，导致容器无法启动。