qq_50112300的博客

原创 RAG系统环境搭建[Dify+xinference+vllm+rerank(bge-reranker-large)+embedding(bge-large-zh-v1.5 )+deepseek]

第二步:#在最下面插入并保存,/usr/local/cuda-xx.x,/usr/local/cuda-xx.x/libxx 复制cuda成功后的信息如下图图。后台启动:nohup xinference-local --host 0.0.0.0 --port 9997 &> nohup.out &当前控制台启动:xinference-local --host 0.0.0.0 --port 9997。(上面安装过了驱动,所以不需要再安装驱动,此步骤直接安装会失败,所 以 分开)1. 安装vllm0.43。