- 博客(1414)
- 资源 (5)
- 收藏
- 关注
原创 TTFB(Time to First Byte)和 TTFT(Time to First Token)值大小对比
TTFB:指从客户端发送请求到接收到服务器返回的第一个字节的时间。这个“第一个字节”可能是 HTTP 响应头的起始字符(如的第一个字母),也可能是响应体的第一个字节,但本质是“字节级”的最小单位。TTFT:指从请求开始到接收到第一个有意义的“令牌(Token)”的时间。“Token”通常是一个完整的、可解析的数据单元(如 JSON 中的第一个键值对、HTML 中的第一个标签<div>、API 响应中的第一个有效数据片段等),是“语义级”的单位。
2025-08-12 05:03:39
198
原创 TTFB(Time to First Byte)和 TTFT(Time to First Token)的值一般差多少?
TTFB(Time to First Byte,首字节时间)和 TTFT(Time to First Token,首令牌时间)的差值通常在。
2025-08-11 07:03:46
231
原创 jmeter如何测试出TTFT
在JMeter中测试TTFT(Time to First Token)需要结合和,因为TTFT并非JMeter内置指标(JMeter默认提供TTFB等基础指标)。
2025-08-10 05:28:32
775
原创 什么是模拟 RAG 场景
模拟RAG(Retrieval-Augmented Generation,检索增强生成)场景是指通过技术手段复现真实RAG系统的工作流程,以测试大语言模型(如DeepSeek)在结合外部知识库时的性能表现。其核心是模拟“检索→生成”的联动过程,验证模型在依赖外部信息时的响应速度、准确性和稳定性。
2025-08-09 08:08:52
478
原创 ChatGPT和deepseek的区别与共同点
另外,开源方面,DeepSeek可能有开源模型,而ChatGPT主要是闭源的;首先,ChatGPT是OpenAI开发的,基于GPT系列模型,比如GPT-3.5和GPT-4,而DeepSeek是深度求索(DeepSeek Inc.)开发的大语言模型,可能在技术路线、应用场景等方面有差异。首先,共同点应该从大语言模型的基本特性入手,比如都基于Transformer架构,都能处理自然语言任务,如对话、生成、问答等,都需要大规模训练数据和计算资源,都支持多轮对话,可能都有API供开发者使用。
2025-08-08 05:34:43
678
原创 ChatGPT和DeepSeek的训练数据分别来自哪里?
ChatGPT的训练数据主要来源于互联网上的各种文本资源,包括网页、书籍、新闻等,具体如下:DeepSeek的训练数据来源较为广泛,涵盖网页、代码、学术论文等,注重多语言和领域的多样性,具体如下:
2025-08-07 05:06:14
261
原创 ChatGPT和DeepSeek的训练数据是如何清洗和预处理的?
共同点:均通过多阶段清洗(质量→重复→安全)和标准化预处理(分词→编码→格式统一)提升数据质量,依赖动态优化(如领域采样、增量学习)平衡模型泛化与垂直性能。差异点:ChatGPT侧重通用场景的广度覆盖,DeepSeek强于垂直领域(尤其是中文和代码)的深度优化。例如,DeepSeek通过代码依赖关系排序和数学推理数据二次审核,在代码生成任务上达到SOTA水平,而ChatGPT通过多模态能力(如GPT-4V)覆盖更广泛的应用场景。
2025-08-06 07:00:14
317
原创 deepseek如何处理图形识别技术
此外,DeepSeek还构建了CNN、RNN以及自注意力机制相融合的神经网络架构。初始阶段借助CNN提取图像关键信息,再利用RNN对视频帧序列建模,挖掘帧间时间依赖关系,自注意力机制则可聚焦关键位置,捕捉不同位置特征间的复杂关联。并且通过自适应卷积核结构,根据图像局部区域复杂程度和物体大小动态调整卷积核尺寸,以精准提取各类物体特征。在训练方面,基于混合精度训练和分布式训练策略,提升训练效率,为大规模模型的快速迭代提供保障。
2025-08-05 06:48:22
243
原创 大模型中tokens如何计算
此外,也可以根据经验公式进行大致估算。一般来说,1个英文字符约等于0.3个token,1个中文字符约等于0.6个token,但具体换算比例因模型分词策略而异。若要精确计算,可使用模型提供的分词工具,如OpenAI的tiktoken库。在大模型中,tokens的计算主要通过模型的分词器将文本分割成基本单元后进行统计,不同语言和模型的分词规则会影响计算结果。
2025-08-04 00:33:10
150
原创 PyTorch Profiler和jmeter工具区别
PyTorch Profiler 和 JMeter 是两款面向不同场景的工具,核心功能、适用领域和使用方式存在显著差异。嵌入 PyTorch 代码的执行过程,记录每个算子、函数、设备(CPU/GPU)的运行时间、内存分配/释放等细节,并生成可视化报告(如火焰图、时间线)。无需修改服务代码,只需配置请求参数(如 URL、请求方法、参数)、并发用户数、压测时长等,即可通过统计请求的响应结果计算性能指标。,适用于各类网络服务(如 Web 应用、API 接口、数据库、消息队列等)。是 PyTorch 官方提供的。
2025-08-03 07:17:38
624
原创 什么是吞吐量
吞吐量是衡量系统“处理效率”的核心指标,其数值越高,说明系统单位时间内能处理的任务或数据越多。在实际应用中,需结合具体场景(网络、服务器、存储等)理解其含义,并与响应时间、并发量等指标联动分析,才能全面评估系统性能。它直观反映了系统的承载能力和效率,是评估系统性能的关键参数之一。在计算机科学、网络通信、性能测试等领域,是衡量系统处理能力的核心指标,指。
2025-08-01 07:41:05
783
原创 并发率如何提高
提高并发率的核心是“消除瓶颈”:通过扩容硬件、异步化架构、优化存储、高效编程等手段,让系统的CPU、内存、IO、网络等资源被充分利用,同时避免单点阻塞。实际优化中需结合具体业务场景(如读多写少、写密集、实时性要求等),优先解决最突出的瓶颈(如数据库、网络IO),逐步迭代提升。
2025-07-31 07:00:15
285
原创 PAT性能测试工具如何使用
通过熟练使用 PAT 工具,可大幅提升代码性能和资源利用率,尤其在高性能计算(HPC)、AI 训练等场景中尤为重要。通常指由各大厂商提供的性能分析工具集。不同PAT工具的使用方式差异较大,以下以。,用于定位代码瓶颈、优化硬件资源利用率(CPU/GPU/内存)。VTune Profiler 是 Intel 开发的。,点击「New Project」创建新项目。
2025-07-30 06:13:24
639
原创 grafana简介
是一款开源的跨平台数据可视化和监控工具,专注于将时序数据(Time Series Data)转化为直观、可交互的图表、仪表盘(Dashboard),帮助用户实时监控系统、应用程序或业务指标的运行状态,快速发现问题并分析趋势。它支持对接多种数据源(尤其是时序数据库),并提供强大的可视化配置、告警管理和团队协作功能,是监控领域的主流工具之一,广泛应用于运维、开发、物联网等场景。用户可通过拖拽操作创建自定义仪表盘,将多个图表(来自同一或不同数据源)组合,集中展示关联指标。
2025-07-29 06:37:49
770
原创 自适应专家选择器技术简介
自适应专家选择器(AES)是混合专家模型(MoE)的核心技术,通过门控网络动态选择最适合处理当前输入的专家子网络。其创新在于根据验证损失自动调整激活专家数量,避免过拟合或欠拟合。相比传统固定Top-K路由,AES能更高效利用计算资源,为不同复杂度任务智能分配专家。典型应用如Deepseek的MoE 3.0架构,通过动态选择机制实现5.6倍计算效率提升。该技术通过自适应路由显著提升了模型的性能和资源利用率。
2025-07-28 07:24:21
303
原创 知识库智能机器人使用场景
存在明确的知识边界(如企业制度、行业法规)、高频重复的知识查询需求、对响应速度和准确性要求高。通过将分散的知识结构化、系统化,机器人可实现“知识复用”,既降低人工成本,又避免因人员流动导致的知识流失,最终实现“让知识高效流动”的核心价值。
2025-07-27 05:17:49
667
原创 telegraf简介
它具有轻量、灵活、插件丰富等特点,是时序数据监控生态(如 TICK Stack:Telegraf + InfluxDB + Chronograf + Kapacitor)中的核心组件之一。Telegraf 是时序数据采集的“瑞士军刀”,凭借丰富的插件和轻量特性,成为监控领域的重要工具。它简化了从多源采集数据并集成到监控生态的流程,常与 InfluxDB、Grafana 等组成完整的“采集-存储-可视化”监控链路,广泛应用于运维、物联网、工业监控等场景。对采集的数据进行实时处理,如过滤、转换、添加标签等。
2025-07-26 06:45:09
1312
原创 deepseek如何使用提示词对数据进行分析预警
在使用DeepSeek进行数据预警时,核心在于通过精准的提示词引导模型完成数据特征提取、异常识别和风险触发。
2025-07-25 00:48:31
798
原创 向量化模型简介
向量化模型是连接非结构化数据与计算机可处理格式的“桥梁”,通过将原始数据转化为语义相关的向量,让机器能以数学方式理解数据的含义,是现代检索、推荐、分析等任务的核心基础技术。
2025-07-24 05:41:26
286
原创 自适应专家选择器技术简介
自适应专家选择器(AES)是混合专家模型(MoE)的核心技术,通过门控网络动态选择最适合处理当前输入的专家子网络。其创新在于根据验证损失自动调整激活专家数量,避免过拟合或欠拟合。相比传统固定Top-K路由,AES能更高效利用计算资源,为不同复杂度任务智能分配专家。典型应用如Deepseek的MoE 3.0架构,通过动态选择机制实现5.6倍计算效率提升。该技术通过自适应路由显著提升了模型的性能和资源利用率。
2025-07-21 18:19:45
154
原创 QPS简介
QPS(Queries Per Second),即每秒查询率,是衡量系统处理请求能力的重要性能指标,用于表示服务器在一秒钟内能够处理的查询(或请求)次数。它广泛应用于数据库、Web服务器、API接口等各类信息系统的性能评估与容量规划中。
2025-07-20 07:10:13
319
原创 如何测试NPU性能
它具有轻量、灵活、插件丰富等特点,是时序数据监控生态(如 TICK Stack:Telegraf + InfluxDB + Chronograf + Kapacitor)中的核心组件之一。Telegraf 是时序数据采集的“瑞士军刀”,凭借丰富的插件和轻量特性,成为监控领域的重要工具。它简化了从多源采集数据并集成到监控生态的流程,常与 InfluxDB、Grafana 等组成完整的“采集-存储-可视化”监控链路,广泛应用于运维、物联网、工业监控等场景。对采集的数据进行实时处理,如过滤、转换、添加标签等。
2025-07-19 07:39:39
502
原创 对DeepSeek-v3大模型进行性能测试的目标有哪些
在保证基础运行效率(速度、吞吐量、资源占用)的前提下,确保生成内容的高质量(准确、逻辑、相关、安全),同时具备应对复杂场景和异常输入的鲁棒性。这些目标共同服务于模型的优化迭代、部署策略制定及最终的用户体验提升。
2025-07-17 04:26:27
944
原创 DeepSee-v3大模型多轮对话交易平均响应时间
轻量级场景:300ms-1秒(如客服、简单问答);中复杂度场景:1-3秒(如代码生成、专业分析);高负载或超长上下文:3-10秒(如多模态处理、128K Token文档解析)。实际表现受硬件配置(如是否使用GPU加速)、并发请求数、输入长度及任务类型影响显著。对于企业级应用,通过分布式部署和量化优化,可将响应时间压缩至毫秒级。建议根据具体业务需求选择合适的部署方案,并通过官方API或本地测试获取精准数据。
2025-07-16 10:46:47
862
原创 DeepSee-v3大模型单轮知识库对话与多轮知识库对话交易平均响应时间
单轮知识库对话1.2-1.8秒(消费级硬件)至800ms(企业级部署)。2.5-5秒(跨文档分析)。多轮对话交易5-7秒(10轮)。50ms内(端到端延迟),支持每秒数万次交易请求。实际表现受硬件配置(如是否使用昇腾/GPU加速)、并发量、输入长度及任务复杂度影响显著。对于实时性要求高的场景,建议通过官方API或本地测试获取精准数据,并结合分布式部署和量化优化进一步压缩延迟。
2025-07-15 06:28:57
959
原创 华为盘古大模型介绍
华为盘古大模型是由华为云、循环智能和鹏城实验室联合开发的人工智能模型,于2021年4月正式对外发布,致力于深耕行业,打造多领域行业大模型和能力集。
2025-07-14 07:23:26
372
原创 RPA技术详细说明
BPM负责流程的全局规划与优化(如梳理“采购流程”的上下游节点),RPA负责执行其中的重复性步骤,形成“流程规划-自动化执行”的闭环。的流程(如“当发票金额>1000元时,自动发送审批邮件”),无法处理模糊或需要主观判断的任务(如“判断客户反馈是否为投诉”)。多个机器人分工协作:例如,机器人A负责从系统A取数据,机器人B负责清洗数据,机器人C负责录入系统B,提升复杂流程的处理效率。机器人处理重复任务,人类聚焦决策与异常处理(如机器人无法识别的发票由员工人工审核),形成“人类指导-机器人执行”的协作模式。
2025-07-13 06:27:59
299
原创 微服务配置中心与防火墙的关系
微服务配置中心与防火墙是“功能互补、协同防护”的关系:配置中心负责配置的管理与分发,防火墙则保障其通信安全与访问可控。实际部署中,需结合业务场景(如内网/公网、单区域/跨区域)制定精细化规则,同时通过日志联动(防火墙日志+配置中心访问日志)实现全链路可追溯,避免因规则冲突导致服务不可用。
2025-07-11 07:45:51
566
原创 JMeter流式输出介绍
流式输出通常指测试过程中持续、实时地输出数据,而非测试结束后一次性生成结果。实时查看服务器返回的响应数据(如API接口的流式响应);实时将日志、采样结果输出到控制台或文件;实时生成测试指标(如TPS、响应时间)并输出。如果上述组件无法满足需求,可通过“”或“Groovy脚本例如,在BeanShell PostProcessor中编写脚本,将每次请求的响应数据实时打印到控制台:// 获取响应数据// 实时输出到控制台System.out.println("实时响应:" + response)
2025-07-10 07:28:44
812
原创 财政业务知识库目录分类实践
财政业务知识库的目录分类是实现知识有序管理、高效检索和精准应用的核心环节,需结合财政业务的专业性、系统性和动态性,兼顾业务逻辑、用户需求和管理实践。以下从分类原则、核心框架、实践要点三个方面,结合财政业务特点展开具体实践说明。
2025-07-09 06:08:05
1109
原创 数据团队对财政知识文本进行分词、去停用词等预处理操作是什么意思
财政知识文本的预处理是数据团队将非结构化语言转化为结构化知识的“翻译官”,通过分词、去停用词等操作,让计算机能够“读懂”财政文本中的政策逻辑、数据指标和业务关系。在实践中,需紧密结合财政领域特性(如术语体系、政策文本结构)定制处理方案,才能为后续的知识分析、智能应用奠定坚实基础。随着财政数字化转型的深入,预处理技术也将向“自动化+领域自适应”方向升级,例如通过深度学习模型自动识别新型财政术语,减少人工干预成本。
2025-07-08 07:27:54
458
原创 人工智能在医疗器械领域的未来发展趋势是什么?
未来五年,AI医疗器械将呈现“技术融合深化、场景边界拓展、监管生态成熟”三大特征。多模态大模型、边缘计算、联邦学习等技术的突破,将推动诊疗从“单点智能”向“全域智能”跃迁;生成式AI与手术机器人的自主化,将重塑外科手术范式;而监管创新与标准化建设,则为AI医疗的安全落地提供制度保障。最终,AI将从“辅助工具”进化为“临床伙伴”,在精准医疗、普惠医疗、主动医疗三大方向释放颠覆性价值,成为健康中国战略的核心引擎。
2025-07-07 07:56:52
677
原创 生成式AI在医疗领域的应用会带来哪些风险?
生成式AI在医疗领域的风险已超越技术层面,演变为涉及患者安全、社会公平、法律伦理的系统性挑战。要实现“AI向善”,需构建“技术防御(可解释性架构+鲁棒性训练)- 制度约束(全生命周期监管+责任保险)- 伦理共识(医患共享决策机制)”的三维防护体系。正如WHO在2024年《AI医疗伦理指南》中强调:“医疗AI的创新速度必须与风险控制能力同步,否则每1%的技术缺陷,都可能在临床场景中放大为100%的生命代价。
2025-07-06 10:56:22
833
原创 如何解决生成式AI在医疗领域应用中出现的技术风险?
源头防控:通过数据治理、模型优化从底层降低风险;过程监控:利用实时审计、伦理审查确保应用合规;应急响应:建立熔断机制与跨学科协作体系,快速应对突发风险。最终,技术方案需与政策监管、行业共识深度结合,才能在释放AI创新价值的同时,守护医疗领域的安全性与伦理底线。
2025-07-05 03:50:30
648
基于若依自动生成代码实现多数据源菜单切换
2024-10-02
主从数据源基础上增加数据源的切换
2024-10-01
若依框架自动生成代码的步骤、使用的脚本和自动生成的代码
2024-09-30
distrowatch排名第三的linux系统EndeavourOS安装笔记
2024-07-31
详细介绍MongoDB与Vue结合的具体步骤
2024-10-27
部署基于Gitlab+Docker+Rancher+Harbor的前端项目
2024-10-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人