吕帆-哔哩哔哩基于云的客服架构体系.pdf

Con北京站聚焦技术落地与前沿趋势，核心方向包括： ​​AI工程化​​：端侧推理、RAG增强、多模态生成成为主流； ​​云原生深水区​​：混合云治理、湖仓一体架构、可观测性技术持续迭代； ​​安全与效能​​：大模型安全防御、研发流程标准化、平台工程价值凸显； ​​行业融合​​：物流、金融、社交等领域的技术跨界创新案例丰富。 大会为开发者提供了从理论到实践的全景视角，推动技术向生产力转化。 吕帆在哔哩哔哩的演讲中详细阐述了基于云的客服架构体系，探讨了传统客服架构的局限性，并提出了新一代客服系统的转型方向。传统客服系统多依赖外部采购的单体架构，部署在物理机上，稳定性差，扩展能力受限，且智能化水平低，容易丢失消息。而新一代客服系统采用分布式部署、弹性扩展、全云化架构，具备高可用性和多活的容灾能力。其主要特点和优势包括： 1. 智能问答与智能检索功能，提高了客服系统的智能化水平。 2. 智能坐席调度与弹性智能资源调度，结合了云计算和智能化。 3. 数据驱动的智能决策，提升了系统决策能力。 新客服系统整体架构涉及资源部署和微服务的拆分，架构包括多活接入层、分布式网关层、权限校验、参数校验、通用配置、API管理、业务方管理以及流量控制等。此架构具有高度的可拓展性，使得各组件之间的通信更为即时，并提高了整体的稳定性和扩展性。 此外，新系统采用分布式微服务部署模式，保证了故障的隔离性和发布的独立性。在资源使用上，智能问答、向量检索、大模型处理、坐席调度、工单处理等都采用了云技术，以实现高度的可拓展性、稳定性和容灾能力。 在消息系统方面，新客服系统采用云广播机制和轮询机制来实现即时通信。当新消息产生时，系统通过广播的方式推送消息至移动端，并由移动端主动发起轮询，以此来及时更新消息状态并解决消息丢失问题。这种方式不仅满足了即时通信的需求，还解决了网络不稳定带来的问题，并降低了系统维护的复杂性和开发成本。 新客服系统的整体架构设计还涵盖了云存储/计算、算法故障、数据库、缓存等技术的云化应用。架构的设计考虑到了多机房部署能力，支持CDN流量的随时切换，以及在Pod层面上的动态扩容，从而能够应对流量高峰和突发状况，保证了系统的高可用性。 具体技术组件方面，吕帆提到了包括Boss文件系统、Mysql、ES、Docker、LLM、Milvus、Taishan、Redis、MQ、K8S、Embeding和Faiss在内的技术，这些技术的结合使用，使得新客服系统在架构复杂度方面得到有效控制。 最终，吕帆还展示了系统中用户咨询量的分布，其中智能问答占比达到70%，进一步体现了新系统智能化的特点。总体来看，哔哩哔哩的新一代客服架构体系是高效、智能化、高可用性和容错性强的云服务架构，是现代客服系统发展的典范。