2024C++及系统软件技术大会-许维芷-向量数据库Milvus高性能实践

在2024C++及系统软件技术大会上，高级软件工程师许维芷发表了关于向量数据库Milvus在高性能实践方面的演讲。许维芷是Zilliz公司的高级软件工程师，她在向量搜索领域拥有多年经验，并曾在国际顶级会议和期刊如VLDB、SIGMOD发表工作，还在NeurIPS'21十亿规模向量搜索比赛中获得第一名。她的工作主要聚焦于向量数据库的索引、过滤以及端到端性能的研发工作，旨在在保证稳定性与准确度的同时，降低系统延迟，提高吞吐量。 向量数据库是处理大规模非结构化数据的利器，尤其在图像识别、语音识别、自然语言处理等领域具有广泛的应用。许维芷在演讲中提到了Milvus，这是一个开源的向量数据库，自2019年发布以来，由于其卓越的性能和广泛的应用，已经积累了31K+ stars和260+ contributors在GitHub上，拥有66M+ docker pulls和2.8K+ forks，深受企业级用户的信赖。 Milvus作为开源向量数据库，提供了丰富的功能，包括但不限于API管控、多实例系统和数据访问控制、审计监控告警、多AZ高可用架构、框架类型安全、商业版扩缩容与生态工具引擎、组织与权限鉴权、智能调优备份恢复弹性能力、管理对接、计算实例适配、多层存储适配、网络控制资源管理调度、负载均衡、池化软硬联合调优、数据布局优化等。 为了进一步推广Milvus和向量数据库技术，Zilliz还提供了商业版搜索引擎Cardinal和开源向量数据库测试工具VectorDBBench。VectorDBBench支持多种主流数据集和网页UI集成测试，为用户提供了方便的测试手段以验证向量数据库的性能。 在实际应用中，向量数据库面临的挑战包括但不限于提供虚假信息、幻觉、提供过时信息、缺少内部或专业信息源、成本高等问题。为解决这些问题，Milvus通过不断的研究和优化，提供稳定、准确的数据检索能力。 许维芷在演讲中还介绍了向量搜索性能的秘诀，着重讲到了索引和过滤搜索性能的优化。索引是提高数据检索效率的关键，而过滤是减少搜索范围，提升搜索精度的重要手段。通过结合向量数据库的特点和实际应用场景，许维芷强调了Milvus在提升性能探索方向上的努力。 向量数据库在处理大规模向量数据时，既要保持高效率的搜索速度，又要确保检索结果的质量，这对于向量数据库的设计和优化提出了极高的要求。许维芷和她的团队致力于在这些方面不断取得突破，以满足市场对于高性能向量数据库的迫切需求。Milvus的出现及其在行业中的广泛应用，充分展示了其在向量数据库领域的领先地位和强大的发展潜力。