paxosstore:高可用分布式数据库解决方案

paxosstore:高可用分布式数据库解决方案

paxosstore PaxosStore has been deployed in WeChat production for more than two years, providing storage services for the core businesses of WeChat backend. Now PaxosStore is running on thousands of machines, and is able to afford billions of peak TPS. paxosstore 项目地址: https://gitcode.com/gh_mirrors/pa/paxosstore

项目介绍

PaxosStore 是一款由腾讯公司开发的分布式数据库系统,其设计灵感来源于 Google 的 MegaStore。作为微信服务的第二代存储系统,PaxosStore 已经在微信生产环境中稳定运行超过四年,为数亿用户提供核心业务存储服务,包括用户账号管理、联系人管理、即时通讯、社交网络(朋友圈)以及在线支付(微信支付)等。

项目技术分析

PaxosStore 基于无租约的 Paxos 共识层构建,提供了高可用性、强一致性的存储服务。在过去的系统中,微信使用的是 QuorumKV 存储系统,但随着服务器数量的增加,维护和开发基于 NWR 模型的系统变得愈发困难。因此,腾讯开发团队推出了 PaxosStore,它具备以下核心技术和特点:

  1. Paxos 共识算法库:PaxosStore 开源了两个 Paxos 共识算法库,分别是用于通用 PaxosLog + DB 设计的 Certain,以及针对键值存储优化的 PaxosKV。

  2. 高性能键值存储系统:PaxosStore 设计了高性能的键值存储系统,以满足大规模数据存储需求。

  3. 支持丰富数据结构:系统支持队列、列表、集合等多种数据结构,以满足不同应用场景的需求。

  4. 基于 LSM-tree 的高性能存储引擎:LSM-tree(Log-Structured Merge-tree)是一种适用于写操作频繁的场景的高效数据结构,PaxosStore 的存储引擎基于此结构,以提供更快的写入和查询性能。

  5. 新型 SQL-like 表系统:PaxosStore 还计划开源一种新型 SQL-like 表系统,以更好地支持复杂的数据查询和操作。

项目及技术应用场景

PaxosStore 已经在微信的核心业务中得到了广泛应用,以下是几个典型场景:

  • 用户账号管理:保证用户账号数据的一致性和安全性。
  • 联系人管理:处理用户间复杂的关系网络。
  • 即时通讯:为亿万用户的即时通讯提供稳定的数据支持。
  • 社交网络(朋友圈):存储和检索用户动态信息。
  • 在线支付(微信支付):处理高并发的支付请求,保证交易数据的安全。

PaxosStore 的设计使其适用于大规模分布式系统的数据存储和一致性保障,尤其是在高并发、高可用性要求的应用中表现出色。

项目特点

PaxosStore 的以下特点使其成为分布式存储系统的佼佼者:

  1. 高可用性:基于 Paxos 共识算法,即使在部分节点故障的情况下也能保证系统正常运行。

  2. 强一致性:无论是读操作还是写操作,都能保证数据的一致性。

  3. 可扩展性:随着业务的发展,PaxosStore 可以方便地扩展存储能力,满足不断增长的数据需求。

  4. 高性能:PaxosStore 能够支持数亿峰值 TPS,满足高并发场景的需求。

  5. 易于维护:与传统的 NWR 系统相比,PaxosStore 的维护和开发更为简便。

总之,PaxosStore 是一个值得信赖的高可用分布式数据库解决方案,能够为大规模在线服务提供稳定的存储支持。对于需要构建高可用、高性能的分布式系统的开发者来说,PaxosStore 无疑是一个不容错过的开源项目。

paxosstore PaxosStore has been deployed in WeChat production for more than two years, providing storage services for the core businesses of WeChat backend. Now PaxosStore is running on thousands of machines, and is able to afford billions of peak TPS. paxosstore 项目地址: https://gitcode.com/gh_mirrors/pa/paxosstore

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

祝轩驰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值