大数据分布式存储之Cassandra——分布式存储的奠基石

分布式存储区别于集中式数据库存储，通过网络将海量数据存储到企业的各个数据节点（可能分布到不同的数据中心或机架上）；

分布式存储需要考虑的问题

元数据管理

元数据是指数据本身的标识，通过元数据能很快的找到数据存储的位置，比如在分布式文件系统中，元数据是指文件的路径名+文件名；元数据管理包括集中式元数据管理架构和分布式元数据管理架构；集中式是指将元数据存储到一个节点上，实现简单，但具有单点故障和性能瓶颈的问题；分布式元数据架构是将元数据存储到多个节点上，虽然解决了集中式元数据管理架构的问题，但却引入了数据一致性的问题，如多节点之间的数据如何保持一致；

弹性伸缩

弹性伸缩需要考虑如下两种情况：

• • 某一节点宕机或磁盘坏掉的情况下如何保障系统还能正常运行并且数据不丢失；
  • 数据和计算资源的负载均衡：当前数据库集群已经无法容纳更多的数据时，如何通过加入新的数据节点分摊数据；或当前的数据库集群算力已经达到顶峰时，如何通过加入新的节点分摊算力；如何保证计算和数据均匀分布，避免某一节点成为热点或瓶颈；

性能与成本

高效而合理的存储结构应在保障数据库性能的情况下，最大程度降低系统能耗和构建/管理成本；如如何保障数据库查询不会扫描整个数据库集群？如何在算力、存储不足的情况下能不加人为干预的动态加入新的节点？

CAP理论

作为分布式存储系统的奠基石，CAP理论提出了在分布式系统架构过程中必须考虑的三个因素：

• • C（一致性Consistency）：对写入的数据，分布式系统中的所有的备份节点是否都能得到最新的数据副本；
  • A（可用性Availability）：对每个读取/写入请求，都能得到相应的结果；