benpaobagzb的博客

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时

前言 在我们的日常web应用开发当中memcached可以算作是当今的标准开发配置了。相信memcache的基本原理大家也都了解过了，memcache虽然是分布式的应用服务，但分布的原则是由client端的api来决定的，api根据存储用的key以及已知的服务器列表，根据key的hash计算将指定的key存储到对应的服务器列表上。 基本的原理以及分布 在这里我们通常使用的方法是根据 ke

一些设计原则 无状态 数据闭环 缓存银弹 并发化 降级开关 限流 切流量 其他 无状态 如果设计的应用是无状态的，那么应用就可以水平扩展，当然实际生产环境可能是这样子的： 应用无状态，配置文件有状态。比如不同的机房需要读取不同的数据源，此时就需要通过配置文件指定。

前言 本文干货，浅显易懂，更多交流可以加入： QQ群288567073 （拒绝广告，每日分享干货电子书+视频） 微信订阅号见文末二维码 荔枝FM手机客户端搜索“挨踢脱口秀”订阅即可 视频汇总首页：http://edu.51cto.com/lecturer/index/user_id-4626073.html =========================

TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。  TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，