没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论











大数据平台
详细设计
V1.0 版

第 2 页 共 112 页
产品简介.................................................................................4
重要公共模块.............................................................................5
基础数据结构 Array .......................................................................................................................5
内存访问数据结构 MemoryBlock .................................................................................................5
内存池 Memory Pool.......................................................................................................................7
远程函数调用 RPC .......................................................................................................................13
MASTER NODE.............................................................................19
简介 .....................................................................................................................................................................19
1. CONTROL 模块................................................................................................................................................19
表分布策略....................................................................................................................................19
2. SQL 模块 .....................................................................................................................................................24
查询执行策略................................................................................................................................26
执行器............................................................................................................................................32
计划节点........................................................................................................................................36
元组操作........................................................................................................................................60
表达式计算....................................................................................................................................64
投影操作........................................................................................................................................68
DATA NODE...............................................................................75
简介 .....................................................................................................................................................................75
1. 重要模块.....................................................................................................................................................75
DB ..................................................................................................................................................75
Table...............................................................................................................................................76
Tablet Group ..................................................................................................................................78
Tablet .............................................................................................................................................79
Tablet Order ...................................................................................................................................80

第 3 页 共 112 页
TableInfo........................................................................................................................................81
2. 数据存储.....................................................................................................................................................81
3. 数据导入.....................................................................................................................................................86
概括................................................................................................................................................86
多节点的 Loading .........................................................................................................................89
分布式机制..............................................................................93
1. 概括.............................................................................................................................................................93
2. 数据备份和同步.........................................................................................................................................99
主备份与副备份的区别..............................................................................................................103

第 4 页 共 112 页
产品简介
DreamData 大数据实时分析数据库是从分布式数据库的基础上发展而来,吸收了大规模并行处理
(MPP-massively parallel processing )、NoSQL 列存数据库、数据库内压缩等多项最新技术成果的优
势,结合内存计算技术,直接在内存中优化程序和计算,为用户提供卓越的性能体验。
DreamData 实现了数据处理中新的业务途径。事实上,它远远超过了数据库的传统定义,并且其性
质远不只是内存中磁盘数据结构上的本地缓存。
DreamData 最大的特色就是大而快,它能极快地导入和处理海量的数据,并在这个基础上能极快地
进行用户所需数据统计和分析。在同样的硬件配置条件下,相对传统关系型数据库而言,DreamData 的
单机性能要高出 50 倍以上,并且随着节点数量的增加,整体性能会同步提升。

第 5 页 共 112 页
重要公共模块
基础数据结构 Array
Array 是程序中最常用到的当做数组的基础数据结构。可以方便的使用 array_create、array_add、
array_get 等接口对 Array 进行操作。一般较常见的接口都可以在 Array.h 中找到。
Array* array_create(long long init_size, int elem_size);
#define array_add(a, e)
/** faster version, but no safe check **/
#define array_get(array, long_long_index)
/** The Array Struct can not accessed directly by other modules, but put at the header file for array_add macro
**/
typedef struct Array{
long long used_size; //number of elements in this array
int elem_size; //element's size in bytes
long long allocated_size; //allocated size for this array
long long allocated_bytes_size; //allocated bytes for this array
char* data;
}Array;
内存访问数据结构 MemoryBlock
因为代码全是使用 C 语言编写,虽然代码执行和内存使用更为高效,但是开发效率可能因此降
低,为了更好的提高开发效率,在原始的内存上面用 MemoryBlock 数据结构进行了抽象。
typedef struct MemoryBlock{
char* memory; /** the beginning of memory block **/
int cursor; /** the cursor of memory block **/
int size; /** the allocation size of the memory block **/
剩余111页未读,继续阅读
资源评论


SlumberingPerson
- 粉丝: 3
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 《Rust系统编程:从入门到实战的蜕变之旅》,全面介绍 Rust 系统编程,从初印象、语法基础、内存安全、并发编程到 WebAssembly 应用开发
- 建设工程项目管理理论研究分析.docx
- 铁路通信铁塔安全监测系统总体技术方案.doc
- 上半信息完整项目管理师上午题解答与分析.doc
- 大数据背景下中学生统计思维培养探讨.docx
- 智慧工会在运用互联网开展工会工作的若干思考.docx
- PLC立体仓库控制系统设计方案【范文仅.doc
- java数据库课程设计方案图书馆管理系统.doc
- 微博数据采集,微博爬虫,微博网页解析,完整代码(主体内容+评论内容)
- 基于计算机技术下幼儿园财务管理信息系统的研究.docx
- 自动化外文文献翻译.doc
- 区块链技术下会计信息系统可靠性的实现路径及发展困境.docx
- 收集全部网络请求信息数据以利数据分析及网络优化
- 分布式系统的互操作性和语义挑战
- 如何使用自由功能块实现MM440三线制脉冲启停的方法
- 好看高考倒计时源码【html+js+css】
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制
