
大数据
文章平均质量分 61
偶数科技
⌈北京偶数科技有限公司⌋ 是一家领先的云数据库和 AI 产品提供商,致力于赋能全球各行业客户。我们的愿景和使命是 “让人类只为兴趣而工作”。公司核心产品偶数数据云 Oushu Data Cloud 由新一代极速云数据库 OushuDB 、自动化机器学习平台 LittleBoy 以及数据管理平台 Lava 组成,已在金融、电信、制造、公安、能源和互联网等行业得到广泛的部署和应用。
目前,偶数已经获得世界顶级投资机构红杉中国、腾讯、红点中国与金山云的四轮投资。偶数科技是微软加速器和腾讯加速器成员企业,并入选福布斯中国企业科技 50 强以及美国著名商业杂志《快公司》中国最佳创新公司 50 强。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
《ANCHOR:区分 “湖仓一体” 和 “湖仓分体” 的锚》
一、从数据仓库说起1990 年,数据仓库之父比尔·恩门 (Bill Inmon) 率先提出了数据仓库的概念,其专著《建立数据仓库》指出数据仓库为分析决策服务,是一个面向主题的、集成的、非易失的且随时间变化的数据集合。2000 年开始,数据仓库在国内得到了广泛的推广,电信和银行业最早建立起数据仓库。比尔·恩门 (Bill Inmon)业务增长源源不断的产生数据,这些数据存储在业务数据库中,也就是我们常说的 OLTP 数据库。当积压的历史数据越来越多,对业务数据库产生负载,导致业务系统运行速度降低;同时,在日益原创 2022-08-03 15:00:37 · 1341 阅读 · 0 评论 -
经济下行基建托底,偶数湖仓一体打造坚实新基建数字底座
经济低迷,基建托底其实是各国政府的常规操作,最成功的案例发生在100年前的美国,那时候美国股市低迷,失业严重,大家没钱消费,工厂的东西也卖不出去,当时的美国总统罗斯福也启动了大基建,由国家财政出钱招募工人,修建公路、桥梁、医院、学校,大基建的刺激把美国从大萧条的泥潭中带了出来,1933年美国GDP一年增速就高达10.8%,美国也因此修出了当时世界上最好的公路系统,之所以说美国这次基建托底是成功的,不光是因为美国通过大基建拉动了萧条时的美国经济,更成功的是大基建之后美国经济完成了转型。...原创 2022-08-03 14:55:50 · 181 阅读 · 0 评论 -
人柱力和佩恩六道,谁才是湖仓一体的终极形态?
湖仓一体架构下的湖和仓是原生一体的,物理层面部署在同一集群,共享同一份数据,没有数据冗余。很多小伙伴一直搞不懂什么是湖仓一体,查阅很多资料得到的都是基于不同厂商的产品和方案介绍,而非清晰的概念与行业共识,所以笔者特别策划了一篇湖仓一体的比较分析,通过《火影忍者》中两个重要角色的类比帮你瞬间搞懂湖仓一体。湖仓分体方案基本上是以湖、仓和其他组件构成,逻辑上为用户提供统一的数据管理,但物理层面湖和仓仍然是分离的,同一份数据在多个集群冗余存储,导致分体模式下的湖和仓各自形成数据孤岛。...原创 2022-08-03 14:54:47 · 551 阅读 · 0 评论 -
OushuDB 数据库基本用法(中)
1、概述一个OushuDB集群管理着多个数据库(database),每个数据库又包含多个模式(schema), 一个模式包含多个对象(表,视图,函数等),所以这些对象之间的层级结构为:database -> schema -> (tables, functions, views)每个模式,表,视图,函数等只属于一个database。本章主要介绍每一种对象的常见用法。具体使用语法可以参见参考手册。2、数据库OushuDB在初始化完成后,会默认生成三个数据库,可以使.原创 2021-11-22 10:52:52 · 601 阅读 · 0 评论 -
OushuDB 数据库基本用法 (上)
1、启动/停止OushuDB启动OushuDB有两种方式,一种是通过”hawq start cluster”命令来启动整个集群,包括master和segment。启动哪些segment是由”/hawq-install-path/etc/slaves”中包含的节点确定的。source /usr/local/hawq/greenplum_path.sh # 设置OushuDB环境变量hawq start cluster # 启动整个OushuDB集群另外一种方式是分别启动OushuDB...原创 2021-11-22 10:50:48 · 1106 阅读 · 0 评论 -
OushuDB 体系架构
1、事务管理事务是数据管理系统一个非常重要的属性。大部分Hadoop里面的SQL引擎不支持事务。让程序员自己保证事务和数据的一致性是非常困难的事。 OushuDB支持事务的所有ACID属性,支持Snapshot Isolation。事务发生由Master节点协调和控制。采用的是泳道模型。并发插入时每个并发会使用各自的泳道,互不冲突。在事务提交的时候通过记录文件逻辑长度的方式来保证一致性。如果事务失败的时候,需要回滚,删除文件末尾的垃圾数据。起初HDFS是不支持truncate的,现在HDFS刚支持的tr原创 2021-11-22 10:46:52 · 1536 阅读 · 0 评论 -
OushuDB 体系架构概览
图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离,可以独立扩容。在图中有多个OushuDB Master节点。元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segment实现OushuDB的计算。OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。在这个架构下,节点可以动态的加入集群,并原创 2021-11-19 16:08:58 · 1955 阅读 · 0 评论 -
OushuDB 的主要功能
极速执行器: 高效的执行器,比传统数仓/MPP快5-10倍,比Hadoop SQL引擎要快5-30倍。公有云和私有云部署:支持亚马逊和阿里云等公有云平台,同时可以支持主流PaaS云平台(比如Kubernetes等)和Docker部署。对标准的完善支持:ANSI SQL标准,OLAP扩展,标准JDBC/ODBC,比Hadoop SQL引擎都要完善。具有非常成熟的并行优化器。优化器是并行SQL引擎的重要组成部分,对性能影响很大,尤其是对复杂查询。支持ACID事务特性:这是很多现有基于H...原创 2021-11-18 16:17:33 · 1637 阅读 · 0 评论 -
Oushu Database和Apache HAWQ的不同
全新执行引擎,充分利用硬件的所有特性,比Apache HAWQ性能高出5-10倍 支持Update和Delete,以及索引 C++可插拔外部存储 替换JAVA PXF,性能高数倍,无需安装部署PXF额外组件,极大简化了用户安装部署和运维 原生支持CSV/TEXT外部存储 可以用于不同集群之间共享数据,比如数据仓库和集市之间共享及传输数据 可以用于高速数据加载和数据导出 可以实现高速备份和恢复 可以实现可插拔文件系统:比如S3, Ceph等 可以实现可插拔文件格式:比如...原创 2021-11-18 16:16:06 · 175 阅读 · 0 评论 -
【OushuDB】Oushu Database和Apache HAWQ的不同
全新执行引擎,充分利用硬件的所有特性,比Apache HAWQ性能高出5-10倍 支持Update和Delete,以及索引 C++可插拔外部存储 替换JAVA PXF,性能高数倍,无需安装部署PXF额外组件,极大简化了用户安装部署和运维 原生支持CSV/TEXT外部存储 可以用于不同集群之间共享数据,比如数据仓库和集市之间共享及传输数据 可以用于高速数据加载和数据导出 可以实现高速备份和恢复 可以实现可插拔文件系统:比如S3, Ceph等 可以实现可插拔文件格式:比如...原创 2021-11-18 16:14:11 · 608 阅读 · 0 评论 -
【OushuDB】Oushu Database 简介
Oushu Database(简称OushuDB)是由Apache HAWQ创始团队打造的新一代云原生数据仓库,该产品采用了存储与计算分离技术架构,具有MPP的所有优点,还具有弹性,支持混合工作负载和高扩展性等优点。 同时支持公有云与私有云。高可扩展,遵循ANSI-SQL标准,具有极速执行器,提供PB级数据交互式查询能力。并且提供对主要BI工具的描述性分析支持和高级机器学习功能。兼容Oracle,GPDB和PostgreSQL,可以轻松取代传统数据仓库包括Teradata,Oracle,DB2,Gr...原创 2021-11-18 15:05:45 · 640 阅读 · 0 评论 -
Pingwest 采访偶数科技:数据需求升级,中国的 Snowflake 答案
(英文原文发表在Pingwest,原标题:China's answer to Snowflake is shaping as data demands upgrade,Pingwest 一直在寻找对标 Snowflake 的国内云数仓赛道黑马,偶数科技脱颖而出成为最佳访谈对象)去年,云数仓公司 Snowflake 在纽约证券交易所首次亮相,并在第一个交易日市值翻倍,令华尔街大为震惊。Snowflake 得到了沃伦巴菲特的伯克希尔哈撒韦公司在资本市场上的背书,使云数据仓库这一基础服务成为人们关注...原创 2021-09-22 10:01:14 · 611 阅读 · 0 评论 -
偶数科技与思迈特软件达成产品兼容性互认证
近日,北京偶数科技有限公司和思迈特有限公司针对双方产品的功能、性能和兼容性共同进行了严格测试,偶数「新一代云原生数据仓库OushuDB」与「思迈特商业智能与数据分析软件 Smartbi 系列产品」共同稳定运行,安全可靠,性能卓越,完全兼容。偶数数据云由新一代云原生数据仓库OushuDB、自动化机器学习平台 LittleBoy、数据管理平台Lava 组成,目前已在金融、互联网、政府、电信等行业的数百家头部企业得到广泛应用。广州思迈特软件有限公司自主研发的思迈特商业智能与数据分析软件 Sm...原创 2021-09-13 10:27:57 · 398 阅读 · 0 评论