首页 > 科技 >

数据库新兵:分布式实时分析内存数据库eSight

2018-12-18 12:02:28 网络整理 阅读:122 评论:0

【IT168 评论】近几年,中国数据库的发展迎来了一波小..,不仅传统数据库厂商在投入力量,以技术为驱动的互联网企业也在积极投入。在第七届TOP100全球软件案例研究峰会上,笔者发现了一个新面孔——来自饿了么的分布式实时分析内存数据库eSight。

数据库新兵:分布式实时分析内存数据库eSight

陈永庭 ,饿了么高级架构师。10+年软件研发经验,曾先后就职于WebEx、Cisco、腾讯公司,现就职于饿了么,先后负责饿了么多活架构方案设计、DRC中间件研发、eSight分布式数据库研发、IDC容量评估和服务容量弹性伸缩工作。在高吞吐、高可靠..架构、海量数据存储等方面具备丰富的经验。

项目背景

一般来说,一个新产品的诞生必定伴随着业务或技术的瓶颈,eSight的诞生也不例外。以一个很小的场景为例,假设一个外卖..在通常情况下日订单是超过一千万,但是某一天突然订单数量下降了。那么,老板就一定会去问产品人员、运营人员或者是数据分析师,“为什么会订单下降了?”但是在这样的数据级别下,员工很难快速实时的对数据做出诊断,并定位到出现问题的原因。

面对这样的场景,饿了么也很困惑。之前,饿了么内部有一个专门的大数据部门负责这一场景,但是实时性远远达不到要求,很多数据需要T+1的时间或者几个小时的延迟时间才能看到结果,往往会失去最佳的处理时间。

为了弥补当前大数据..不能满足实时数据分析的场景,陈永庭及其团队在2017年8月份开始调研新技术,调研过程中发现Facebook有三大典型的大数据存储分析场景,分别为ODS、Scuba和Hive,其中Scuba paper很具有参考意义,eSight也正是站在Scuba paper的肩膀上诞生的。

据陈永庭介绍,eSight的研发团队大概是三到四个人,从调研到Beta版本上线只花了5个月时间。

架构设计与功能特点

数据库新兵:分布式实时分析内存数据库eSight

eSight的架构设计如上图所示, 支持MySQL command和HTTP query,其中所有计算节点都聚合成aggregator tree并行计算,存储节点可在单个服务器或并行计算中同时启动N个节点,且存储节点也可以支持少量的计算,单机支持超过百万的TPS。

相关文章