首页 > 科技 >

数据库新兵:分布式实时分析内存数据库eSight(2)

2018-12-18 12:02:28 网络整理 阅读:122 评论:0

eSight的关键设计和亮点功能主要集中在以下几个方面:面向列的设计、极致的查询响应、并行计算、矢量化查询处理、数据编码与数据压缩、cross IDC、数据持久化、数据恢复与数据副本以及SQL查询。除此之外,eSight还弱化了以下功能,limited update、limited data availability和limited data replicas,完全摒弃了transaction、able join、delete和advanced standard SQL query功能。

性能测试

立项之初,饿了么在国内并没有找到非常匹配自己使用场景的、已公开的技术产品,但是产品上线之后,饿了么发现了俄罗斯最大的搜索公司发布过一款类似产品——ClickHouse。

ClickHouse和eSight虽然功能类似,但是在架构设计和部署方式等方面有所不同,所以为了更详细的对比两款产品,饿了么做了性能测试。其中,ClickHouse的性能数据来自官方公开的数据,所以测试结果只做参考。

数据库新兵:分布式实时分析内存数据库eSight(2)

与其它PB级产品不同,eSight和ClickHouse适用的场景不需要存储这么多的数据,但是性能要求很高,可能要是类似于Hive这样产品的好几个数量级。从上图来看,我们可以发现eSight和ClickHouse的性能总体是在一个数量级上的,但是各自都有擅长的领域。

在首次查询,eSight的性能明显要更好,因为eSight是纯内存的,而ClickHouse首次查询会涉及到磁盘数据的读写;在某些特殊场景下,尤其是数据量级别特别小(百万级别)的时候,ClickHouse因为做了极致的内存优化,性能表现极其突出,而eSight因为是分布式的设计,测试环境又是多机房,所以百万级数据量和亿级数据量,性能差距不大。

相关文章