为什么没有以hbase作为存储引擎的关系型数据库实现

首页 / 常见问题 / 低代码开发 / 为什么没有以hbase作为存储引擎的关系型数据库实现
作者:低代码开发工具 发布时间:10-25 13:58 浏览量:4388
logo
织信企业级低代码开发平台
提供表单、流程、仪表盘、API等功能,非IT用户可通过设计表单来收集数据,设计流程来进行业务协作,使用仪表盘来进行数据分析与展示,IT用户可通过API集成第三方系统平台数据。
免费试用

SQL引擎都可以作为hbase的SQL层。但是作为关系型数据库,支持多表事务,的确基于hbase没有很好的解决方案。首先目前hbase的事务是针对单机region server单表行级事务,也就是客户端一次请求,将多笔记录作为一条日志针对一个region进行处理。

一、为什么没有以hbase作为存储引擎的关系型数据库实现

SQL引擎都可以作为hbase的SQL层。但是作为关系型数据库,支持多表事务,的确基于hbase没有很好的解决方案。首先目前hbase的事务是针对单机region server单表行级事务,也就是客户端一次请求,将多笔记录作为一条日志针对一个region进行处理。成功则写入memstore,失败则wal回滚,所以事务操作并不复杂,但是若要在一次事务中实现多表写入,多机region一致性协同,这在hbase设计之初并没有考虑。

因此,若按照目前hbase的设计,写入不同hregionserver,再写入不同region的memstore记录,包括各个wal的记录,必须保证一致性,这就是region分布式一致性的名列前茅难,必须要有集群一致性机制,例如paxos或者raft,可是hbase没有,只有一个简单的master解决region分片后的迁移平衡问题。必须要具备表表之间,列簇之间的ACID特性,hbase并没有设计此处,他的master和region server在这些问题上基本没有任何前期预留的分布式扩展机制。

其次每次事务必然会有多次查询请求,如果用tps代表事务吞吐,那么qps就代表了一次tps内可能涉及数百次的查询,我们可以忍受1秒1个事务操作,但是查询不行,每次查询必须能在毫秒内完成,甚至更短周期,那么这就存在优化问题了,如果查询是热点数据在memstore或者blockcache中,这还好说,但是在多个hfiile的磁盘中扫描这就慢了,例如:hbase的lsm-tree的删除和更新都只是一条新纪录的标识,这种用空间换取写入性能的设计,另外的副作用就是增加查询量,过期数据在查询中都扫描出来,由扫描器自己去过滤。那么为了解决查询问题,就必须加大内存和使用固态磁盘来解决查询速度,这就是第二难,实际上hbase类lsm树的查询机制复杂度远高于写入,而且提升基础资源成本改善性能并不具有普适性,这就是另一个问题了!

或许LevelDB,rocksdb,这些轻量级的kv的查询性能比起hbase会更适合事务单元内的高密度kv查询,但hbase还是倾向于大吞吐kv写入和热点数据查询用于支撑实时流处理过程的流库连接。因此我认为hbase要是考虑在未来支持分布式rdbms,必须得彻底升级master服务支撑region server的分布式一致性,并且实现跨表的ACID特性支持,最后就是region级别的读优化。

延伸阅读:

二、MongoDB是什么

非关系型数据库(nosql ),属于文档型数据库。MongoDB采用类JSON的documents来存储数据。数据结构由键值(key=>value)对组成。

MongoDB采用动态数据模型schema,这意味着不需要预先定义表的数据类型和字段名。当MongoDB需要更新文档documents的时候,可以轻松增加新的字段名或者删除旧的字段。MongoDB让数据结构更加层级化,因而存储数组等复杂数据结构。 在同一个集合collection中,文档document对字段也没有强约束,因此更容易设计差异化的数据结构。

最后建议,企业在引入信息化系统初期,切记要合理有效地运用好工具,这样一来不仅可以让公司业务高效地运行,还能最大程度保证团队目标的达成。同时还能大幅缩短系统开发和部署的时间成本。特别是有特定需求功能需要定制化的企业,可以采用我们公司自研的企业级低代码平台织信Informat。 织信平台基于数据模型优先的设计理念,提供大量标准化的组件,内置AI助手、组件设计器、自动化(图形化编程)、脚本、工作流引擎(BPMN2.0)、自定义API、表单设计器、权限、仪表盘等功能,能帮助企业构建高度复杂核心的数字化系统。如ERP、MES、CRM、PLM、SCM、WMS、项目管理、流程管理等多个应用场景,全面助力企业落地国产化/信息化/数字化转型战略目标。 版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们微信:Informat_5 处理,核实后本网站将在24小时内删除。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系邮箱:hopper@cornerstone365.cn 处理,核实后本网站将在24小时内删除。

最近更新

什么是外向潜在客户开发
10-30 10:47
产品开发过程的阶段有哪些
10-30 10:47
敏捷软件开发如何运作?
10-30 10:47
门禁系统开发厂家有哪些
10-30 10:47
销售系统开发平台有哪些
10-30 10:47
OSS系统开发商有哪些
10-30 10:47
云系统开发注意哪些方面
10-30 10:47
印度棋牌系统开发商有哪些
10-30 10:47
高压系统开发部是什么公司
10-30 10:47

立即开启你的数字化管理

用心为每一位用户提供专业的数字化解决方案及业务咨询

  • 深圳市基石协作科技有限公司
  • 地址:深圳市南山区科技中一路大族激光科技中心909室
  • 座机:400-185-5850
  • 手机:137-1379-6908
  • 邮箱:sales@cornerstone365.cn
  • 微信公众号二维码

© copyright 2019-2024. 织信INFORMAT 深圳市基石协作科技有限公司 版权所有 | 粤ICP备15078182号

前往Gitee仓库
微信公众号二维码
咨询织信数字化顾问获取最新资料
数字化咨询热线
400-185-5850
申请预约演示
立即与行业专家交流