两层池化+数存融合,MogDB Cube数据库一体机破解核心业务性能与可靠性难题

2025-06-04 12:06:45 围观 : 91 次 0 评论

5月23-24日,鲲鹏昇腾开发者大会2025(KADC 2025)在北京中关村国际创新中心成功举办。云和恩墨研发架构师罗海雄在“openGauss一体机解决方案及行业实践分论坛”做了题为《基于鲲鹏的MogDB Cube数据库一体机的架构和内核优化》的专题演讲。

作为一款面向核心业务场景的全栈国产化数据库解决方案,MogDB Cube通过内存池化、存储池化与数存融合等技术创新,在性能、可靠性和成本效率上实现了多重突破。罗海雄就此展开分享。

01.

数据库架构选型

从传统模式到创新架构的演进脉络

演讲中,罗海雄首先对三种主流数据库架构进行了对比分析。主备架构通过数据库日志复制实现高可用,典型场景下RTO小于30秒,单机性能能够满足大部分业务的性能需求,是Oracle、DB2、MySQL等经典数据库采用的成熟方案,适用于业务状态相对稳定的场景,但横向扩展能力存在局限性。

Share-nothing分布式架构将数据按分片划分,节点资源相互独立,可实现读写负载的水平扩展,满足大规模业务场景的性能需求,RTO同样控制在30秒以内,且仅部分业务可能受影响。不过该架构需要牺牲部分单机数据库功能,业务系统需进行改造以设置合理的分片键,适用于业务变化较快的敏态场景。

Share-storage资源池化架构则通过多节点集群实现更高的可用性,典型场景下RTO小于10秒。同时,采用共享存储方式提供多写多读或一写多读能力,能完全继承单机数据库的功能,适用于对高可用性敏感的核心业务场景。罗海雄强调,Share-storage架构在可靠性、性能、成本和运维等方面的综合优势,使其更适合国产数据库的平替需求。

02.

MogDB Cube核心架构

两层池化与数存融合的技术创新

罗海雄表示,MogDB Cube数据库一体机的架构创新主要体现在内存池化存储池化数存融合三个方面。内存池化方面,该架构通过将不同节点的Shared Buffer整合为分布式全局缓存Cache Fabric,并运用分布式锁技术解决页面和锁资源的一致性访问问题。这一设计使得数据库主备节点间无需复制xlog日志,而是通过RDMA直接从主节点获取页面资源,避免了主备节点间的日志GAP,即便在50万tpmC的高压力下,仍能保证RTO小于10秒。同时,备机具备实时强一致读能力,支持对数据一致性要求高的业务负载从单个节点透明扩展到多个节点。

存储池化架构实现了高性能的共享存储,单节点可达到50万IOPS@0.8ms的性能表现,同时还提供了更大的单卷IO能力,计算和存储可独立按需扩容,在典型的一主两备组网中,能避免两层冗余复制,降低50%的存储成本,同时计算节点横向扩展时无需全量构建数据,提升了扩容效率。

数存融合方面,MogDB Cube采用云和恩墨自研的数据库专用存储zStorage,通过线程绑核避免操作系统调度线程的开销,利用NUMA Aware减少内存访问锁冲突,同时借助RAFT多数派机制在保证数据可靠性的同时降低时延,并对高速协议(如NVMe-oF协议、RDMA网络、NVMe SSD)进行优化。其段页式存储结构支持8KB原子写,去除了数据库双写代价,高优先级处理日志IO以优化事务提交性能。

03.

内核优化

性能与可靠性的双重提升路径

除了架构上的创新,MogDB Cube还对数据库内核中的In-place Update存储引擎进行大幅优化。该引擎将最新版本和历史版本分离存储,Heap数据均可原位更新,ROWID保持不变。同时历史版本可批量回收,有效控制了表空间膨胀。特别是存在长事务的情况下,频繁增删改导致的表膨胀程度显著低于其他方案,存储效率在openGauss社区版的基础上提升5倍。同时,通过PCR方案优化Scan性能,在热点行更新场景下性能提升40%,长事务下的热点行更新场景性能提升7倍以上。

在可靠性设计方面,MogDB Cube采用多重心跳检测机制,包括网络心跳磁盘心跳,能够快速检测故障;并且,通过内存池化技术,故障切换时仅需回放少量日志,确保RTO小于10秒;所有硬盘参与数据重构,每TB重构时间只需15分钟;具备实时数据校验功能,端到端保证数据正确性,实现IO级高可靠。针对OLTP场景,MogDB Cube在50万tpmC压力下仍能达成RTO<10s的目标

针对OLAP场景,MogDB Cube通过读写分离和将只读业务自动负载均衡到多个备节点,低冲突场景可以达到70%的线性度,满足大容量混合负载的性能需求。在一主两备架构下,多机并行查询可使TPC-H总性能提升150%。

04.

国产化实践

简化运维与自主可控的双重价值

演讲的最后罗海雄介绍道,某客户在国产化实践中,采用了全栈自主创新的双集群容灾方案——生产中心和灾备中心各部署一套MogDB Cube,承载两套核心业务系统,实现同机房主备高可用,生产中心与灾备中心通过xlog日志同步复制确保容灾等级要求。该方案采用全栈国产化基础设施,打造了安全、高效、稳定的资源池,有效减少了建设成本和运维投入,为企业提供了全面自主可控、安全可靠的信息技术生产力工具,助力企业实现全栈技术创新,加速数字化转型。

罗海雄指出,MogDB Cube凭借“两层池化+数存融合”的先进架构、全栈鲲鹏的技术栈、“开箱即用”的一体化交付模式,为金融、电信等对RTO敏感的核心业务场景提供了高性能、高可靠、简单易用的数据库解决方案,助力更多行业在数据驱动的时代浪潮中实现技术突围与业务价值跃升。

图片


数据驱动,成就未来,云和恩墨,不负所托!


云和恩墨创立于2011年,是业界领先的“智能的数据技术提供商”公司以“数据驱动,成就未来”为使命,致力于将创新的数据技术产品和解决方案带给全球的企业和组织,帮助客户构建安全、高效、敏捷且经济的数据环境,持续增强客户在数据洞察和决策上的竞争优势,实现数据驱动的业务创新和升级发展。

自成立以来,云和恩墨专注于数据技术领域,根据不断变化的市场需求,创新研发了系列软件产品,涵盖数据库、数据库存储、数据库管理和数据智能等领域。这些产品已经在集团型、大中型、高成长型客户以及行业云场景中得到广泛应用,证明了我们的技术和商业竞争力,展现了公司在数据技术端到端解决方案方面的优势。

图片

相关文章

  • 技术 | 当背包侠邂逅3D高斯,数字孪生迎来“瞬时”革命
    技术 | 当背包侠邂逅3D高斯,数字孪生迎来“瞬时”革命

    在数字化的浪潮中,我们渴望在数字虚拟的世界中复刻出现实的每一个细节。然而,对于仓库、地下工事、码头等结构复杂且无GNSS信号的“信息孤岛”,传统的三维重建技术往往面临效率低下、模型笨重、真实感不足的困境。其生成的数字孪生模型,常常只是空有点...

    2025-07-28 13:01:06 立得空间
  • 携手越南BW Industrial集团,共建高标准TPO屋面系统
    携手越南BW Industrial集团,共建高标准TPO屋面系统

    近年来,东方雨虹以产业基础、科创平台、资源优势及实践探索经验为支撑,积极抢抓国际发展新机遇、探索全球发展新路径、加速全球化布局,陆续在美国、加拿大、马来西亚、越南、菲律宾等多国开设海外分公司及办事处,为夯实海外发展基础、拓展海外发展空间奠定...

    2025-07-28 11:09:19 东方雨虹
  • SNEC2025开展首日| 利珀科技在2.1H-D110展位等你
    SNEC2025开展首日| 利珀科技在2.1H-D110展位等你

    6月11日,SNEC第十八届国际太阳能光伏与智慧能源(上海)大会暨展览会在上海盛大开幕,利珀科技携光伏电池端通用解决方案,BC电池与组件端视觉解决方案亮相。利珀展位 2.1H-D110 leapers合影展会现场,利珀科技的技术团...

    2025-07-27 21:02:52 新能源杭州利珀科技
  • 用友BIP:打造企业数智化的战略级“操作系统”
    用友BIP:打造企业数智化的战略级“操作系统”

    来源:新华网客户端yonyou在新一代信息技术持续突破、人工智能加速应用落地、产业体系深度重构的时代背景下,软件已从传统的“辅助工具”跃升为“新型生产力”。国家持续推进《“十四五”数字经济发展规划》《数字中国建设整体布局规划》等顶层设计落地...

    2025-07-23 10:31:02 用友
  • 捷昌驱动:以科技重构适老化生活,赋能银发经济新未来
    捷昌驱动:以科技重构适老化生活,赋能银发经济新未来

    在人口老龄化趋势加速的当下,如何让老年群体享有更有尊严、更具品质的生活,已成为社会发展的重要命题。2025年6月11日至13日,上海国际养老、辅具及康复医疗博览会(AID)上,线性驱动领域领军企业捷昌驱动(展位号:W5F32)以"从零部件供...

    2025-07-22 22:16:10 捷昌驱动
  • 数智服务·智慧运营——用友四川用户企业报表赋能培训圆满结束!
    数智服务·智慧运营——用友四川用户企业报表赋能培训圆满结束!

    yonyou为助力客户企业加速财务数字化转型,深化数智应用能力,用友网络科技股份有限公司四川分公司于6月13日在蓉成功举办“数智服务·智慧运营——四川用户系统操作与价值提升培训会”。本次培训聚焦企业报表核心场景,通过系统化赋能,助力客户高效...

    2025-07-22 11:48:19 软件用友四川
  • 正式介绍美团闪购,欢迎10亿消费者来购物!
    正式介绍美团闪购,欢迎10亿消费者来购物!

    正式向大家介绍新一代购物平台——美团闪购!我们把“等快递”升级为“30分钟送达”海量商品,吃的用的,应有尽有24小时随时随地陪伴大家更有每日神价,就是便宜就是快为大家打造下一代购物体验诚邀全国10亿消费者,随时来美团闪购逛逛我们特地准备了开...

    2025-07-20 18:16:00 美团Meituan
  • 数智焕新进行时,用友BIP助力企业跨越周期、迈向高质量发展
    数智焕新进行时,用友BIP助力企业跨越周期、迈向高质量发展

    用友BIP全球经济波动加剧、技术迭代加速,当关税战如迷雾般笼罩全球贸易航道、AI 大模型开始重塑整个行业生态,全球范围内的企业都面临着关税壁垒、政策合规、AI技术落地难以及全球化运营复杂性等多重挑战。加速推进数智化转型成为企业突破困境、实现...

    2025-07-19 15:46:37 用友
  • 国际权威认证!凌云光通过CMMI四级评估
    国际权威认证!凌云光通过CMMI四级评估

    近期,凌云光成功通过国际公认最权威的软件研发管理体系认证——CMMI(软件能力成熟度模型集成)DEV四级评估,这标志着公司在软件研发过程管理能力、项目交付质量等方面持续进阶,目前已具备高成熟度的量化管理能力,将为客户提供更高确定性的交付保障...

    2025-07-19 07:17:55 软件凌云光技术
  • 北京市科委报道双鹤创新平台:AI驱动药物研发全链条  塑造医药创新“国家队”新范式
    北京市科委报道双鹤创新平台:AI驱动药物研发全链条 塑造医药创新“国家队”新范式

          在创新药物研发领域,面对漫长的周期、高昂的成本以及巨大的风险,北京双鹤润创科技有限公司(以下简称“双鹤润创”),作为华润双鹤旗下的科技创新平台,提出了一种创新的解决方案。该平台以“人工智能...

    2025-07-18 21:33:57 药品华润双鹤药业
发表评论