当前位置:首页 > 天道酬勤 > 正文内容

分布式服务架构(java分布式架构)

张世龙2021年12月21日 07:26天道酬勤670

“以前区分核心数据和非核心数据。 现在所有的数据都很重要,不能失去所有的数据。 ’去年,武汉大型三甲医院信息中心主任接受笔者采访的观点仍然记忆犹新。

碰巧的是,在产业数字化和数字产业化的两轮驱动下,大量数据时代正在加速发展。 IDC 《数据时代2025》白皮书预计,到2025年,全球数据总量将达到175ZB,其中来自中国的数据量在未来5年平均增长30%,到2025年将成为全球最大的数据量地区。

庞大的数据时代到来,一方面为企业接受数字化、洞察市场规律、挖掘数据价值提供了充分的条件,另一方面,海量数据的存储、备份、恢复等也给传统的备份方式、产品带来了前所未有的挑战。 正如爱数公司认为的那样,数据大规模爆炸使数据的准备、存储和管理越来越成为行业的新常态,而基于分布式体系结构的备份系统是应对海量数据备份恢复挑战的绝佳剂。

为何绕不开一个“快”字

海量数据的生成,离不开外部政策的强大方向和企业数字化转型内部的强大推动力。

以中国市场为例,据《中国数字经济发展白皮书(2020)》报道,数字经济近年来成为经济发展的又一引擎,其GDP占有率逐年上升,在数字经济的推动下,各行业的数字化转型明显加快。 刚出炉的《十四五规划》报告强调了提高数字产业经济所占比例的核心目标,全面推进了数字中国的建设和数字经济的发展。

同样,海量数据的生成也离不开企业数字化转型的强大内部驱动力。 特别是随着数字化转型进入深水区,云计算、大数据、AI等数字化技术加速了业务场景的落地,极大地产生了丰富的数据。

那么,与过去相比,您如何理解当前庞大的数据规模?

用几个简单的数据来形象地说明。 例如,某中型科技企业的开发测试环境经常达到数万台虚拟机主机在交通、智慧城市等场景中,每年产生超过10PB规模数据量的银行和保险等金融机构拥有超亿个小文件

各行各业的用户明显感受到了数据量的爆炸性增长。 “面对大量数据,越来越多的用户无法准备好、无法保存、难以管理。 ”数一下AnyBackup产品副社长无声的故事吧。

具体来说,首先用户的数据总量呈指数级增长,完全备份几乎没有完成,即使用户仔细调整了庞大的备份任务时间表,也仍然有接触红色线的风险,其次是传统的备份架构有n个备份系统,支持n个备份客户端,使备份任务的管理变得非常复杂。 最后,随着数字化的发展,用户的生产数据增长很快,但由于预定的备份窗口没有发生变化,备份窗口的压力非常大。

“在传统的备份解决方案中,级联部署很常见。 目前,很难保护大量的数据。 ”他无言地表示:“解决之道是分布式体系结构,通过分布式体系结构的可扩展性、吞吐量和高可用性,快速成功地进行大量数据的备份恢复。”

分布式架构有何独特之处

通过在数据保护领域采用分布式体系结构,满足了大容量数据时代数据保护需求的变化。

分布式体系结构本身并不罕见,以前广泛应用于IT的各个领域。 那么,分布式体系结构APP应用程序在数据保护领域有何独特之处呢? 另外,如何应对可扩展性高、吞吐量高、数据量大的备份恢复挑战呢?

以AnyBackup Family 7分布式体系结构为例,它不仅具有可扩展性、吞吐量和可用性,还具有从客户端到底层备份介质的端到端优化

例如,在客户端,对于虚拟化、数据库、云平台等工作负载,爱数提供了自己的API,并结合了各种优化算法,实现了大量的备份性能提升此外,通过负载平衡,可以多任务分发和合理分配备份任务和备份容量,从而实现整体最佳性能。

“6节点集群的吞吐量测试报告显示,备份吞吐量达到36TB/h,恢复吞吐量达到20TB/h。 ”无言的表示,“爱数AnyBackup Family 7分布式体系结构今年在一个备份系统中最多支持32个节点,存储池容量超过10PB。 ”

此外,内存分离架构也是爱数AnyBackup Family 7分布式架构的一大中心特征。 计算隔离体系结构的一大优点是具有足够的灵活性。 随着用户规模的增长,对灵活性的要求也随之增加,并且经常需要满足业务和工作负载的需要

的需求来灵活扩展计算或者存储,如果采用计算与存储紧耦合的方式,计算与存储扩缩容则极为不方便,无法满足用户业务对于灵活性的需求。

以爱数AnyBackup Family 7分布式架构为例,在其存算分离架构之中,分布式计算主要负责海量任务并发和负载均衡,完成各种任务的调度、匹配与优化;而分布式存储则通过多通道的并发和数据负载均衡,将接受过来的数据写入到备份节点之中。

“存算分离架构,可以最大限度来提升备份与恢复的每个工作环节。”爱数AnyBackup研发副总裁自信的面包介绍道,“例如,分布式的SLA策略调度,针对保护任务、保护对象,采取不同的备份策略和周期。”

事实上,采用分布式架构的备份产品在实际业务场景中已经凸显出其优势。以某省政务云平台为例,其云主机的数据量已经达到1520TB,数据库的数据量则达到了1641TB,整个平台有数千个任务,并且依然保持着很高的增长速度,其每个备份域只需要部署一套备份系统即可完成日常的备份作业,所有39个节点通过一套运营管理产品就实现了全平台的管理,极大简化了日常管理工作。

从分布式架构带来哪些启示

哈佛大学管理学教授克里斯坦森在《创新者的窘境》中认为,创新关键不仅仅在于技术进步或者科学发现,更加关键的是在于对市场需求变迁的主动响应。

毫无疑问,海量数据时代,用户对于备份恢复的需求变化就是“快”,在时间窗口有限的情况下完成对于不断增长的海量数据的备份、管理与恢复。

这种趋势直接驱动着以爱数为代表的公司将分布式架构创新应用在备份产品之上,并且以全局的视角,以及着眼于备份恢复每一个环节的优化,来实现“快”这个目标。

面向未来,“快”始终是数据备份恢复的核心目标,分布式架构在数据保护领域的创新还会有巨大的空间,以真正实现海量数据的有备无患。

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/26167.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。