首页天道酬勤高性能框架开源,开源网络库性能排名

高性能框架开源,开源网络库性能排名

张世龙 05-12 14:34 115次浏览

作者| csdds

头像| CSDN从东方集成电路下载

出品(id:csdn news )。

厂商“云”的后缀可能会让人错觉这些厂商都是竞争关系,网易云最近宣布,品牌已经全面升级为网易数帆。 当然,背后的真正原因,正如网易副总裁、网易杭州研究院执行院长兼网易数码帆总经理fdddt所说,毕竟此时,网易数码帆积累的基础软件能力,需要一次集中释放。

他表示,品牌升级后,网络易数帆下包含四个模块。 第一,云本机软件生产力平台网易轻舟; 第二,全链路数据生产力平台网易数量; 第三,多媒体智能开放平台网络易智; 第四,全维度质量性能平台便于网络测量,旨在将基础软件领域数字化,实现行业领先的提供商。

从四大产品线来看,易数帆提供了fdddt中反复提到的基础软件路线:开发工具、操作系统、数据库、中间件。 在四个模块下,网易都发布了很多新产品和服务能力。

首先,从网络易数帆新发布的产品来看当前能力的实力水平。

性能是开源分布式存储系统Curve和Ceph的1.84倍! 由于目前在开源领域没有足够的性能和低延迟分布式存储系统,fdddt开源推出了名为Curve的新一代高性能分布式存储系统。

目前,该项目在GitHub上是开源的,地址为opencurve.github.io

Curve的定位是提供高性能、低延迟的存储支架。 基于该存储支架,企业可以为各种APP应用程序场景(如块存储、对象存储和云本机数据库)构建合适的存储系统。 目前,网络易数帆已经实现了高性能块存储系统。

fdddt表明,Curve主要具有高性能、高可用性、自主三个设计特点。

他承认,虽然Curve未必优于目前所有的商用存储系统,但这个市场确实需要开源操作系统。 到目前为止,大家使用的基本都是Ceph,包括网络易数帆的初期,因为没有自己优秀的存储系统,所以使用了很多Ceph。 但是在使用Ceph的过程中,他们发现这个系统存在一些核心问题。

一是Ceph的I/o处理路径长,性能和延迟不太理想。 对于写入操作,Ceph要求复制组中的所有节点返回成功请求。 Curve可以通过大多数节点返回成功来返回I/o成功,相对而言,Curve可以减少写请求延迟并提高性能。 同时,Curve在磁盘IO中,通过粒度更细的地址空间混列来减少IO冲突,提高IO并发性,采用chunkfilepool来减少IO倍率,最大限度地发挥硬件的性能。

第二,Ceph存储系统没有单独的存储元数据管理,Curve有。 这也是两者在体系结构上的最大区别。 基于这种不同的设计,造成了这两个系统的不同。 另一方面,Ceph的可用性差是因为没有单独的元数据管理。 很明显,如果存储群集中的某些节点发生故障,数据将进行大规模迁移,并影响整个群集的性能和吞吐量。 相反,在这种方法中,无论是处理故障还是扩展系统,Ceph都会因大数据迁移而增加系统的运输成本。 因此,Curve核心体系结构的一个关键点是有独立的元数据管理来解决系统可用性、可运输性等问题。 此外,针对性能问题,Curve还采用brpc来保证网络数据流的高性能和低延迟,并基于braft实现多副本一致性低延迟,进一步实现braft的快照实现

比较Curve版本和Ceph L版本的测试数据可知,在单卷场景中,核心的4K随机读写的IOPS性能,Curve分别是Ceph的1.84倍和1.58倍,同时延迟分别是Ceph的1.84倍和1.58倍

图:对比Curve和Ceph性能测试,他在接受采访时表示,Curve还没有完成细粒度散列、io_uring掉话等创新的性能优化工作,优化完成后,在下一个版本中这意味着,Curve一个卷的性能是Ceph的两倍多。

在高可用性方面,Curve旨在使核心组件能够容忍某些实例失败,而不影响整个群集的可用性。 fdddt表示,Curve客户端I/o不受单个存储故障和系统扩展的影响,没有常见异常,如硬盘重新拔插和服务流程中断,I/o抖动也很少。 当然,故障恢复过程对上层IO也没有很大影响。

另外,在自治方面,Curve实现了一键部署、一键升级,运维在人工干预较少的情况下,基于bvar、Promethues、Grafana等开源技术构建了全面的衡量标准和预警体系。

基于Curve的高性能块存储系统适用于网络上的几个核心业务,支持快照克隆和恢复,同时支持QEMU虚拟机和物理机NBD设备的装载方式

构建六大云原生产品、云原生生态云原生方面,易数帆旗下的网易轻舟还由轻舟微服务和新发布的轻舟中间件、轻舟混合云和轻舟低码等四大产品体系组成

此外,互联网还推出了云的原生操作系统产品。 云操作系统制造商之间未来竞争的重点被认为是竞争生态建设能力。 网易此次推出的云本地操作系统超市产品,对网易构建自身生态能力具有重要意义。

fdddt认为,操作系统是超级产品,如果在这一领域取得成功,将是一个产品

个巨大的市场,比如微软、Google,就是都是靠操作系统获得巨大成功。但是要想成功,一定要有好的生态布局。操作系统生态布局包括两方面,一是应用,二是中间件。也就是说,打造操作系统生态,不仅需要最底层的基础设施生态强,上面的中间件和应用生态也需要很强。经过沉淀,网易数帆在基础设施处和应用层都构建了比较好的生态。

比如此次网易数帆推出的Curve存储系统,实际上与实现云原生操作系统是紧密相关的。因为云原生操作系统的概念主要是计算资源的统一调度,为了实现计算资源的统一调度,所有的应用软件、中间件,包括数据库等,都应该做到计算和存储分离,这就需要有一个高性能的存储系统来支撑,使得计算存储分离了之后还能保持高性能。所以,网易推出Curve这个开源的高性能分布式存储系统,对于网易数帆云原生操作系统,也是一个非常关键的步骤。

云原生将从软件研发、DevOps、微服务,逐步走向操作系统、中间件

fdddt认为,云原生是构建生态最好的基点之一,云原生是社区推进的一条技术路线,要创造好的生态,至少目前,网易一定要围绕云原生的这套生态去做。而网易数帆今后将要的坚持、完善的三个主要方向,其中之一就是云原生方向。

在他看来,云原生具有强大的生产力,这个方向不单是在软件定义组织的解决方案里提供能力,同时也在软件定义基础设施层面提供核心能力,因此,云原生在网易数帆解决方案中处于最核心的地位。同时,fdddt表示,基于其现在的技术环境,现在最好的选择是CNCF这样的云原生开源和开放社区,围绕云原生技术栈,不断地提升和迭代能力。

fdddt认为,从本质上来讲,云原生聚焦于基础软件层面,其实与具体行业和具体业务问题不直接相关,所以还是比较适合在软件技术层面或软件工程层面做。对于所有企业来说,诉求无非是效率、成本和质量三个方面,那么,能够在这个范畴内提高研发效率,可快速迭代是所有企业的追求。云原生体系里,微服务架构能够支持软件研发的效能、质量,云原生操作系统则能够控制成本。

谈到云原生将来会向哪些趋势发展,fdddt指出,云原生技术早期主要是围绕Netflix提出的云原生应用十二要素,关注的是应用层面的架构问题,包括微服务、DevOps技术,以及下一代的微服务——服务网格(Service Mesh)等,这些是云原生技术过去的主要关注点。

而在当下,我们可以发现,其实大部分企业还未真正地把主要的业务放到云原生架构下,因此很多企业还没遇到基础设施层面的痛点。等到大家把业务都放到云原生架构中,这时就会遇到很多基础层次的问题,很多就是云原生操作系统要解决的问题,比如如何统一管理多任务、降低成本等。云原生操作系统就是一个符合云原生社区愿景的发展方向,当一家企业把所有业务云原生化就会发现云操作系统这个概念的价值。

“但从企业的角度看,他们考虑的是云原生体系能够立竿见影地提高迭代速度。所以,云原生的第一步是拓展云原生价值,之后是考虑降低成本、提高弹性等问题。因此,云原生的趋势,将从软件研发、DevOps、微服务,逐步走到云原生操作系统、云原生中间件范畴,”fdddt预测道。

fdddt:会再为基础软件贡献19年!

fdddt这位自毕业之后就加入网易的“老炮儿”,在分享中反复提到了基础软件这个话题,他认为,中国当前在基础软件方面还比较薄弱。中国基础软件发展的一个关键点是2003年,一个关键事件是工信部设立核高基专项,其中的“基”表示支持国内厂商开发国产数据库、国产中间件等基础软件产品。在北京闭关了9个月,fdddt参与开发了“神舟OSCAR”这款国产数据库,从那天起,他便与基础软件结下了不解之缘。

现在,fdddt已经是网易杭州研究院执行院长,全面负责网易集团基础设施/云原生/中间件/大数据/人工智能/信息安全/中台等核心技术平台建设、项目管理/用户体验与设计/运维保障/质量保障/创新服务等创新平台建设和网易数帆政企业务。在他简洁明了的简介中,可以看到从2003年到现在,他已做了17年的基础软件研发。

在他看来,国产基础软件现在发展到了什么阶段?他说到,比如数据库领域,中国也有几家典型的数据库厂商,但他们和网易提供的数据库有一定的差异性,网易主要是提供云原生的数据库,面向互联网场景,而那些厂商因为历史比较长,做的是类似于Oracle这样的数据库。其实,中国目前并没有在基础软件方面做得很大的公司,这与一直以来,中国在技术软件上长期都是以国外厂商为主有关,比如依赖Oracle提供的数据库,IBM的中间件、SAP的ERP。他认为,接下来的3年~5年可能是国产基础软件厂商发展的好时期,网易集团今年也非常重视企业市场,成立了一个全新的事业部叫数字产业事业部。

在2019年的一篇文章中,fdddt曾经回忆了自己人生中的几次不后悔的重要抉择,其中就包括2006年从浙江大学计算机专业毕业时,靠着lmdwt给杭州研究院画的一张“大饼”,毅然加入网易这个允许他折腾新东西的地方。在这里,fdddt和他的团队为中国的基础软件已经奋斗了14年,未来,他表示希望还要再为中国基础软件奋斗19年,做到60岁!可以说,这句话是饱含着希望的,我们也期待着,19年后的中国基础软件领域,将会呈现出另一番风貌。

开源分布式存储系统,分布式存储ipfs