首页天道酬勤大规模分布式存储系统,开源

大规模分布式存储系统,开源

张世龙 05-12 14:26 69次浏览

Java技术堆栈

万维网. Java stack.cn

关注阅读更多优质文章

网易此次良心发现: 7月16日,网易公司旗下云服务公司网易数帆发布了一款名为Curve的开源高性能分布式存储系统。 根据官方称其性能可达 Ceph 的 1.84 倍。公式,Curve的定位是提供高性能、低延迟的存储基础,基于该存储基础,企业可以选择适合各种APP应用场景的存储系统,例如块

CURVE 的设计开发始终围绕三个理念:

第一,应对当前存储硬件设施的发展趋势,将软硬件结合起来构建顶级存储产品

二是要有“简单扫描硬件韩式互补”,在了解问题本质的基础上,选择最简单的解决方案来解决问题。

三是接受开源,在充分调研的前提下使用优秀的开源项目组件,避免制造车轮。

目前,网络基于CURVE实现高性能块存储系统,支持快照克隆和恢复,支持QEMU虚拟机和物理机NBD设备两种装载方式,并在网络内部实现高性能云

目前,网络易数帆已经实现了高性能块存储系统。 根据项目文档,Curve主要具有三个特性:高性能、高可用性和自律。

1、高性能Curve团队借鉴业界高效的开源存储系统,设计了实现高性能、低延迟核心能力的新体系结构。 采用brpc保证网络数据流的高性能和低延迟,基于braft实现副本一致的低延迟,进一步优化了braft的快照实现。

在磁盘IO中,Curve通过更细分的地址空间散列来减少IO冲突,提高IO并发性,采用chunkfilepool来减少IO倍率,最大限度地发挥硬件性能。

网络容易发布Curve和Ceph L版本测试数据的比较,在一卷场景中,核心4K随机读写的IOPS性能,Curve分别是Ceph的1.84倍和1.58倍,同时延迟分别与Ceph相比

图: Curve与Ceph性能测试比较

2、高可用性Curve旨在允许核心组件在不影响群集整体可用性的情况下失败某些实例。

在网络上,Curve客户端I/o不受单个存储故障或系统扩展的影响,没有常见的异常,如硬盘重新拔插、服务过程中断等,并且I/o抖动也很少。

当然,故障恢复过程对上层IO也没有很大影响。

3、自治Curve可以一键部署、一键升级,运维只需少量人工干预,基于bvar、Promethues和Grafana等开源项目

当前,基于Curve的高性能块存储系统在网络上有几个核心业务,支持快照克隆和恢复,同时支持QEMU虚拟机和物理机NBD设备的装载方式

据互联网介绍,系统上线400多天后,没有发生数据不匹配或数据丢失,也没有发生重大故障,具有相当的可靠性和成熟度。

据互联网报道,Curve目前还没有完成创新的性能优化工作,包括细粒度哈希、io_uring落盘方案等。 项目团队下一阶段的主要任务是解决这些问题,优化完成后,下一个版本有望提高30%的性能。

鉴于目前开源领域还没有足够的高性能、低延迟分布式存储系统,易数帆方面只为开源Curve,并将其回馈给社区,使行业能够一起使用,使Curve越来越好

开源地址:

https://github.com/open curve/curve

整理文章OSCHINA社区[ http://www.oschina.net ]

ww.oschina.net/news/117237/Netease-open source-curve 3359 www.oschina.net/p/curve 3358 www.Sina.com/com

1、Spring Cloud 2020版本的重大变革!

2、Spring Boot如何快速集成Redis?

3、Mybatis框架SQL注入攻击三种方式!

4、写全球变量bug,被同事们打了脸!

5、Java 14祭神器,Lombok被杀?

6、Java 14祭出强化版switch,真香!

7、Spring Boot 2.3优雅地关闭新姿势,真的很香!

8、Spring Boot杀了Maven拥抱Gradle!

9、公司来新同事,不用Lombok!

10、Tomcat又出现了高危漏洞! 8.5 ~ 10中出…

扫码关注公众号阅读更多干货。

点击“Java技术栈”,面试问题大全~

分布式存储的未来,分布式移动存储系统