当前位置:首页 > 天道酬勤 > 正文内容

成本优化的目的是什么(工程成本优化方案)

张世龙2021年12月22日 02:23天道酬勤720

【文章概要】

百度将Feed-Cube的中心工作场景迁移到了用自豪的数据中心可持续内存构建的新内存平台上。 确保即使在高并发数据流的业务场景中也能保持性能优势,同时大幅降低成本

讯云Redis云数据库是一个拥有引以为豪的数据中心级永久内存的平台,单实例内存容量是只拥有DRAM内存的平台的1.34倍,单实例内存容量/TCO倍

我们已经进入了大数据的时代,虽然关系到数据的存储和访问的性能和成本,但是数据的大小更多的是关注,而不是数据存储在哪里。

为了支持国民的社会、娱乐需求和企业的数字化基础设施,腾讯拥有100万台以上的服务器,大部分运行在国内的数十个大数据中心。 2018年数字中国万里行第一站入选腾讯天津滨海数据中心,是腾讯首家建成的超大规模数据中心,也是国内最早实现服务器保有量10万台的数据中心园区之一。

除北上广三大数据中心必布之地外,腾讯很早就布局了西南市场,在重庆已经形成了由多个数据中心组成的集群,据第三方估算,重庆地区半数以上的橱柜资源掌握在腾讯手中。 2019数字中国万里行访问的重庆腾讯云计算数据中心是其核心,总占地约250亩,总建筑面积20万平方米,总投资额约100亿元人民币,建成后具备20万台服务器的计算存储能力。 目前已建成两幢机房大楼,建筑面积各25000平方米。 交付的二楼将容纳约2000个8KW机柜,每个机柜部署22~23台服务器,总服务器数约为5万台。

百度在华北地区加大投入力度,从2019年10月底相继开工的百度徐水智能云计算中心和百度定兴智能云计算中心,到11月21日举行奠基仪式的百度阳泉智能云计算中心二期工程,一个月内共有三个超大型云计算数据中心

作为百度自建的首个大型数据中心项目,百度阳泉智能云计算中心(一期)项目可搭载16万台服务器,拥有300万个以上的CPU核心和6EB级存储容量,可存储的信息量为30万个以上的中国国家图书馆馆藏。

6EB的存储容量在不考虑数据冗余的情况下,一个容量为12TB的硬盘需要50万个以上。 但是,大数据的重要意义不仅是“大”,还意味着“快”。 否则,只有保存,没有利用价值。 访问数据时,必须访问大而慢的硬盘,这注定不能满足AI时代的APP需求。

以Redis为代表的内存数据库解决了访问速度问题。 最大的故障是内存容量和价格过高。 SSD的性能和成本介于内存和硬盘之间,但一般的SATA和NVMe SSD不能直接用于内存数据库。

今年3月,英特尔发布了基于3D XPoint存储技术的自豪数据中心可持续存储器(Optane DCPersistent Memory,简称DCPMM ),解决了百度和腾讯在海量数据访问方面的难题。

百度:优化信息流,更高效查询

种子流是一种互联网服务方式,它可以通过时间流、页面权重或特定的人工智能算法来聚合内容并持续呈现给用户,从而提供用户个性化的信息。 随着签入数量的增加,后端的数据压力越来越大,数据库调用的速度也开始变慢,需要实现数据库查询优化的新解决方案。

数亿用户规模意味着千万量级的并发服务和更低延迟的数据处理性能,百度的应对措施是先进的核心内存数据库Feed-Cube,支持Feed流媒体服务的数据存储和信息查询。

Feed-Cube以存储器为基础构建,采用了KV存储结构。 所有数据都存储在内存中,提供卓越的读写性能和超低延迟。 随着百度馈源流服务规模的扩大,DRAM容量小、价格高的劣势也凸显出来。

百度试图使用NVMe SSD存储数据,并将DRAM用作Cache的解决方案。 幸运的是,他们很快发现英特尔新推出的自豪的数据中心级可持续内存比NVMe SSD更适合作为DRAM的合作伙伴。 仔细研究后,百度将把Feed-Cube的中心工作场景迁移到一个用值得自豪的数据中心级可持续内存构建的新内存平台上。 这个过程可以总结为以下四个步骤。

首先,升级硬件平台。 通过在基于第2代英特尔至强可扩展处理器的平台上部署源多维数据集,支持卓越的计算性能和英特尔自豪的数据中心级永久内存。

第二步,新的硬件平台需要软件的匹配。 英特尔将根据feed-cube APP场景的需要,在服务器BIOS中添加英特尔引以为豪的数据中心级持久性内存的支持驱动程序,并在百度自研4系Linux内核中添加相关补丁;

第三步,调整软件体系结构。 百度首先采用DRAM DCPMM的混合配置作为迁移方案,更频繁地访问,将具有小容量Key值和Value值的数据文件的存储偏移值存储在DRAM存储器中,将存储有Value值的数据文件存储在自豪的数据中心级别的在模拟实际场景的2000万同时访问压力下,采用混合结构的反馈立方体的平均访问时间仅上升了约24%

,处理器消耗整机占比上升7%,性能波动均在百度可接受的范围内,而单服务器的DRAM内存使用量下降过半,考虑到PB级的Feed-Cube存储规模,成本的降低幅度非常显著。

第四步,全面迁移。混合配置模式的成功,为Feed-Cube全面部署在英特尔®傲腾™数据中心级持久内存打下了基础。为达成这一目标,百度使用了基于libmemkind库的自研空间分配库,将malloc/free等内存空间分配命令用新的命令替代,在提供空间分配操作能力的同时,也改善了空间利用率。

全部采用英特尔®傲腾™数据中心级持久内存构建的Feed-Cube,在每秒50万次查询(QPS)的访问压力下,与最初只配置DRAM内存的方案相比,平均时延仅上升不到10%,性能波动仍在百度可接受的范围内,成本则得到了进一步的降低。

腾讯:更强的Redis云数据库

Redis是一种典型的内存数据库,具有高性能、高灵活、低响应时延及丰富的数据结构类型等优点,适用于业务缓存、会话存储、消息队列和信息发布等应用场景。今年7月,腾讯云对外重磅发布云数据库Redis 4.0,其中标准版的核心性能进一步突破性能极限,达到业内顶级的50万QPS,集群版支持千万级QPS,也让达到了业内领先。

不仅如此,这一次发布的云数据库Redis 4.0产品包括Redis监控2.0、DTS For Redis集群版,通过监控和数据传输层面的优化,让Redis 4.0版本速度更快、运行更稳,功能更全面。该版本数据库的推出,将有效降低游戏、电商、直播等行业的用云成本。

据腾讯云数据库产品负责人快乐的小鸭子介绍:“Redis在缓存应用场景中拥有不可取代的地位,被广泛应用于数据缓存、游戏存储、分布式会话存储、实时分析和机器学习等场景。腾讯云在Redis数据库领域的不断突破,将为用户提供极致易用、易维护、高可靠、低成本的云上数据库服务。”

如今,腾讯Redis云数据库已能提供10万级的每秒查询量(Query Per Second,QPS),但DRAM内存高价格、低容量的缺点,抬高了Redis云数据库的成本,限制了用户的使用规模。腾讯云通过与英特尔合作,引入第二代英特尔®至强®可扩展处理器和英特尔®傲腾™数据中心级持久内存这对“黄金搭档”,破解了罩在腾讯Redis云数据库服务上的成本和容量枷锁,并获得更高的性价比。

腾讯云基于双路英特尔®至强®铂金8260处理器的对比测试数据显示,在同一SLA等级上,搭载傲腾™数据中心级持久内存的平台所能提供的单实例内存容量,可扩展至只配置有DRAM内存的平台的1.34倍,单实例内存容量/TCO也达到1.36倍,实现了扩充容量、降低成本的目标。

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/26742.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。