大家好,感谢邀请,今天来为大家分享一下冯丹教授:盘框创新加速数据中心迈向 Diskless 架构的问题,以及和的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!
冯丹教授提到,在传统存储计算一体化架构下,企业通常采用应用与本地磁盘耦合的服务器一体化架构,导致存储效率低下、数据迁移无效、资源浪费等典型问题:
1)计算域和存储域没有完全分离,各自仍然有自己独立的本地存储。往往按照预设的最大容量进行配置,存储利用率较低;
2)使用通用计算能力进行数据处理,IO效率低,存储域仍以CPU为中心,访问性能无法充分发挥;
3)需要8次以上的数据迁移才能将数据从磁盘移动到计算域CPU。无效的迁移带来网络和计算资源的浪费;
4)在存储计算一体化的数千个节点的大型集群中,计算能力与容量空间的比例无法平衡,扩容时需要额外的数据迁移,不仅带来现有业务风险,而且浪费投资;
5)数据爆发式增长,结构化数据的降维策略并不完全适合非结构化场景。
随着多元化计算能力、高性能网络和存储介质的发展,数据中心架构已经从以CPU为中心演进到以数据为中心的无盘架构。在Diskless架构下,单个CPU的计算能力发展为GPU、DPU等多种计算能力,并奠定了基础;存储容量也从传统HDD改为SSD,性能和功耗得到全面提升。在Intel、华为、铠侠、阿里云等行业芯片、存储、云、互联网厂商的积极推动下,无盘架构借助DPU/DPU等专用数据处理芯片,进一步提升了数据处理和存储的性能。 IPU和OceanDisk等专用存储模块。充分调动数据中心资源。
冯丹教授表示,资源池共享的无盘架构应具备以下关键技术:
1)网络存储协同、DPU硬件卸载加速、高效协同数据处理。通过DPU等专有数据处理模块,将服务器CPU充分用于应用服务,基础设施与应用任务解耦,将VirtIO、NVMe-oF等CPU计算效率低的任务转移到服务器专用加速器上DPU执行,实现弹性资源扩展。
2)CNC分离+IO透传,实现控制流和IO流分离,IO透传到存储介质,进一步提高存储效率。通过CNC分离,可以实现极致的IO访问延迟。通过存储域IO读写数据流和IO控制处理的分离,读写IO可以直接传递到存储介质,减少IO处理路径,降低处理复杂度,大幅提升存储域访问性能。计算域可以使用DPU绕过CPU,减少数据复制开销,提高IO访问性能。
3)磁盘控制协同,磁盘芯片和控制器芯片协同提高集成度,实现成本和能耗最优。磁盘控制协同技术的关键是实现高性能、低成本的磁盘,并通过硬件加速磁盘控制系统中的算法,如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等强化以提高性能。盘框内集成各类驱动和缓存层,实现盘框一体化,打造极致成本和能耗的大盘存储。
4)算子卸载、EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载、语义接口的直接存储以及主机端软件栈的瘦化,减少了80%的IO交互次数,从而节省了整个系统的CPU和网络带宽。同时,在大数据/数据仓库场景中,可以利用引擎的下推接口,将谓词、投影等操作下推到存储资源池,减少无效数据的移动。
冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存储容量新型磁盘架、算子分流等技术的发展,带来了数据中心架构和数据中心的变化。加速了基于CPU的计算的发展。中心耦合架构走向以数据为中心的存储和计算完全分离、资源池化和共享的无盘架构。该架构进一步简化了数据中心基础设施的建设,实现了存储和计算资源的集约高效开发。它已经成为大规模数据中心发展的重要技术趋势。”
华为去年发布的OceanDisk智能磁盘机箱产品是一款标准的大存储容量新型磁盘机箱产品。 OceanDisk通过NoF+高速网络连接无盘服务器,实现计算和存储的独立弹性扩展,帮助客户提高资源利用率,减少机柜空间和设备功耗分别达40%。内置FlashLink智能盘架协作算法等软硬件技术,带来高达250万IOPS和50GB/s带宽的高性能;依托华为多年的存储研发能力,OceanDisk智能硬盘盒提供硬盘亚健康管理、智能慢盘优化等技术,保持大型数据中心十万级硬盘性能稳定,大大降低硬盘存储的难度。操作和维护。作为业界首款面向无盘架构的新型磁盘机箱,OceanDisk将以高性能、高可靠性、绿色强度重新定义下一代云和互联网数据中心存储架构。
各位老铁们,大家好,今天由我来为大家分享冯丹教授:盘框创新加速数据中心迈向 Diskless 架构,以及的相关问题知识,希望对大家有所帮助。如果可以帮助到大家,还望关注收藏下本站,您的支持是我们最大的动力,谢谢大家了哈,下面我们开始吧!
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://www.iotsj.com//kuaixun/6507.html
用户评论
这真是个让人兴奋的新方向,硬盘なくなる未来可期!
有7位网友表示赞同!
我一直好奇盘框技术的发展,现在终于看到了应用场景了。
有9位网友表示赞同!
数据中心要转型这种趋势越来越明显了,冯丹教授的观点很深刻。
有11位网友表示赞同!
Diskless架构的好处是什么呢?希望能详细了解一下。
有13位网友表示赞同!
新型盘框技术能提升数据处理的速度吗?
有11位网友表示赞同!
想听听关于Diskless架构的具体实施方案,以及遇到的挑战是如何克服的。
有8位网友表示赞同!
未来的数据中心会更智慧、更高效吗?
有9位网友表示赞同!
这个趋势对普通的用户来说有什么影响呢?
有16位网友表示赞同!
我觉得数据安全问题在Diskless架构下会不会更加复杂?
有6位网友表示赞同!
冯丹教授的研究成果真是很有价值,为数据中心发展贡献了力量。
有8位网友表示赞同!
这个新技术能应用到哪些领域之外的数据中心呢?
有18位网友表示赞同!
相信这种创新技术的应用会改变我们对数据的理解和使用方式。
有17位网友表示赞同!
对于传统数据中心的升级难度会有多大?
有9位网友表示赞同!
新型盘框技术的成本怎么样?是否能够推广开来?
有7位网友表示赞同!
期待看到更多关于Diskless架构的探索与研究成果!
有14位网友表示赞同!
这个技术的发展对云计算的影响是巨大的。
有20位网友表示赞同!
也许有一天我们连硬盘都不需要了,一切都数字化!
有14位网友表示赞同!
未来数据中心还会往哪个方向发展呢?
有12位网友表示赞同!
想了解更多关于Diskless架构的详细介绍和应用案例。
有9位网友表示赞同!