从挑战到突破:天翼云HBlock定义智算存储新范式!
近日,由DOIT传媒主办,中国计算机学会信息存储专委会、武汉光电国家研究中心、百易存储研究院支持的2024中国数据与存储峰会在北京召开。此次峰会以“智数据 AI未来”为主题,天翼云科技有限公司国际业务事业部存储产品线专家肖夏敏代表参会,并发表“轻量级存储集群控制器HBlock在智算时代的实践分享”主题演讲,与行业伙伴及客户共同探索智算时代全新的存储解决方案,及其行业应用价值。
天翼云科技有限公司国际业务事业部存储产品线专家 肖夏敏
国云筑基,智算建设新挑战
近年来,天翼云准确把握人工智能发展机遇,全力打造智算云能力体系,在智算资源方面,规划并建设全国“2+3+7+X”公共智算云池。不过,在智算基础设施建设过程中,天翼云也遇到了诸多挑战。
●架构挑战
GPU算力的显著差异和分阶段建设需求,使得硬件组合变得复杂,资源调度管理面临困难。
●计算挑战
为了满足巨大的算力需求,必须构建大规模的GPU服务器集群,这对计算存储底座性能提出了极高要求。
●网络挑战
随着智算集群的扩展,对高带宽互联的需求日益增长,对通信质量、时延和稳定性的要求也更为严格。
●存储挑战
在智算场景中,大模型训练需要高效的数据加载和存储能力,对存储系统的性能和容量提出了前所未有的挑战。
对此,天翼云以存储资源盘活系统HBlock,应对AI时代存储新挑战。
创新自研,智算存储新范式
HBlock是轻量级存储集群控制器,采用纯软件用户态设计,兼容异构非对称环境,实现与其他应用的混合部署,充分利用其绿色、轻量、灵活、共生的特性,打造高可用、高可靠、高性能、高利用的存储底座。
HBlock是业界唯一支持在线直接下载安装的分布式存储产品,一小时内即可完成集群搭建和客户端挂载,支持使用异构通用服务器灵活调整存储集群规模,充分发挥存量硬件的潜力。
HBlock的立体容灾机制,可确保数据副本存储在不同的故障域,即使单个故障域整体损坏,卷数据仍然可读写;支持通过其他故障域进行快速数据重建,确保故障后数据快速恢复;单个故障域可写入多个副本,进一步加强数据可靠性。
HBlock的多存储池机制,可将通用服务器性能提升到极限,卷读写时可将数据先写入SSD组成的高速缓存池中,最终无感存入普通硬盘组成的普通存储池中。在用户有少量SSD和大量HDD资源的场景下,可以为用户提供SSD的写入体验和HDD的存储规模。
HBlock的多存储池机制
HBlock可以与并行文件系统混合部署在同一台服务器上,以最少的节点提供高带宽存储服务,助力AI场景落地,主备秒级切换,任何情况都能确保业务不断。用户使用少量通用服务器即可构建高阶存储集群,平替高端磁盘阵列,降低智算池建设成本。
由此,HBlock建立了自主可控的新型智算存储底座,软件完全自研,硬件兼容各种国产服务器,以各种独创自研技术,为智算时代发展中的各类挑战提供了创新解题思路。
![]()
降本增效,智存共生新时代
经过多年的积累和实践,天翼云HBlock已为金融、政务、教育等多个行业提供高效稳定的存储支持。
以某公司的智算资源池项目为例,在原本作为计算节点的GPU服务器中部署HBlock,将其转为存储服务器,支持各种异构国产化通用服务器弹性扩容,同时和并行文件服务(HPFS)混合部署,快速完成智算资源池扩容。该方案精简了智算池整体节点数量,实现降本增效的同时,还助推“双碳”目标落地。
某公司智算资源池项目架构图
随着数字化转型的持续深入,各组织单位的数据量不断扩大,绿色存储技术的价值也将持续凸显。未来,天翼云HBlock将持续在更多领域中落地,进一步为智算基础设施建设、行业智能化升级筑牢存储底座,让企业轻装前行,扬帆远航。
扫描二维码
立刻下载HBlock安装包与相关文档
亦可进入HBlock产品官网
了解更多信息
天翼云“硬”核存储,等你来“盘”!
随着全面云化时代到来,越来越多政企单位将核心业务迁移上云。这些核心业务对运行环境的性能、可靠性等方面要求较为严苛,尤其是大型数据库、NoSQL数据库、AI训练、游戏渲染等业务场景,对数据读写性能(包括IOPS和时延)提出了较高要求。
作为云服务国家队,天翼云以用户需求为导向,积极推进科技创新与产业融合,基于自研高性能分布式存储引擎LAVA,推出了百万级IOPS云硬盘XSSD,在带宽、时延、IOPS等指标方面,相较极速型SSD、超高IO云硬盘,均提升了2~10倍。云硬盘各规格指标性能如下:
XSSD云硬盘能力再升级
近期,XSSD云硬盘能力再次升级,实现对云硬盘共享功能的支持。共享云硬盘功能通过允许多个云主机并发访问同一个云硬盘,促成多个实例之间的数据共享和协作。
共享云硬盘架构示例
共享云硬盘功能应用场景
高可用数据库
在基于SAN的数据库以及云原生高可用数据库等传统场景中,为保障故障情况下服务的业务连续性,通常采用主备模式配合共享存储来避免单点故障。使用共享云硬盘功能后,当主库故障时,可迅速切换到备库对外提供服务,实例切换后,通过NVMe PR命令释放旧实例对共享存储的写入权限,从而确保数据一致性。
分布式机器学习训练
在分布式机器学习训练中,训练数据通常需要被分发到集群所有节点上,造成带宽浪费并影响训练速度。共享云硬盘功能使得集群中的所有节点都能直接访问共享的存储资源,无需通过网络重复传输数据,为机器学习场景提供了一个高效、可靠的存储解决方案,尤其是针对需要高速且海量数据访问的大模型训练任务,能够显著提升整个集群训练的效率。
产品技术获业界权威认可
天翼云弹性存储创新实验室积极参与到了天翼云XSSD产品的预研工作中,基于XSSD共享盘功能的预研成果撰写了《RESD: High-Performance RDMA-enabled Control Plane for NVMe Shared-Disk Cluster》论文,近日被The 43rd International Performance Computing and Communications Conference (IPCCC 2024) 长文收录。
![]()
IPCCC是高性能系统领域较高水平的国际学术会议,也是中国计算机学会CCF推荐的国际会议之一,迄今为止已经成功举办42届,在国内外学术界享有较高声誉和广泛影响力。近两年,IPCCC的论文接收率分别为26%(2023年)、23.9%(2022年)。
此次被收录论文主要介绍了在XSSD共享盘场景下,团队对高性能控制平面的预研与探索,创新性地打造了RESD控制平面,通过实现分布式QoS能力和I/O围栏协议来保证产品的SLO(服务等级目标)和数据一致性。RESD借助One-Sided RDMA操作,实现将QoS令牌操作和NVMe PR指令卸载到RDMA网卡,在保证共享盘QoS准确性与数据一致性的前提下,有效地减少了共享盘控制平面对I/O延迟的影响,降低了服务器负载,增强了整体系统的可扩展性。RESD原型的成功有效地助推了XSSD共享盘功能的技术迭代,为技术选型提供了明确的数据支撑。
RESD QoS 操作流程
天翼云XSSD云硬盘及自研LAVA引擎自上线以来备受行业瞩目。XSSD云硬盘是业内首家通过“信通院百万IOPS”认证的全国产化云硬盘;“极致性能LAVA存储项目”还成功入选2024数博会“优秀科技成果”。
科技创新是发展新质生产力的核心要素,关键核心技术攻关是科技创新的主战场。面向未来,天翼云将秉承国云使命,推进云存储等云计算技术攻关,为千行百业向新提质注入不竭动力。
天翼云存储文件的管理方法
当我们将文件传入到天翼云后,我们还能对云中的文件进行管理,这样能更有效的帮助我们在天翼云中储存不同类型的文件。下面小编就给大家介绍一下天翼云中文件的管理方法,希望能对大家有帮助。
上传文件:
1、登录客户端后在云盘下方点击菜单按钮上传,即可选择“上传按钮”按钮
2、在上传菜单中可选择不同的类型媒体文件上传,选择文件后,点击“上传”按钮,文件即进入传输列表进行上传。
管理云盘中的文件
云盘中的文件管理功能包括:文件的新建、重命名、剪切、复制、查看、搜索、加密、删除等操作。
(1)登录移动客户端后点击界面中的“文盘”按钮,进入云盘的文件管理界面(或直接打开某个文件夹);
(2)点击文件名后面的选择框,选择框显示打钩即选中状态,此时在界面底部的菜单栏进行相关管理操作。
心标文件
您可以使用天翼云将文件加入心标,心标文件列表可以与云端同步,使用用户帐号登录其他设备和终端时可以查看,网页版也可以看到。
3、通过Android/iPhone客户端把文件保存到心标文件:
(1)打开文件列表,点击文件名后面的选择框,选择框显示打钩即选中状态,屏幕下方操作栏即出现心标符号,点击该心标符号,文件即保存到心标文件;
2.通过Android/iPhone找回心标文件:
(1)打开文件列表页面,点击下方点击圆方块按钮;
(2)系统弹出菜单,点击“筛选”即可从“心标”文件中找到心标文件。
使用私密空间对文件加密
![]()
通过Android/iPhone客户端访问私密空间:
(1)登录Android客户端,点击“私密空间”,系统提示输入密码;
(2)点击“获取短信验证码”,此时与私密空间绑定的手机会收到随机密码,输入刚收到的随机密码即可访问私密空间。通过网页版的天翼云也能看到心标文件。
问题解答
支持多大的文件上传?
答:网页版及移动客户端单个文件上传最大为2G,PC客户端同步文件最大为4G,订购云邮VIP服务后, PC客户端、移动客户端无限制上传文件大小。
为什么有些文件总是无法同步至天翼云?
答:本地文件中包括不可访问文件、0字节大小文件、系统或隐藏文件等均不能同步到天翼云。
同步盘与其他文件夹的区别?
答:同步盘,用于文件同步,与PC客户端同步文件夹数据始终保持一致;其中“我的图片”、“我的音乐”、“我的视频”、“我的文档”等文件夹用于图片、视频、音乐、文档等文件的保存,不与PC客户端数据同步。
如何设置文件是否同步?
答:天翼云支持同步目录及非同步目录的文件管理,如需要同步时把需要同步的文件移动到天翼云同步盘,用户登录PC客户端后即可与电脑同步文件夹保持同步;如用户不需要与PC客户端实现文件同步,即把不需要同步的文件移动到同步盘外的其他文件夹即可。
怎样实现多台电脑文件同步?
答:选择一台电脑安装天翼云PC客户端,把需要同步的文件同步到天翼云存储同步盘,然后在需要同步的其他电脑安装天翼云PC客户端,并使用同一天翼云帐号登录,即可实现在多台电脑中进行文件同步。
上传到天翼云的文件是否安全?
答:上传到天翼云云端的文件都进行了严格的加密,非分享内容只有通过本人帐号及密码才可以访问。您可把重要的文件保存到私密空间,私密空间的内容需凭借系统发送到绑定手机的动态密码进行访问,双重加密机制保证空间内容更安全。
上传到天翼云的文件会丢失吗?
答:上传到天翼云云端的文件都进行了双重备份,确保文件不会因为服务器故障而丢失。
视频及音乐播放支持哪些格式的文件?
答:网页版播放视频文件支持MP4、FLV格式;音乐文件支持MP3格式。
关于天翼云存储使用方法及常见问题介绍,天翼云存储百科和的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。
【天翼云存储使用方法及常见问题介绍,天翼云存储百科】相关文章:
用户评论
这篇文章写的太棒了!我一直在想找个稳定可靠的云存储平台,终于找到了!文章内容详细易懂,重点明确到位,尤其是一些常见问题的解答非常有用,帮我省了一堆时间!
有11位网友表示赞同!
天翼云一直没用过,因为没怎么了解它。看完这篇文章感觉还是不错的,接口简单,功能齐全,而且安全性很让人放心。有机会我要试一试!
有20位网友表示赞同!
关于存储空间的问题,我的理解是付费用户才可以无限容量储存文件吗?免费的用户只能有限制吗?请确认一下!
有16位网友表示赞同!
对于云存储我还是不太了解,感觉自己的电脑里保存文件才安全可靠。这篇文章的讲解比较专业一点,看来得好好学习一下才能更好地掌握使用技巧。希望可以提供一些更简单的入门教程
有6位网友表示赞同!
我最近打算用天翼云上传一些重要文件,没想到还有这么多的常见问题要考虑!感觉有点复杂,希望在操作过程中能有更直观的提示和引导。
有13位网友表示赞同!
这篇文章介绍的很全面,涵盖了我想要了解的所有的内容,特别是常见问题的解答非常实用。天翼云的服务看起来真的很不错,我打算注册一个账号试试!
有11位网友表示赞同!
以前没注意过天翼云,看完这篇文章才知道它还有这么强大的功能!现在很多文件都保存在本地电脑上,感觉很占空间,有了天翼云可以解决这个问题!
有19位网友表示赞同!
我对安全性能比较在意,需要了解天翼云是否能够保护我的私有数据?会不会出现泄露的情况?希望可以提供一些具体的保障措施和技术细节
有10位网友表示赞同!
这篇文章写的太专业了,有些词汇我不懂... 我只想简单地上传下载文件,能不能提供一份针对小白用户的操作指南呢?
有18位网友表示赞同!
天翼云的价格方面,有详细介绍吗?不同的存储空间大小收费标准分别是多少?希望能看到清晰的对比表格!
有19位网友表示赞同!
这篇文章的内容确实很全面,但是有些技术说法比较复杂,对于非专业人士来说还是难以理解。希望可以使用更生动的语言和案例来进行讲解。
有6位网友表示赞同!
我试了天翼云储存照片的功能,发现图片上传的质量有所下降,感觉不太满意... 是否有更高画质的存储选项?
有15位网友表示赞同!
总体来说 这篇文章介绍的内容很完善,但一些技术细节描述不够清晰,比如备份策略和数据恢复机制,是否可以更详细地说明?
有20位网友表示赞同!
我之前使用过其他云服务平台,感觉天翼云的功能相对比较基础,缺少一些个性化的定制选项。希望未来能够开发更多增强的功能!
有18位网友表示赞同!
这篇文章让我明白了很多关于天翼云存储的知识,以前总是觉得很陌生,现在更有信心去尝试使用了!学习新的东西总是很有挑战和乐趣!
有17位网友表示赞同!
看了这篇“百科 ”文章,感觉天翼云的确是一个值得信赖的云存储平台,稳定、安全、功能丰富,我准备马上注册账号进行体验!
有19位网友表示赞同!
其实对于个人用户来说,很多时候只需要简单的文件存储和分享功能就足够了。一些复杂的设置反而显得过于冗长复杂... 希望天翼云可以提供更简洁的用户界面并针对不同用户的需求精简功能操作步骤吧!
有16位网友表示赞同!
我很认同作者关于数据安全性的强调,在选择云存储平台时一定不能忽视这一点!希望天翼云能够进一步加强安全措施,给用户带来更加安心可靠的存储体验!
有6位网友表示赞同!