“百模大战”一触即发!华为发布大模型时代AI存储新品
通信世界网消息(CWW)数据作为数字经济时代最核心、最具价值的生产要素正在加速渗透,成为全球经济增长的新动力和新引擎。尤其是AI大模型爆火以来,数据呈指数级速度增长,数据流动加速,在“百模大战”的角逐中,作为基础设施的存力,其重要性也日益凸显。 AI大模型面临四大挑战 数据存储是算力基础设施的核心组成,是信息的起始和重点,优质的数据存储不仅会赋能数据存力发展,而且还会驱动AI大模型的建设和发展
2023-07-17 10:10:30
来源:通信世界全媒体 盖贝贝  

通信世界网消息(CWW)数据作为数字经济时代最核心、最具价值的生产要素正在加速渗透,成为全球经济增长的新动力和新引擎。尤其是AI大模型爆火以来,数据呈指数级速度增长,数据流动加速,在“百模大战”的角逐中,作为基础设施的存力,其重要性也日益凸显。

AI大模型面临四大挑战

数据存储是算力基础设施的核心组成,是信息的起始和重点,优质的数据存储不仅会赋能数据存力发展,而且还会驱动AI大模型的建设和发展。

今年以来,自ChatGPT发布后,多家企业先后发布了自己的大模型产品,据不完全统计,全球已发布数百个大模型,仅在中国就发布了80多个。AI大模型俨然成为互联网的“新风口”,在这场AI带来的新变革中,企业纷纷紧跟时代浪潮,建立自己的大模型。

而企业在开发及实施大模型应用过程中,通常会面临着诸多挑战。首先,数据准备时间长,数据来源分散、归集慢,预处理百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;再次,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。

更为严重的是,甚至有些企业目前对数据存储重视程度还尚显不足。随着AI大模型的升温,各地纷纷投入建设AI算力中心,加大了对算力的重视程度。但是算力中心的起步离不开数据存储能力作为基础,如果没有适当的存力配合,那么算力的作用就得到不到充分发挥。

两款AI存储新品发布,助推AI赋能千行百业

日前,华为顺应大模型时代AI发展趋势,针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

其中,OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。OceanStor A310单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30%。

FusionCube A3000训/推超融合一体机,则面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。同时FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。

此外,如何保证数据的安全流转也是大模型时代企业广泛关注的问题。数据存储是数据安全的第一道防线,在AI大模型的数据归集过程中,企业需要安全地将不同地点、不同节点的数据归集到一个地方,这在安全性上有着非常大的挑战。面对企业的大模型数据安全需求,华为透露正在研发一种数据方舱技术,通过将数据及其相关凭证、隐私、权限等信息共同流转,从而对数据产生极致保护。

“大模型时代,数据决定AI智能的高度。”华为数据存储产品线总裁周跃峰在新品发布会现场表示,作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。

最新文章
1
亮相世界杯!原色RGB Mini LED跨代领先,东芝电视站稳全球高端赛道
2
20倍增长!2026年RGB-Mini LED电视销量冲击50万台,TOP3几乎包圆
3
洗碗机行业迎“新国标”大考:Q1内销遇冷,海外扛起增长大旗
4
微信开放AI Agent接入能力,美的、海尔、TCL率先布局智能家居新入口
5
方形前摄成新风向?曝国产TOP5厂商全员跟进
6
内存升级换屏幕降级?iPhone 18标准版为AI妥协引争议
7
索尼退出PC市场等于放弃中国!《死亡搁浅2》近半销量来自中国
8
中国技术直面世界杯考场,海信RGB-Mini LED电视拿下全球超七成份额
9
霸屏世界杯!海信RGB-Mini LED赛场吸睛,中国科技闪耀美加墨
10
“致敬经典 传承新鲜” 美菱联合京东开启全国家电焕新升级新篇章
11
行业首个!海尔净水进驻国家奥林匹克体育中心
12
长虹打造足球专列,家电品牌体育营销进入“场景即内容”时代
13
三登世界杯的海信冰箱,在变与不变间,跑出全球化新范式
14
Arm预判:未来PC将分化为两大品类
15
宽折叠屏崛起:折叠手机的下一代形态革命
16
16%不合格!夏普、双立人登黑榜,净水器市场火爆中藏隐忧
17
三星两款新品亮相印度认证机构!Galaxy Z Fold8与Watch Ultra 2上市临近
18
疑似小米万元折叠旗舰曝光:无感折痕+2亿影像,自研芯片悬念待解
19
OLED笔记本渗透率不到10%!中尺寸OLED迎降价拐点,PC企业机会来了
20
2026年上半年中国电视市场关键词:大尺寸化、绿色节能、技术创新
关于我们

微信扫一扫,加关注

商务合作
  • QQ:61149512