从AI存储新品,看大模型时代的存储趋势
前言:
智算时代,算力是生产力,数据是核心生产要素,大型语言模型横空出世后,对数据存储提出更高的要求。
(相关资料图)
作者 | 方文三
图片来源 | 网 络
大模型时代华为的AI存储新品
近日,华为发布大模型时代AI存储新品,为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。
华为发布的“OceanStor A310深度学习数据湖存储”与“FusionCube A3000 训/推超融合一体机”是商用AI存储新品。
官方称“这两款产品可为AI基础模型训练、行业模型训练,细分场景模型训练推理提供新动能。
OceanStor A310深度学习数据湖存储,主要面向基础/行业大模型数据湖场景,实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。
OceanStor A310单框5U支持业界最高的400GB/s带宽,以及1200万IOPS的最高性能,可线性扩展至4096节点,可实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程,通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。
FusionCube A3000训/推超融合一体机,主要面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式“开箱即用”交付,2小时内即可完成部署。
并且该一体机支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。
一体机的训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。
同时 FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。
潮流挺进,构建中国AI“新赛道”
ChatGPT的成功并不是偶然结果,在目前版本开放以前,OpenAI已经在训练大规模语言模型的道路上深耕多年。
目前在国内政策层面,除了在“十四五”期间,针对人工智能的未来发展陆续出台相关指导方案和激励支持政策。
北京5月30日发布《北京市加快建设具有全球影响力的人工智能创新策源地实施方案(2023-2025年)年》和《北京市促进通用人工智能创新发展的若干措施》;
深圳5月31日发布《深圳市加快推动人工智能高质量发展高水平应用行动方案(2023-2024年)》;
成都6月5日发布《成都市关于进一步促进人工智能产业高质量发展的若千政策措施(征求意见稿)》;
杭州6月12日发布《关于加快推进人工智能产业创新发展的实施意见 (征求意见稿) 》;
无锡6月14日发布《无锡市人工智能产业创新发展三年行动计划(2023-2025)》;
上海7月8日发布《上海市推动人工智能大模型创新发展的若干措施》;
重庆7月25日发布《重庆市以场景驱动人工智能产业高质量发展行动计划(2023-2025)年》。
2023年全国两会期间,多位全国人大代表、全国政协委员将视野聚焦“如何发展中国自己的ChatGPT”,为人工智能的发展献言献策。
全国人大代表、科大讯飞董事长刘庆峰表示,应当加快推进我国认知智能大模型建设,在自主可控平台上让行业尽快享受AI红利,让每个人拥有AI助手。
全国政协委员钱家盛则建议加大人工智能科学与技术交叉学科建设,稳步推进“人工智能+学科群”培养模式,构建人工智能领域人才培养体系和科技创新体系。
出品大模型应用面临四大挑战
第一:数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;
第二:多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;
第三:大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;
第四:大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。
目前大模型对存储的需求
现阶段大模型以文本型的单模态为主,但是随着大模型与各个行业相结合,紫东太初大模型、讯飞星火大模型、ChatGLM认知大模型等,都提到过以后会加速多模态的发展,那么数据类型将日益增加。
当然对存储的要求也会变高,一是要完成基于海量多态数据的训练;二是要面向海量终端的数据应用。若存储容量不足可能对模型性能产生影响。
从文本到图片、音频、视频进行拓展,数据量也将大幅增加,预计会从纯文本型的几个TB(太字节、1TB=1024GB)向多模态的PB级(拍字节、1PB=100万GB)容量迈进,这对存储的架构、性能等核心能力提出更高要求。
据相关机构预计,2026年中国人工智能软件及应用市场规模将会达到211亿美元,国内被寄予厚望的各大科技公司都在不断探索大模型运行的新方法、新模式。
然而,只有落地才能实现大模型的价值。
结尾:
数据、算法、算力是AI发展的驱动力,大模型增强了AI技术的通用性,助力AI的实现。
未来,大模型与场景深度融合,配合专业工具和平台支持应用落地,以开放的生态来激发创新,形成良性循环,并通过提供全流程支持应用落地的工具和方法,让更多企业受益。
内容参考来源于:华为:华为发布大模型时代AI存储新品;浦银国际研究:从华为AI存储新品看大模型时代的存储趋势;中国新闻网:大模型催生多样化数据处理 数据存储面临新要求;医疗科技高峰论坛:大模型的深度与速度
原文标题 : AI芯天下丨趋势丨从AI存储新品,看大模型时代的存储趋势
标签:
推荐文章
- 从AI存储新品,看大模型时代的存储趋势
- 绿盟科技:7月28日融资买入2387.25万元,融资融券余额4.24亿元
- 又一微逆在德国出问题,做充电器的?
- 世茂集团申请复牌:两年亏近486亿元,负债4114亿元
- 团结友爱最快乐公开课 团结友爱最快乐教案
- 北京公交:截至今日7时,受降雨天气影响线路共230条
- 劲舞团里的歌曲和世界说晚安的歌(劲舞团里的歌)
- 博物馆教育:场馆成课堂 文物来“上课”
- 藤原大祐(关于藤原大祐简述)
- 人间地狱配置要求是什么
- 《瑞奇与叮当》PC版遇冷 为索尼旗下第三差
- 门头沟南辛房桥垃圾堆积影响泄洪!消防员正全力清理
- 安徽一家长辅导孩子作业崩溃,打完孩子又猛扇自己耳光,引人深思
- IPO周报:华智融二闯IPO折戟,上专股份“假外资”股东引质疑
- 北京房山发布山洪风险提示!市民一定远离河道
- 台风“卡努”逐渐增强 影响范围涉及商丘
- 北京大兴机场迎强降雨,全力做好服务保障工作
- 瑾字的含义
- 苏e88888车主蔡廷辉(辽E88888车牌是赵本山的车牌吧)
- 国家防总:针对京津冀豫晋启动防汛二级应急响应
- 【绿色发展】建设“零碳岛”
- 请定好闹钟,土星伴月即将来临,赶快准备吧
- 北京市住建委表态楼市调控,释放重磅信号
- 宁波力马照明科技有限公司(关于宁波力马照明科技有限公司简述)
- 2023年7月29日工业磷酸价格最新行情预测
- 小鹏+大众=在打很新的牌
- 台风来袭 “航变”频发,提醒:旅客关注航班信息,谨防诈骗
- 中央气象台:我国东部海域将受台风“卡努”影响
- 哪个浏览器速度比较快_哪个浏览器最好用最快
- 保护视力的有效方法_小学生保护视力的方法
- “杜苏芮”对杭州市影响趋于减弱,杭州市防指结束防台风应急响应
- 搭载丰田领先混动技术 皇冠陆放“日行千里”不是梦
- “强国复兴有我”主题志愿服务活动山东启动仪式在菏泽市举行
- 虫虫助手怎么发帖子 虫虫助手发帖子攻略
- 推特App图标正式变更为X标志,马斯克:今年X月活创新高,超过5.4亿
- 成都大运会第二金!宋翠芳获武术女子南刀冠军
- 其实缅北是一个很好的照进现实的教育场地,人要学会自己保护自己,要学会自我思考
- qq暂时无法登录要多久_qq暂时无法登陆是怎么回事
- 北京婚礼公司策划(北京婚礼公司)
- 完美世界(002624):7月28日北向资金减持5.9万股
- 中考是哪几天2023_中考是哪几天
- i56500够用吗(i56500最高可以配什么显卡)
- 在岸人民币兑美元夜盘收报7.1494,较上一交易日夜盘收涨206点
- 海南“村VA”玩法再更新!这回是手拉手趣味排球赛
- 纳斯达克中国金龙指数涨4% 哔哩哔哩涨11%
- 7月28日金固股份(002488)龙虎榜数据:机构净卖出1184.51万元,北向资金净卖出898.04万元
- ETF日报
- 谁在中国取代了快时尚?
- 完成核查 今年常州完成造林绿化17000余亩
- 雍禾植发“毛发森林”系列公益计划:用“深公益”实现心灵的美好共振
- word2019剪贴画在哪里找_word2019剪贴画在哪里找
- RISC-V开源生态再聚首 开放麒麟openKylin正式加入RISC-V基金会
- 别让爱你的人心碎DJ歌曲_别让爱你的人心碎
- 寄望沪港齐心共融 紫菁《期盼》音乐剧在上海儿童艺术剧场上演
X 关闭
最新资讯
- Jiangsu strives to take lead in promoting Chinese path to modernization
- 人工授精生女(剩女靠人工授精当妈 无法告诉孩子“爸爸去哪儿了”)
- 失业、分配不平衡和结构性转变:人还能否“卷”过AI
- 模塑科技7月28日盘中涨停
- 假的昆仑白玉
- 方正之间看见中华文明,十年策展人的“汉字梦”
- 中国钢铁工业协会:1-6月炼焦煤采购成本同比下降17.66%
- 黑客和骇客的区别是什么(黑客和骇客的区别)
- 大运会海外运动员:期待成都成就梦想!
- 河北廊坊:戏剧主题公园开园引游人
- 上海三毛7月28日快速上涨
- 今年上半年我国物流运行情况如何?一组数据了解
- 低压断路器规格型号大全(低压断路器规格型号)
- 同兴环保:低温SCR脱硝催化剂生产线项目经全线联动调试 设备生产能力已达预期效果
- 美《气候》期刊:771种濒危植物受气候变化威胁
- 从战火纷飞的革命年代到筚路蓝缕的建设时期(战火纷飞的年代女主角)
- 券商积极布局绩优上市公司
- 怎么穿吊带袜好看_什么颜色搭配
- 罗马诺:国米与拜仁越来越接近谈妥索默,已进入深入阶段
- 欧洲央行如期加息25个基点,声明透露“完结”迹象?
- 注意!郑州东三街这些道路停车泊位取消
- 苏丹武装部队宣布暂停与快速支援部队的停火谈判
- 四川省甲肝乙肝发病率明显下降 还有这些防控成效
- 山东一考生考分大跌怀疑成绩被偷,答题卡上答过的题;显示空着
- 青白玉通透好还是不好
- 中国最赚钱公司出炉!万亿“宁王”,日赚超1亿
- 雨后青海玉树称多:柔和静美
- 陕西铜川市300MW压缩空气储能示范项目签约!
- 海南保亭可提供马兰士家庭影院维修服务地址在哪
- 国家防总针对西南地区强降雨启动防汛四级应急响应
- 公主岭市“三个先锋”推动“四乡人才” 回乡追梦破土而出
- 学而思回击谣言:业务均运转正常,不存在大规模退费情况
- “杜苏芮”滋扰,未来3天酷热 今日起还将出现局地短时强雷雨天气
- 不能和花生一起吃的食物,大家平时要避开,别不当回事
- “绿色钢铁”看唐山
- “一次挂号管3天”,如何才能尽早惠及更多患者
- 新疆阿克苏市:“爱心冰箱”清凉上线
- 石榴快播丨弘扬网络文明 建设美丽新疆 2023年新疆网络文明大会开幕
- 国光连锁:公司股票市盈率显著高于同行业水平
- 微漫评:高铁超越火车——各有使命 各赴前方
- 国产葡萄酒品牌,你钟情哪一个?
- 许宪春:当前宏观政策要针对投资需求不足和外需萎缩积极发力
- 警方通报“天价寻狗”事件
- 江南汇教育网(汉语桥江南皮革厂是哪一期)
- 微软收购动视暴雪最大阻碍已除!最快在下周二完成收购
- 伊春公安多措并举筑牢反诈安全屏障
- 敕勒歌古诗的意思(敕勒歌古诗的意思解释)
- 一路上小心mv(一路上小心)
- 我国新能源汽车保有量达1620万辆
- 新股上市之天力复合:专注金属复合材料,近年来受益光伏多晶硅还原炉需求爆发,业绩呈现较快增长
X 关闭