数据觉醒,构建AI-Ready的数据存储
发布时间:2025-03-04 14:12:29 | 来源:中国网 | 作者: | 责任编辑:吴一凡AI时代是数据的黄金时代,以GPT-4、Llama 3为代表的生成式AI已突破万亿参数量级,DeepSeek等开源大模型蓬勃发展,Sora掀起的多模态风暴席卷而来,文本、图像与3D环境深度融合,数据密度或将迎来核爆式升级。
高质量、大规模的数据是大模型训练的燃料,缺乏数据支撑将从根本上限制模型的学习能力。行业大模型落地过程中,如何利用好行业数据,是未来AI落地千行百业的关键。
华为重新定义高性能AI存储,从三维到六维全面升级
人工智能的快速发展正在重写数据基础设施底层逻辑,AI时代呼唤新一代数据存储。传统数据存储聚焦性能、可靠、数据范式三个方面,面向未来的AI存储还应增加三个维度:高扩展性、绿色节能与数据编织。华为重新定义AI存储,聚焦于六个方面创新:
1.极致性能:超越传统存储10倍的性能,支持百TB级带宽以及亿级IOPS,极大提升生成式AI全流程效率;
2.数据韧性:通过架构和技术创新,实现99.9999%高可靠性,通过内置防勒索引擎,侦测准确率提升至99.99%,并将AI训练过程中CheckPoint恢复时间缩至1分钟以内;
3.全新数据范式:使能向量、张量、键值缓存(KV Cache)等新数据范式,大模型知识库实现跨数据模式的融合检索,以更好的支持AI推理应用;
4.高扩展性:存储集群支持EB级容量横向扩展;每个引擎可支持多GPU、DPU或NPU纵向扩展,以支持近存计算;
5.绿色节能:通过存储介质应用创新和整机硬件创新,实现小于1Watt/TB的存储能效和1PB/U的存储密度;
6.数据编织:基于存储元数据管理及检索能力,实现全局数据可视、可管,提升10倍数据流动效率。
基于以上创新,华为推出OceanStor A800高性能AI存储,全面加速训练推理全流程。性能方面,最大支持512个存储控制器,可扩展至4096张算力卡及EB级容量,带宽与IOPS分别达到业界4倍和8倍水平,在全球AI存储MLPerf性能打榜中独占鳌头。在空间能耗方面,容量密度高达1PB/U,能耗低至0.7Watt/TB。在数据韧性方面,勒索攻击侦测准确率从99.9%提升至99.99%。
通过KV Cache新数据范式,OceanStor A800可构建PB级全局共享资源池,在保证推理精度前提下,端到端推理单位Tokens成本降低50%以上,大幅提升用户推理体验;内置RAG知识库,支持标量、向量、张量、图等多模式检索,显著降低AI大模型使用门槛。此外,OceanStor A800支持全局共享索引,通过智能检索引擎提升检索QPS,检索响应时延领先业界40%,检索精度提升95%+。
超融合再进化,加速AI大模型行业化落地
传统超融合一体机集成存储、通用算力与网络,解决了企业数据中心快速部署需求。在AI大模型行业规模化落地阶段,客户面临四大新挑战:数据工程低效耗时,模型训练/应用对接缺乏标准,AI系统可用度和效率不足,全栈交付能力弱。传统超融合需在“硬件融合”基础上构建面向AI全流程工具链,才能更好满足AI时代对IT基础设施的新要求。
华为基于OceanStor A系列高性能存储底座,结合超强AI算力、CloudEngine智能网络和ModelEngine全流程AI工具软件,推出AI训推超融合一体机,实现AI大模型资源高效调度,加快AI应用行业化落地。覆盖医疗病理诊断实时影像分析、自动驾驶毫秒级决策、工业质检微米级精度、金融客服独立解决问题等场景。
1、数据工程工具化:知识库构建效率提升10倍
针对行业数据分散、标注成本高、知识库构建难等痛点,AI训推超融合一体机内置ModelEngine工具链软件,实现数据清洗、标注、知识抽取全流程自动化,内置行业模板与智能标注助手,知识库构建效率提升10倍,让“海量数据”快速转化为高质量行业语料,为模型训练夯实根基。
2、模型对接与应用对接标准化:业务小时级发布
模型接口不统一、应用开发周期长,如何破解这一挑战?AI训推超融合一体机通过可视化编排平台与标准化API接口,实现业务快速发布,打通模型与应用间的“最后一公里”。
3、行业大模型精调:低成本锻造高精度
通用大模型“不够专精”,从头训练成本非常高昂。AI训推超融合一体机支持高效蒸馏与精调,基于DeepSeek V3&R1等通用大模型,通过CoT QA数据自动生成、垂域知识定向注入等技术,仅需少量行业数据即可快速“蒸馏”出高精度行业模型,训练效率提升30%,成本降低50%,让“通才”变身“领域专家”,让AI行业化落地成为可能。
4、软硬件融合:一键部署AI数据中心
企业专业运维人员缺少,如何能快速便捷部署软硬件资源也是AI行业化落地的重要约束。AI训推超融合一体机提供高集成、高可靠和高性能一体化平台,一柜式部署应用上线快,单节点起步轻量灵活;智算、通算、存储和网络全集成,一站满足AI应用需求。
数据觉醒时代,华为将持续创新,探索存储产品能力边界,助力全球客户构建AI-Ready的数据存储,推动AI行业场景化落地。