专栏名称: 云头条
引领科技变革,连接技术与商业
目录
相关文章推荐
半月谈  ·  杨靖宇信件被公布! ·  2 天前  
半月谈  ·  美国两架小型飞机在空中相撞 ·  3 天前  
51好读  ›  专栏  ›  云头条

首个 DeepSeek 私有化 AI 平台发布:支持海光、昇腾等国产 CPU/GPU

云头条  · 公众号  ·  · 2025-02-02 23:18

正文

2025 年 2 月 2 日,针对日益强劲的 AI 推理需求和企业级 AI 应用私有化部署场景(Private AI),云轴科技 ZStack 宣布 AI Infra 平台 ZStack 智塔全面支持企业私有化部署 DeepSeek V3/R1/ Janus Pro 三种模型,并可基于海光、昇腾、英伟达、英特尔等多种国内外 CPU/GPU 适配,助力企业级AI应用进一步落地。

据悉,随着 DeepSeek 于 2024 年 12 月上线并开源 DeepSeek V3/ R1/Janus Pro,全球公有云平台如 AWS、Azure、华为云陆续宣布 支持 DeepSeek R1 或 R1/V3。
ZStack 智塔作为首个支持 DeepSeek 的企业级私有化 AI Infra 平台,将充分发挥 DeepSeek 开源模型和低成本高性能特点,进一步推进 AI 的企业级商用进程:
云轴科技 ZStack 智塔功能架构图:
(1)全面支持 DeepSeek 三种模型,满足企业不同AI场景需求
AI Infra 平台 ZStack 智塔在模型层提供模型开发和应用所需的各种基础工具和组件,支持各种开源闭源 AI 模型的生命周期管理。ZStack 智塔首发支持 DeepSeek V3/ R1/Janus Pro,V3 适用于通用型自然语言处理任务,R1 专注于复杂推理任务,而 Janus Pro 则擅长多模态理解与生成, 可满足企业不同 AI 场景的需求。
(2)支持国产/国外多种 CPU/GPU,适配企业数据中心多样化算力资源
AI Infra 平台 ZStack 智塔在算力层提供计算、存储、网络、安全等基础资源和服务,可支持 DeepSeek 在海光、昇腾、英伟达、英特尔等多种国 内外 CPU/GPU 算力资源上进行私有化部署,适配企业数据中心多样化算力资源。
ZStack 智塔具备智能异构调度引擎自动匹配硬件特性,支持 CUDA、ROCm、CANN 等体系架构,以及无 GPU 测试方案,CPU 部署 DeepSeek-R1-7B 轻量化模型,在 16 核云主机实现 9.26 tokens/s 可用级表现。

(3)提供企业灵活性与定制化服务,构建新一代企业数智化平台
AI Infra 平台 ZStack 智塔可以根据企业自身需求,在私有云或混合云环境中部署 DeepSeek 模型,从而确保数据的安全性和隐私保护;还提供裸金属、虚拟机和容器计算资源的弹性扩展,支持与多种硬件和软件的集成,使得企业能够轻松地将AI能力整合到现有系统中,这种灵活性和定制化服务满足了企业级用户对AI应用的多样化需求。

ZStack 智塔在资源利用方面具备可多卡并发推理技术,通过多张 GPU 联合推理,提升小显存 GPU 可用性,减少闲置;显卡切分技术,通过对单张 GPU 进行算力、显存切分,提升大显存 GPU 的资源利用率;模型量化技术,模型平台可以对模型进行量化,配合 DeepSeek 低成本高性能的特点可大幅提升 AI 效率。

AI Infra 平台是企业加速释放 AI 生产力的关键引擎平台,它聚焦企业级 AI 应用的私有化部署场景(Private AI),是支撑人工智能应用开发、部署、运行和管理的一系列基础工具和软件平台,具备算力管理层、模型管理层、应用管理层三大能力模型。
赛迪顾问认为,2025 年是中国 AI Infra 平台应用元年。

AI 推理算力需求激增,催生了企业级智算资源管理新需求;AI 应用加速向企业级场景渗透,模型工具链、运营管理组件助力降低AI应用门槛;数据隐私和安全性驱动AI应用的私有化部署,新一代企业数智化转型底座AI Infra平台呈现飞速发展趋势。
2025 年 1 月,赛迪顾问发布《2025 中国 AI Infra 平台市场发展研究报告》中预计,AI Infra 平台 2024 年、2025 年将分别达到 19.4 亿元和 36.1 亿元,2025 年同比增长将超过 86%。








请到「今天看啥」查看全文