专栏名称: Dance with GenAI
关于生成式人工智能AIGC的一切
目录
相关文章推荐
哔哩哔哩  ·  B站2024第四季度及全年财报来啦! ·  16 小时前  
哔哩哔哩  ·  一场热血沸腾的赛猪解说 ·  昨天  
哔哩哔哩  ·  13年后,这首上古顶流神曲又在B站杀疯了 ·  昨天  
哔哩哔哩  ·  74岁刘晓庆的精神状态,太超前了 ·  2 天前  
哔哩哔哩  ·  全世界百变小樱都在等的魔法教学 ·  2 天前  
51好读  ›  专栏  ›  Dance with GenAI

DeepSeek-R1大模型一键部署在腾讯云 TI 平台,告别卡顿

Dance with GenAI  · 公众号  ·  · 2025-02-04 12:36

正文

现在DeepSeek-R1大模型太火爆了,导致官网服务器压力太大,经常无法使用。由于DeepSeek-R1大模型是开源的,很多第三方平台已经支持部署DeepSeek-R1大模型。在这些平台上,可以建立独属于自己的DeepSeek-R1大模型服务,想怎么用就怎么用,再也不会卡顿。腾讯云 TI 平台目前已经支持DeepSeek-R1大模型,部署完成后体验很不错。

腾讯云 TI 平台( https:// cloud.tencent.com/produ ct/ti )是为 AI 工程师打造的一站式机器学习服务平台,提供从数据预处理、模型构建、模型训练到模型评估的全流程开发支持。平台内置丰富的算法组件,支持多种算法框架,满足多种 AI 应用场景的需求。

以下是平台的主要特性和功能:

模型训练的完整闭环:覆盖从数据预处理、模型构建、模型训练到模型评估的全工作流程,形成机器学习训练的完整闭环。

全自动建模:平台可自动完成建模的全流程,无基础的 AI 初学者也可毫无障碍地完成整个训练流程。自动调参工具可大幅提升 AI 工程师的调参效率。

灵活的资源调度:支持多种 CPU/GPU 资源,符合用户对差异化算力的场景需求。采用灵活的计费方式,帮助用户降本增效。

多种学习框架:囊括多种学习框架,如 PySpark、Spark、PyTorch、TensorFlow 等,满足不同开发者的使用需求与习惯。

弹性模型服务部署:内置模型服务模块,支持虚拟化异构算力和弹性扩缩容能力,支持部署多种模型格式、服务流量分配与滚动更新,以支撑在线推理场景中的多元应用诉求。

多实例调度:支持手工、定时、批量参数和重跑四种实例调度方式,降低手工调度的次数与时间成本。

交互式建模:面向专业用户的交互式代码开发环境,内置多种学习框架,支持 Python、R,通过 TI-SDK 和平台功能打通,提供实时资源监控,并支持 git 进行代码管理。

数据标注与管理:支持创建与管理文本、图片、表格等多种格式数据类型的集合,在线即可对数据内容进行详情预览并进行数据源标注,一站式完成机器学习数据准备。支持导入已标注的图片数据,兼容业内通用 Pascal Voc、COCO 格式,标注信息拥有分布统计与可视化展示能力。

便捷的效果可视化:对源数据的强大可视化交互数据解析,让用户高效直观地了解数据的全貌。模型训练效果直接悬浮呈现,用户无需点击即可直观方便地辨别模型的质量,判断优化方案。

腾讯云 TI 平台的应用场景

金融领域:可以根据历史成交数据训练匹配模型,预测客户和商品的最优匹配,提升营销效果、降低营销成本、挖掘潜在客户、实现交叉销售等。

图像分类:利用自动学习完成图像分类,适用于各类通用图像分类模型自学习场景。

物体检测:利用自动学习完成图片中杯盘位置及颜色的识别检测,适用于餐饮行业的自动化杯盘检测场景。

文本分类:利用自动学习完成文本分类任务,适用于新闻分类、情感分析等场景。

OCR 票据识别:利用自动学习完成 OCR 识别,适用于实现各类表单、票据、证件、单据等的结构化信息提取。

目前,腾讯云 TI 平台已全面接入混元、Llama3、Llama2 、DeepSeek等主流开源大模型,用户可以快速部署和体验这些模型,助力业务场景的 AI 应用。用户可以通过腾讯云 TI 平台一键部署 DeepSeek 模型,无需手动下载,直接预装到服务中,进行模型训练和推理效果测试。腾讯云 TI 平台支持按量计费和包年包月(资源组)两种定价模式,具体价格根据用户选择的资源类型、数量和使用时长等因素而定。

DeepSeek 模型的具体部署流程:

首选注册一个腾讯云账户,创建一个服务角色

点击同意授权

同意赋予 腾讯云 TI 平台 TI-ONE 权限后,将创建服务预设角色并授予 腾讯云 TI 平台 TI-ONE 相关权限,该角色将在已关联策略的权限范围内访问您的其他云服务资源。

在大模型广场可以看到DeepSeek 系列模型的介绍:DeepSeek系列模型是一组全新的大型语言模型,旨在提供高效、灵活且强大的自然语言处理能力。该系列模型通过创新的架构设计和优化算法,支持多种任务和应用场景,包括文本生成、对话系统、信息检索等。

系列模型清单

DeepSeek-V3

DeepSeek-R1

DeepSeek-R1-Distill-Qwen-1.5B

DeepSeek-R1-Distill-Qwen-7B

DeepSeek-R1-Distill-Llama-8B

DeepSeek-R1-Distill-Qwen-14B

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Llama-70B

推理资源要求:DeepSeek-V3 与 DeepSeek-R1 需要多机分布式部署,2节点H20*8卡资源,其他蒸馏模型所需资源详见大模型推理所需资源指南

在模型介绍的右边,可以进行DeepSeek模型体验,进行对话。

然后点击创建服务:

机器来源:可以购买CVM机器或者从TI-ONE 平台购买。

腾讯云 CVM(Cloud Virtual Machine)是腾讯云提供的虚拟机服务,允许用户在云平台上创建、运行和管理虚拟服务器。

腾讯云TI-ONE 是为 AI 工程师打造的一站式机器学习平台,为用户提供从数据准备、模型训练、模型评测到模型服务部署的全流程支持。TI-ONE 支持多种训练方式和算法框架,并已全面支持 LLM 大模型的增训(Post-Pretrain)和有监督精调(SFT),满足不同 AI 场景的需求。

计费模式:可以选择按量计费或者包年包月

部署方式:标准部署或者多机分布式部署

模型来源:选择镜像,然后选择Deepseek-ri模型

高级设置里面,可以选择不同的算力配置,比如:

8C32G T4*1

20C80G T4*1

32C128G T4*1

40C160GT4*2

80C320G T4*4

8C32G T4*1代表的算力配置是:

处理器:8 个 vCPU,基于腾讯云自研星星海服务器,采用 AMD EPYC™ Bergamo 处理器,睿频 3.1 GHz。

内存:32GB DDR4 内存,提供稳定的内存性能。

GPU:1 个 NVIDIA Tesla T4 GPU,具备强大的图形处理和并行计算能力。







请到「今天看啥」查看全文