如何快速部署和体验内置开源LLM大模型

本篇文章将为您介绍如何通过腾讯云TI-ONE平台，一键部署开源大模型，快速试一试模型推理效果，助力用户快速选型适合您业务场景的开源大模型。

• 服务名称：输入您的自定义服务名称。

• 计费模式：部署大模型推理服务支持“按量计费”和“包年包月”两种模式都可以。本示例采用“按量计费”。

• 服务实例

• 模型来源：选择 “镜像”类型。

• 模型和运行环境：系统已为您内置默认填充了“内置大模型/Llama3系列模型/llama_3_8b_chat”，也可选择其他内置模型，如Llama3系列下的llama_3_8b、llama_3_70b_chat、llama_3_70b等。

• 算力规格：本示例选择 12C44GB A10*1 的机器配置，此外还支持V100、A100等机型。

• 单击同意开源大模型的相关法律协议后，即可单击启动服务按钮。