专栏名称: 吃果冻不吐果冻皮
专注于AI工程化(LLM、MLOps、LLMOps、RAG、Agent)落地。
目录
相关文章推荐
51好读  ›  专栏  ›  吃果冻不吐果冻皮

不用排队!万卡4090免费试用

吃果冻不吐果冻皮  · 公众号  ·  · 2024-11-28 08:00

正文

这年头,谁还没有5678个算力平台账号?主打一个哪里有羊毛就去哪里薅!优云智算compshare算力共享平台 新客注册实名立享20元赠金 (官网地址: https://passport.compshare.cn/login?ytag=cs_zhihu_guodong ),4090免费用!

从事深度学习和机器学习的用户对UCloud优刻得公司一定不陌生,是中国第一家云计算科创板上市公司。“优云智算”是旗下为学生、AI科研人员及初创企业提供高性价比高质量的算力共享平台。近年随着AIGC的发展,国内算力需求激增,UCloud超万卡集群服务众多头部AI企业及高校,拥有良好的产品性能和技术解决方案。功能优势对比:

  • 易用性高 :万卡4090资源,一键部署,多卡实例无限制,快速拉取外网资源;
  • 多场景业务支持 :支持各类AIGC项目训练和推理,提供强大计算支持,数据管理安全可靠;
  • 计费灵活 :按需选购,付费方式灵活,降本增效;
  • 社区镜像 :热门GitHub项目模型、镜像抢先体验,分享AI技能的同时还能赚零花钱;

四步教你免费部署Vllm

第一步:注册

官网地址: https://passport.compshare.cn/login?ytag=cs_zhihu_guodong

只需3S快速注册,在校师生可点击“立即注册”使用教育邮箱注册后续可享95折。

第二步:部署社区镜像

部署实例有两种方式:

第一种,选择【 平台镜像 】,提供官方预设的基本环境,支持用户制作镜像并定价后发布至社区,其他用户按需付费使用。注意:优云智算平台支持虚机模式部署实例,特别强调用虚机制作的镜像不可发布至社区哦。

第二种,选择【 社区镜像 】,由众多镜像作者发布可公开使用的镜像,目前优云智算提供了而很多免费有趣好玩的社区镜像。在社区镜像中找到“ollama-0.4.1”进行部署:

一会儿就创建好了,主要看镜像公网ip和防火墙。

防火墙默认是不开启8000端口的,我们需要修改防火墙配置。

如何设置呢?参考以下地址: https://www.compshare.cn/docs/overview/firewall

第三步:启动Vllm

回到控制台,找到创建的实例,可以看到有提供公网ip和密码,这里注意,优云智算compshare的ssh端口是23

打开本地电脑终端,连接实例。

优云智算compshare实例默认会有一些下载好的镜像,在/model下。







请到「今天看啥」查看全文