专栏名称: DataFunTalk
专注于大数据、人工智能领域的知识分享平台。
目录
相关文章推荐
四川日报  ·  巨头宣布:永不合作! ·  昨天  
四川日报  ·  刘诗诗、吴奇隆,突传消息! ·  3 天前  
自贡网  ·  赞!东方锅炉创新成果入选四川“五小” ·  3 天前  
51好读  ›  专栏  ›  DataFunTalk

魔乐社区大模型应用速通指南

DataFunTalk  · 公众号  ·  · 2024-11-28 13:00

主要观点总结

魔乐开发者社区作为一体化开源平台,提供丰富的资源和工具,包括模型库、数据集和体验空间等。社区致力于打造开放共享的人工智能生态社区,帮助开发者获取领先的人工智能技术。社区托管基于Git的仓库,包含模型、代码和文件等。最近,魔乐社区与DataFun联合举办线上活动,介绍模型上传、可用性测试及征文活动。

关键观点总结

关键观点1: 魔乐社区的特点和提供服务

魔乐社区是一体化开源平台,提供模型库、数据集和体验空间等资源。致力于打造开放共享的人工智能生态社区,帮助开发者获取领先技术。

关键观点2: 基于Git的仓库管理

魔乐社区托管基于Git的仓库,包含模型、代码和文件等,支持用户和组织协作开发。提供详细的模型上传和可用性测试步骤。

关键观点3: 线上活动及奖励

魔乐社区与DataFun联合举办的线上活动,介绍模型上传经验、征文简介及活动细节。设置多个可参与的活动,提供相应的奖励,如技术成熟度曲线、DataFunPro季度会员等。


正文

2024年8月底,魔乐开发者社区上线。在魔乐社区的平台上,每一位开发者都能找到所需的资源和工具,无论是数据集、模型库还是开发工具,魔乐社区都将提供一站式服务。
魔乐社区作为一体化开源平台,集成了openMind Library和openMind Hub Clinet等工具套件,模型库、数据集和体验空间等核心组件,覆盖了自然语言处理、视觉、音频等领域。致力于打造开放共享的人工智能生态社区,提供首发原生模型、易用开发工具、丰富生态资源,帮助每一位开发者获取领先的人工智能技术,打造出更有竞争力和差异化的模型及应用。

魔乐社区托管基于Git的仓库,包含以下内容:

  • 仓库:存储模型、代码和文件,支持用户和组织协作开发。

  • 模型:托管用于自然语言学习、视觉和音频任务的模型。

  • 数据集:托管用于翻译、语音识别和图像分类等任务的数据集,包含生成训练、评估和测试所需的数据。

  • 体验空间:开发者可以使用体验空间一键部署在线推理服务;用户无需下载即可体验各大模型的推理服务。

魔乐社区、openMind联合DataFun将于11月29日下午14:00将在DataFun直播间进行主题为“魔乐社区:AI模型、工具与应用的融合之道”的线上活动并结合线上活动组织了一系列模型应用时间的活动,目的是让用户更好的进行模型开发体验、获取优质的平台支持,并进一步体验openMind和魔乐社区。
本次活动我们设置了多个可参与的活动,分别也对应了不同的奖励

1. 开发者朋友们可进入魔乐社区注册账户可获得一份最新的技术成熟度曲线(待更新)
操作方式:注册后可添加小助手发送注册ID即可领域上述奖品

识别二维码,免费注册体验

识别二维码,添加小助手

第一步

第二步

第三步

第四步

点击链接进入魔乐社区官网https://modelers.cn/

点击注册后进入注册页面填写信息提交

提交注册后返回登录

登录后进入欢迎页面即表示成功


2. 进入魔乐社区上传模型并通过可用性测试即可获得DataFunPro季度会员

操作方式:

a. 模型上传

模型上传官方文档链接为: https://modelers.cn/docs/zh/openmind-hub-client/0.9/basic_tutorial/upload.html

  • 模型去哪里寻找?来Hugging Face

Hugging Face是一个开源的机器学习平台,专注于自然语言处理(NLP)和人工智能(AI),是全球机器学习和社区合作开发模型、数据集和应用程序的主要集合地。

首先确定模型规格

根据模型名,去MindNLP模型对应位置查找对应模型文件,查看modeling_xxx.py文件。

在文件中查找XXX_PRETRAINED_MODEL_AECHIVE_LIST,如下图,即待上传模型规格。

以deit为例,去Hugging Face官网(或者HuggingFace国内镜像)搜索‘facebook/deit’,如下图,即待上传模型规格。

如果_CHECKPOINT_FOR_DOC也没有,则查看是否有示例注释,如下图。

以depth-anything为例,去Hugging Face官网(或者HuggingFace国内镜像)搜索‘LiheYoung/depth-anything’,如下图,即待上传模型规格。

下载模型

进入Hugging Face官网(或者HuggingFace国内镜像),根据模型规格搜索模型。

点击Clone repository,通过git-lfs将模型仓克隆到本地。

模型如何上传?

第一步:首先将模型上传至魔乐社区,上传之前需要在社区新建模型仓库,如下图所示

第二步:创建完成之后就是上传了,此时记住我们在openmind_hub云端上的模型的路径为:lvzhou/all-MiniLM-L12-v2,接下来在all-MiniLM-L12-v2模型目录下新建examples目录,并在examples目录内创建inference.py和requirements.txt,两个文件的内容如下:

inference.py

主要修改parse_args函数内的default参数所指定的模型路径,便于接下来将模型上传到openmind_hub中,具体代码可查看提供的md文件(inference.py)

inference.py.md

requirements.txt

设置NPU下运行该脚本需要配置的对应文件,默认torch_npu, openMind Library已安装

命令行:transformers==4.39.2

第三步:创建好就可以上传,先打开魔乐社区 链接:https://modelers.cn/my/tokens,新建一个令牌,将权限设置为write,并将其复制在下面的上传代码中token中,具体代码可查看md文件(上传代码.md)







请到「今天看啥」查看全文