专栏名称: 阿里开发者
阿里巴巴官方技术号,关于阿里的技术创新均将呈现于此
目录
相关文章推荐
百度智能云  ·  百度智能云助力WPS ... ·  3 天前  
阿里开发者  ·  从自建到云端,数据库迁移全攻略 ·  昨天  
白鲸出海  ·  洗衣机大王出海,一年狂销35个亿 ·  4 天前  
白鲸出海  ·  中国互联网出海一周头条 ... ·  6 天前  
51好读  ›  专栏  ›  阿里开发者

不用看就能懂,快速理解海量视频内容

阿里开发者  · 公众号  · 科技公司  · 2024-12-20 18:00

正文

阿里妹导读


想要快速理解海量视频内容?借助视频视觉理解技术,您可以轻松实现视频内容的自动化分析和信息提取。这项AI技术不仅大幅提升了工作效率,还为开发者提供了更多创意和应用的可能性。

  • 视频太长,没时间看完?想要快速获取文字摘要以提高信息获取效率?

  • “生肉”视频没有字幕,难以理解?希望更好地掌握视频内容?
  • 视频太多,难以管理?想要快速分类并加上精准标签?
  • 想根据游戏视频实时分析玩家行为,实现精准解析?

现在,这一切都迎刃而解!借助视频视觉理解技术,您可以轻松实现视频内容的自动化分析和信息提取。这项AI技术不仅大幅提升了工作效率,还为开发者提供了更多创意和应用的可能性。

通过下图展示的1928年阿姆斯特丹奥运会的实际案例,您可以直观感受到AI在处理视频内容方面的高效与精准。无论是自动摘要、字幕生成、内容分类还是行为分析,视频视觉理解都能为您带来前所未有的便利和创新体验。

一、技术架构

本文介绍的视频内容提取主要使用了以下三种基础设施和云服务,函数计算 FC 函数、对象存储 OSS Bucket和百炼模型服务。其中函数计算 FC 函数用于提取视频关键帧和调用百炼模型服务 API,进行视频信息提取。对象存储 OSS Bucket用于存储视频关键帧图片。百炼模型服务用于调用API使用视觉模型和文本模型最终实现视频理解与内容提取。

在视频理解与内容提取的流程中,会先使用计算资源(本方案使用的函数计算)构建的 Web 服务来接收用户的请求,在函数计算内部将视频关键帧图片上传到对象存储 OSS 中,然后将关键帧图片地址和提示词发送至百炼模型服务,由视觉模型处理后,再次调用文本模型处理,最终将结果呈现出来。

下图展示了完整的技术架构,视频上传后即可一键获得精炼版文字内容。

二、体验部署


  1. 前置准备

在开始体验之前,准备阿里云账号并开通百炼模型服务、创建对象存储OSS。(别忘记领取免费试用资源哦!)

  • 开通百炼模型服务

1. 开通百炼:前往百炼控制台[1],如果页面顶部显示以下消息,您需要开通百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通。

  1. 获取API Key:在控制台的右上角选择API-KEY,然后创建API Key,用于通过API调用大模型。

  • 创建对象存储OSS

接下来创建1个对象存储OSS Bucket,用于存放静态资源。

1. 登录OSS管理控制台[2]。

2. 在左侧导航栏,选择Bucket列表。

3. 在Bucket列表页面,单击创建Bucket

4. 在创建Bucket面板,按照下表信息进行配置,然后单击完成创建

  1. 部署启动 

前往部署[3]打开我们提供的函数计算应用模板,参考下表进行参数配置,然后单击创建并部署默认环境

  1. 应用体验

1)完成上述步骤后,可以在环境详情环境信息中找到示例网站的访问域名。点击访问域名,即可打开示例应用。

2)点击提取信息,使用默认填写的关键词,模型会根据给出的关键词提取出对应的信息。

3)提取结果展示如下:

点击阅读原文查看方案详情~
动手尝试起来吧,欢迎文末留言你使用视频生成的文字提取结果,可获得阿里云限量定制周边哦!

参考链接:

[1]https://bailian.console.aliyun.com/#/model-market

[2]https://oss.console.aliyun.com/overview

[3]https://fcnext.console.aliyun.com/applications/create?template=video-information-extraction&deployType=template-direct&from=solution