大模型专题：2024快意大模型及短视频场景应用

如何下载资料？

微信扫下方二维码加入星球平台

【老会员续费特惠】

今天分享的是：大模型专题：2024快意大模型及短视频场景应用

报告共计：56页

2022年底ChatGPT上线后，快手于2023年初启动快意大模型研发专项。其具备多方面优势，如广泛应用场景、海量多模态数据及领先算力基建。在模型能力上，已发布多个版本，23年8/9月的13B/66B版本在权威榜单中表现领先，24年2月的175B版本在内部评测集上总体效果超GPT - 3.5，接近GPT - 4/4o水平，且快意多模态理解大模型开发中，kwaii - vlm - 8B - dev版本业务可用性佳。关键技术涵盖预训练、对齐、推理等阶段，包括Temporal Scaling Law、MiLe Loss、Scaffold - BPE、MoE路由优化等，还涉及SFT训练数据采样、答案质量提升、负反馈机制、迭代式RLHF + RLAIF及细粒度反馈训练等策略，以及词汇单元并行解码策略。应用场景丰富，如AI小快作为情感陪伴机器人，面临多模态内容理解、有趣有温度、长多轮互动及资源工具整合等挑战，通过相关技术在各方面取得成效，还包括对话式搜索、商业化短视频文案创作、营销智能Bot、B&C端理解、数字人智能体等应用，未来快手将持续提升大模型能力，融合AIGC能力，深耕应用并建立智能体生态。

以下为报告节选内容