专栏名称: 智东西

智东西－聚焦智能变革，服务产业升级！作为智能行业新锐媒体，智东西专注五大领域：VR/AR；AI/机器人/无人机；智能汽车/智能出行；智能家居/物联网；智能穿戴/智能医疗，通过内容、活动、报告以及社群等方式助力“智能＋”时代的创业和产业升级。

自家萌宠拜年都能生成？百度生图技术突破“准确性”最后一公里

智东西 · 公众号 · 科技媒体 · 2025-01-26 14:28

正文

百度自研iRAG，给模型加装亿级“视觉外挂知识库”。

作者 | 陈骏达

编辑 | 漠影

农历新年将至，各大互联网平台纷纷上线了春节营销活动。除了集“五福”、集卡等经典玩法之外，今年也有不少与AI结合的新玩法出现，百度搜索就推出了“AI拜年”活动。

现在，只需要在百度搜索“祝福语”，再点击“做贺卡”，按照自己的需求调整文案后，选择“创意照片”，就能定制各种脑洞大开、趣味十足的新年祝福卡片。

比如，你可以将自己的证件照上传，制作成一张在天坛前的专属的拜年海报。

在文心一言4.0中，你还可以将家里的宠物照上传，生成一张年味儿十足的“萌宠贺岁图”。

可以看到，AI不仅理解并准确呈现了文字提示词中涉及的“福字”、“农家院”等文化元素，还将用户上传的宠物照、人像自然地融合进生成结果，生成效果与实际照片的契合度也很高。

这一生成效果得益于百度研发的iRAG（检索增强的文生图技术）。这项技术给大模型装上了一个亿级的“视觉外挂知识库”，在生成图片时根据提示词等信息给大模型查找相关图片资源，作为参考数据，进而提升图像生成的准确性，还可降低制作成本。

接下来，就让我们来看看，这一充满节日氛围的AI营销背后，究竟蕴藏着什么样的技术实力？

01.

大模型深入理解中华文化，

精准生成名胜古迹与文化元素

在文心4.0中，我们进一步体验了“AI拜年”背后强大的生图能力。让人最眼前一亮的是，它展现出了对各种文化要素的精确理解。

例如，用户可以让文心4.0生成一幅“天坛雪景图”，要求体现蓝瓦屋顶和精美木结构的建筑风格，以及雪后静谧的氛围。

仅需等上几秒，文心4.0就完成了图像的生成。图像内容与天坛的实际形象基本符合，准确度较高。

而当其它的生图模型接到这一任务时，却出现了较为明显的幻觉问题。下图左侧的ideogram-v2将天坛的层数生成错了，而右侧的imagen-3.0生成的天坛与周边建筑和景观的比例不符合实际情况。

同样的，我们还能让文心4.0生成一幅“春节庙会”的场景，并指定其体现红灯笼、舞龙舞狮、糖画等传统元素。

对于中国传统的民俗艺术，文心4.0也能准确把握到其风格特点。这副剪纸画从颜色到风格上，都符合中国传统审美。

相同的提示词到了其它生图模型上，生成的风格完全不符合预期。左侧的结果虽然尝试还原传统剪纸艺术，但鱼的线条显得生硬，缺乏灵动感。而右侧的画面则过于现代，颜色选择也失去了剪纸艺术的精髓。

除此之外，AI拜年功能和文心4.0都支持图生图的定制化玩法，可玩性很强，用户几乎可以将任意照片上传，生成专属的图像。

将这只高冷的雪鸮交给文心4.0，它就能让雪鸮穿上年味十足的服饰。

用户也能把自己随手拍的白塔，搬到江南水乡。文心的融合结果毫无违和感，白塔的细节全都得到保留。

02.

iRAG给大模型加装知识库，

无缝衔接现实世界

上方案例中，文心4.0在生图任务中实现的高准确性、几乎无幻觉的表现，与背后百度自研的iRAG技术密不可分。

传统文生图模型在生成图像时，往往依赖于模型自身的生成能力和有限的训练数据，缺乏对特定文化元素和现实细节的精准把握，很容易生成不符合事实或逻辑的图像，也无法覆盖丰富的现实世界和多样化的场景需求。

百度则将已经在文字生成领域经受住可行性验证的RAG（检索增强生成）技术，引入图像领域，发展出iRAG技术，显著提升生成内容的可靠性和准确性。

iRAG技术就仿佛给大模型加装了一个“视觉外挂知识库”，让大模型能更好地理解用户在指令中提及的“天坛”、“白塔”、“庙会”到底应该是一副怎样的画面。

百度搜索收录了海量特定事物的可信图片资源，这些资源通过iRAG技术，与文心4.0模型的能力结合，用丰富的参考数据确保生成图像的真实可靠。

此外，这种生成与检索结合的技术路径，也能从多方面节省成本。iRAG让模型不需要完全依靠自身知识生成图像，减少了对大规模训练数据的需求。同时，使用了iRAG技术的图像生成“命中率”更高，从而减少修正和重新生成的需求，提高了整体效率。

同时，由于外部的数据库可以实现更为及时的更新，iRAG能让大模型始终保持对最新信息的敏感性和准确性，进一步提升成本效益和用户体验。

这种在准确性、成本效益方面实现的显著进展，标志着AI生图从娱乐工具向实用工具的本质转变。

03.

iRAG技术潜力显现，

或将推动AI生图广泛落地

自生成式AI浪潮兴起后，图像生成就一直是各大AI玩家发力的重点方向。这一赛道中既有Stable Diffusion这样的开源模型，也有DALL·E、Imagen等来自巨头的专有模型。这些模型凭借高度定制化的体验和解放用户视觉创意表达的潜力，吸引了不少个人与企业用户的使用。

然而，在众多生图模型落地具体生产场景时，准确性是困扰用户的关键问题。不准确的图像需要反复修改或重新生成，不仅耗费时间和资源，还会降低生产效率；AI生成的错误产品图片，还可能会影响客户的购买意愿；更严重的是，错误或不当的图像可能损害企业品牌形象，甚至引发法律纠纷，给企业带来额外的风险。

而iRAG在准确性、成本效益上的优势，恰好回应了专业用户使用生图模型时的种种痛点。这意味着这项技术不仅能应用于“AI拜年”这种娱乐性较强的营销场景中，还具备影视制作、广告设计、电子商务等更为广阔的想象空间。

在去年的百度世界大会上，百度创始人李彦宏便展示了一张大众汽车飞跃长城的画面。图中汽车的细节与真车别无二致，甚至还生成了汽车腾空而起时的烟尘。

过去拍摄这样一组汽车在特定场景的高质量宣传海报，成本往往高达一二十万甚至更多，而现在借助iRAG技术，创作成本几乎可以忽略不计。

在电子商务场景中，iRAG可以用于提升产品展示的效果和用户体验。通过生成高质量、逼真的产品图像，iRAG能够帮助商家快速创建吸引眼球的商品展示页面。

自家萌宠拜年都能生成？百度生图技术突破“准确性”最后一公里

正文

请到「今天看啥」查看全文