看云软件于 2024 年 6 月发布了一款面向 UI/UX 设计师的全新设计工具——Motiff 妙多。这款产品自 2021 年开始研发，旨在通过人工智能技术提升设计师的工作效率。
Motiff 在短短两年多的时间内，经过多次大规模代码重构，在编辑器性能上取得了显著进步。据官方数据显示，Motiff 在设计师常用的文件加载、页面切换等操作上，实现了对部分同类产品的性能超越。
此外，为了加速开创AI应用，Motiff妙多还自研了国内首个UI大模型——Motiff妙多大模型。根据公开测试数据，Motiff 妙多大模型在多个行业公认的 UI 能力基准测试中表现优于 GPT-4o 和苹果的 Ferret UI 等同类产品。在错误率控制方面，Motiff 妙多大模型也展现出一定的优势。众所周知，大语言模型在生成文本时容易出现错误，例如 GPT-4 在某些任务中的错误率可达 70% 以上。相比之下，Motiff 妙多大模型的错误率相对较低，平均错误率控制在 15% 以下，部分指标的错误率甚至仅为 7%。
那么，Motiff 妙多是如何做到的？它是否会给 UI 设计行业带来变革？InfoQ 采访了 Motiff 妙多 AI 负责人赵薇。赵薇本科毕业于上海交通大学，研究生毕业于中国科学院，曾就职于微软（中国）。她专注于自然语言处理和多模态算法研究多年，并在国际赛事中取得了优异成绩。目前，赵薇正带领团队在 UI 设计 AI 领域进行前沿探索。
在即将于 10 月 18-19 日召开的
QCon 上海 2024 全球软件开发大会
上，赵薇将分享更多多模态大模型在 UI 设计领域的应用实践细节。
InfoQ：哪些 UI 场景可以用传统 AI 来实现？而大模型又能帮助 UI 设计解决哪些问题？
赵薇：
传统 AI 和大模型在 UI 设计中各有其优势，两者之间的应用领域没有绝对的界限。
有些问题，传统 AI 和大模型都可以解决。例如，设计系统中的图像识别任务，传统的算法和大模型都能够胜任。
然而，在某些场景下，使用传统算法可能会更加直接和高效。比如自动布局，大模型在处理这种问题时，需要克服信息输入和理解上的挑战。比如：如何有效地将整张设计稿的信息输入模型，如何让大模型理解并执行布局任务等。
令人兴奋的是，大模型在一些复杂的生成任务中展现出了巨大的潜力。例如，我们最近开发的“AI 生成 UI”功能，就是借助大模型实现的。这类生成任务利用了大模型在文本和图像生成方面的优势，使得 UI 设计变得更加自动化和智能化。
InfoQ：您是否能简述大模型生成 UI 的原理？（含训练和生成的大概过程？
赵薇：
最开始，我们尝试用通用大模型开发 AI 生成 UI 功能。但是通用大模型在 UI 生成的基础知识方面表现出了一些不足，特别是在为内容选择合适组件时。这主要是因为大模型缺乏 UI 领域的专业知识。
为了应对这一挑战，我们专门训练了 Motiff 妙多大模型。我们向其注入了大量 UI 领域的专业知识，使其更好地理解和掌握 UI 设计的关键概念和原则。借助这个具备 UI 领域专业知识的大模型，并通过精细化的流程拆解，我们最终实现了 AI 生成 UI 功能。
InfoQ：“GPT-4 在 UI 领域错误率甚至超过 70%。而 Motiff 妙多大模型将错误率降低到 15% 以下，个别指标错误率仅为 7%。”那么 GPT-4 这样的通用大模型在 UI 设计等特定领域容易出现高错误率的原因是什么？是模型架构的限制，还是训练数据的不足？
赵薇：
GPT-4 在 UI 设计领域错误率较高主要原因在于其通用性和训练数据的局限。作为一个广泛适用的大模型，GPT-4 需要权衡多个领域，导致其在特定领域如 UI 设计中表现欠佳。通用训练数据中 UI 设计相关的内容占比过低，使其缺乏足够的专业知识和最佳实践。
相比之下，Motiff 妙多大模型专注于 UI 领域，使用丰富的特定领域训练数据和优化策略，通过专门的学习路径与反馈机制，显著提升了 UI 设计任务的精度，降低了错误率。这种针对性训练使模型更准确地执行 UI 设计任务。
InfoQ：在哪些具体的 UI 设计场景中，Motiff 妙多大模型的低错误率优势最为显著？
赵薇：
涉及到专业领域知识的场景，比如需要识别一张 UI 设计图上的所有组件，通用大模型很难给出专业的回答。
InfoQ：Motiff 妙多作为国内首个自研 UI 大模型的企业，取得了显著成果，您认为成功的关键因素有哪些？
赵薇：
这源于长期的坚持和积累。一方面是技术积累，我们在自主研发大模型方面已经积累了丰富的经验。另一方面是 Motiff 在 AI 方面的沉淀，Motiff 始终专注于 AI 功能的研究，已经构建了一批高质量的数据集和精度极高的专业模型。
InfoQ：2021 年写下第一行代码，然后在随后的两年中 Motiff 多次进行了大规模代码重构，能讲讲原因和背景吗？
赵薇：
Motiff 是一个专业软件，对于产品品质的要求非常高。团队本身也是在一边开发，一边探索。
针对 AI 功能而言，我们始终是从用户需求（钉子）出发，而非依赖现成的技术方案（锤子）。这些 AI 功能通常是通过“尝试 - 评估 - 再尝试 - 再评估”的不断迭代过程逐步开发出来的。在这个过程中，我们会发现早期设计中的不足和局限，因而需要重新审视和调整技术方案。
此外，用户的真实反馈和 AI 技术的迅猛发展也是推动我们进行重构的关键因素。这些实际需求和技术进步使我们不得不频繁地优化和改进代码，以便提供更加智能、精准和高效的服务。
总体而言，Motiff 的开发之路是一段不断探索和突破的旅程。每一次重构不仅是一项技术改进，更是我们在追求卓越品质和完善用户体验中迈出的重要一步。虽然重构在短期内可能增加了工作负担，但从长远来看，这种投入让我们能够更好地应对未来的挑战，提供更加优质的产品。
InfoQ：对于 AI 部分，Motiff 的演进是什么样子的？其中最大的变动是什么？
赵薇：
Motiff AI 的演进其实有两条线。
一条明线是面向用户的需求层面。最初我们发现了一些在具体的场景中 AI 可以显著提高效率，便开始了尝试。我们逐步归纳这些需求场景：有些是设计师日常高频使用的提效工具，有些是不高频但能辅助设计师进行效果好、门槛高的设计系统实践，还有些功能代表了我们对未来的探索。最终总结出 AI 工具箱、AI 设计系统和 Motiff 妙多实验室三个方向。
