专栏名称: 计算机视觉深度学习和自动驾驶
讨论计算机视觉、深度学习和自动驾驶的技术发展和挑战
目录
相关文章推荐
FM1007福建交通广播  ·  宇树科技携两款机器人亮相2025GDC ·  昨天  
FM1007福建交通广播  ·  宇树科技携两款机器人亮相2025GDC ·  昨天  
哔哩哔哩  ·  高中生随便出手,做了个折叠手机? ·  2 天前  
哔哩哔哩  ·  30岁母单和25岁早婚,婚恋观差别有多大? ·  2 天前  
哔哩哔哩  ·  马斯克刚发的地表最强AI,拉胯了吗? ·  3 天前  
51好读  ›  专栏  ›  计算机视觉深度学习和自动驾驶

AI2Apps:用于构建基于 LLM AI 智体APP的可视化 IDE

计算机视觉深度学习和自动驾驶  · 公众号  ·  · 2024-05-15 00:10

正文

24年4月 来自ContinuAI和复旦大学的 论文 AI2Apps: A Visual IDE for Building LLM-based AI Agent Applications ”。

AI2Apps是一种具有全环功能的可视化集成开发环境 (Visual IDE),可加速开发人员构建可部署的基于 LLM 的 AI 智体APP。该可视化 IDE 优先考虑开发工具的完整性和组件的可视性,确保流畅高效的构建体验。一方面,AI2Apps 集成了全面的开发工具包(从原型设计画布和AI辅助代码编辑器到智体调试器、管理系统和部署工具),所有这些都位于基于 Web 的图形用户界面中 。另一方面,AI2Apps 将可重用的前端和后端代码可视化为直观的拖放组件。此外,名为 AI2Apps Extension (AAE) 的插件系统专为可扩展性而设计,展示具有 20 个组件的新插件如何使 Web 智体能够模仿类人的浏览行为。

以下为演示、代码和视频网址:

https://www.ai2apps.com

https://github.com/Avdpro/ai2apps

https://youtu.be/tQTqxk1LzzU



LLM Operations (LLMOps) 平台通常缺乏与为专业开发人员设计的工程级工具的集成,从而限制了编程和调试的灵活性 Openai, 2023; LangChain, 2023b; Microsoft, 2023a; Baidubce, 2023a; ByteDance, 2023; Gao et al., 2024; Xie et al., 2023; LangGenius, 2023; Logspace, 2023; FlowiseAI, 2023; Dataelement, 2023 集成开发环境(IDE)无法提供足够的可重用可视化组件,并且在整个开发过程中仍然繁琐且耗时 Microsoft ,2023c,e)。 软件开发套件(SDK)作为 智体 框架的基础,通常集成到 LLMOps 中或通过 IDE 使用( Microsoft, 2023d; AutoGPT, 2023; LangChain, 2023a; Wu et al., 2023; Li et al., 2023; Chen et al., 2023; Baidubce, 2023b; Nakajima, 2023; Microsoft, 2023b; Hong et al., 2023

如图概述 AI2Apps 与构建基于 LLM AI 智体APP的现有工作之间的比较,纵轴表示开发工具的完整性,横轴表示组件的可视性。

如图是AI2Apps 的架构。左侧和右侧显示屏幕截图。(a) 原型画布利用内置组件来设计拓扑图。(b) 代码编辑器利用AI辅助继续对原型画布实时生成的代码进行编程。(c)智体调试器可查明问题并优化智体性能。(d) 部署工具发布可部署的应用程序。(e) 插件扩展系统引入新组件。(f) 管理系统支持运行环境和资源调度。

原型设计通过创建交互式模型来验证功能和用户体验,最终降低成本并确保交付满足用户需求的成功应用程序,从而在应用程序开发中发挥着关键作用。 在设计模式下,开发人员可以通过在原型画布中拖放组件来快速设计代理逻辑。 其特点包括: 基于拓扑、视觉组件和代码同步。

代码编辑器是开发人员用来编写和编辑软件开发项目代码的软件工具。在代码模式下,AI2Apps 具有AI辅助代码编辑器,旨在帮助开发人员编写高质量的应用程序代码。其特点包括:AI copilot、AI UI 创建器和多语言。

智体调试器的设计概念从通用 IDE 中的调试功能中汲取灵感。与专注于逐行调试代码的传统 IDE 不同,智体调试器是专门为遵循拓扑图的轨迹而定制的。其功能包括:断点,单步运行,跟踪,GPT 模拟。

现有的主流开发平台大多开发应用程序严重依赖平台自身的运行环境,阻碍了AI智体应用程序的开发。而AI2Apps作为一个可视化IDE,集成了多种部署工具,支持用户直接构建可外部部署的应用程序。完整的AI智体可以打包为独立的网络/移动应用程序。它们还可以作为AI扩展集成到现有的网站/应用程序中,只需几行代码。

AI2Apps Extension(AAE)是专门为AI2Apps设计的插件扩展系统。AAE 为开发人员提供了广泛的机会,利用开放技术作为插件和可拖动组件来增强应用程序。AAE 具有可重用组件,允许开发人员组合现有组件或创建新组件。开发人员可以将自定义组件发布为包来共享,从而通过 AAE 系统扩展 AI2Apps 的功能。







请到「今天看啥」查看全文