AI Hub：旨在持续测试和评估主流大型语言模型

项目简介

AI Hub旨在持续测试和评估主流大型语言模型，同时积累和管理各种有效的模型调用提示（prompt）。目前，AI Hub已接入国内所有主流的大型语言模型，包括文心一言、腾讯混元、智谱AI、MiniMax、百川智能等，并计划持续追踪、接入和评估新模型。

已支持模型列表：

1. OpenAI / gpt-4-turbo

2. OpenAI / gpt-3.5-turbo

3. Baidu / ERNIE-Bot-4（文心一言4）

4. Baidu / ERNIE-Bot-turbo（文心一言）

5. Zhipu / glm-4（智谱GLM-4）

6. Zhipu / chatGLM_turbo（智谱chatGLM）

7. Ali / qwen-plus（通义千问plus）

8. Ali / qwen-turbo（通义千问）

9. Tencent / ChatPro（腾讯混元高级版）

10. Tencent / ChatStd（腾讯混元标准版）

11. Baichuan / Baichuan2-Turbo（百川）

12. Minimax / abab5.5-chat（MiniMax）

13. Minimax / abab6-chat（MiniMax）

14. Xunfei / Spark3.1（讯飞星火）

15. Moonshot / moonshot-v1-8k (月之暗面)

16. Xunfei / Spark3.5 (讯飞星火3.5)

17. ByteDance / Skylark-chat (字节豆包)

    
    

使用前请在 Settings 页面设置模型的 credentials：

评估结果

英文翻译

测试用例看这里

编程

测试用例看这里

指令输出

测试用例看这里

大模型接入

如果你想自己接入列表中的大模型，可以通过以下方式。

Rest 服务

启动 ai-hub-server，访问

http://127.0.0.1:3000/api/v1/models/${provider}/${model}:chat

Post:

{    "input": "${input}"}

Java 代码接入

可以参考这里

@Servicepublic class AIModelInvokerFactory {
    private final ApplicationContext context;
    @Autowired    public AIModelInvokerFactory(ApplicationContext context) {        this.context = context;    }
    public AIModelInvoker getProviderAdapter(String providerName) {        AIProvider provider = AIProvider.fromName(providerName);
        switch (provider) {            case OPENAI:                return context.getBean(OpenAIInvoker.class);            case BAICHUAN:                return context.getBean(BaichuanInvoker.class);            case ALI:                return context.getBean(AliInvoker.class);            case BAIDU:                return context.getBean(BaiduInvoker.class);            case ZHIPU:                return context.getBean(ZhipuInvoker.class);            case TENCENT:                return context.getBean(TencentInvoker.class);            case XUNFEI:                return context.getBean(XunfeiInvoker.class);            case MINIMAX:                return context.getBean(MiniMaxInvoker.class);            default:                throw new IllegalArgumentException("Unknown provider: " + provider);        }    }
}

运行

Docker

推荐使用 docker-compose 启动服务

cd dockerdocker-compose up -d

数据库

参考脚本

前端

cd ai-hub-fenpm run start

服务端

需要 JDK 11 以上版本