项目简介
Important
在v0.7.0以后在配置方面会有较大调整，并与之前版本不兼容。通过UI配置起来会更加方便，且提供了更强大的配置选项。
OpenAI-Forward
是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。无论是代理本地语言模型还是云端语言模型，如 LocalAI 或 OpenAI，都可以由 OpenAI Forward 轻松实现。得益于 uvicorn, aiohttp, 和 asyncio 等库支持，OpenAI-Forward 实现了出色的异步性能
主要特性
-
全能转发：可转发几乎所有类型的请求
-
性能优先：出色的异步性能
-
缓存AI预测：对AI预测进行缓存，加速服务访问并节省费用
-
用户流量控制：自定义请求速率与Token速率
-
实时响应日志：提升LLMs可观察性
-
自定义秘钥：替代原始API密钥
-
多目标路由：转发多个服务地址至同一服务下的不同路由
-
黑白名单：可对指定IP进行黑白名单限制
-
自动重试：确保服务的稳定性，请求失败时将自动重试
-
快速部署：支持通过pip和docker在本地或云端进行快速部署
由本项目搭建的代理服务地址:
注：此处部署的代理服务仅供个人学习和研究目的使用，勿用于任何商业用途。
部署指南
👉 部署文档
使用指南
快速入门
安装
pip install openai-forward
pip install openai-forward[webui]
启动服务
如果读入了根路径的.env的配置, 将会看到以下启动信息
❯ aifd run╭────── 🤗 openai-forward is ready to serve! ───────╮│ ││ base url https:│ route prefix / ││ api keys False ││ forward keys False ││ cache_backend MEMORY │╰────────────────────────────────────────────────────╯╭──────────── ⏱️ Rate Limit configuration ───────────╮│ ││ backend memory ││ strategy moving-window ││ global rate limit 100/minute (req) ││ /v1/chat/completions 100/2minutes (req) ││ /v1/completions 60/minute;600/hour (req) ││ /v1/chat/completions 60/second (token) ││ /v1/completions 60/second (token) │╰────────────────────────────────────────────────────╯INFO: Started server process [191471]INFO: Waiting for application startup.INFO: Application startup complete.INFO: Uvicorn running on http:
代理OpenAI模型:
aifd run的默认选项便是代理https://api.openai.com
下面以搭建好的服务地址https://api.openai-forward.com 为例
Python
from openai import OpenAI client = OpenAI(+ base_url="https://api.openai-forward.com/v1", api_key="sk-******" )
代理本地模型
-
适用场景： 与 LocalAI， api-for-open-llm等项目一起使用
-
如何操作： 以LocalAI为例，如果已在 http://localhost:8080 部署了LocalAI服务，仅需在环境变量或 .env 文件中设置 FORWARD_CONFIG=[{"base_url":"http://localhost:8080","route":"/localai","type":"openai"}]。然后即可通过访问 http://localhost:8000/localai 使用LocalAI。
(更多)
代理任意云端模型
代理gemini pro
配置环境变量或 .env 文件如下：
FORWARD_CONFIG=[{"base_url":"https://generativelanguage.googleapis.com","route":"/gemini","type":"general"}]
说明：aidf run启动后，即可通过访问 http://localhost:8000/gemini 使用gemini pro。
-
场景1: 使用通用转发,可对任意来源服务进行转发， 可获得请求速率控制与token速率控制；但通用转发不支持自定义秘钥.
-
场景2： 可通过 LiteLLM 可以将 众多云模型的 API 格式转换为 openai 的api格式，然后使用openai风格转发
(更多)
配置
执行 aifd run --webui 进入配置页面 (默认服务地址 http://localhost:8001)
你可以在项目的运行目录下创建 .env 文件来定制各项配置。参考配置可见根目录下的 .env.example文件
智能缓存
开启缓存后，将会对指定路由的内容进行缓存，其中转发类型分别为openai与general两者行为略有不同， 使用general转发时，默认会将相同的请求一律使用缓存返回，
使用openai转发时，在开启缓存后，可以通过OpenAI 的extra_body参数来控制缓存的行为，如
Python
from openai import OpenAI client = OpenAI(+ base_url="https://smart.openai-forward.com/v1", api_key="sk-******" ) completion = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "user", "content": "Hello!"} ],+ extra_body={"caching": True})
多目标服务转发
支持转发不同地址的服务至同一端口的不同路由下 用例见 .env.example
对话日志
保存路径在当前目录下的Log/openai/chat/chat.log路径中。
记录格式为
{'messages': [{'role': 'user', 'content': 'hi'}], 'model': 'gpt-3.5-turbo', 'stream': True, 'max_tokens': None, 'n': 1, 'temperature': 1, 'top_p': 1, 'logit_bias': None, 'frequency_penalty': 0, 'presence_penalty': 0, 'stop': None, 'user': None, 'ip': '127.0.0.1', 'uid': '2155fe1580e6aed626aa1ad74c1ce54e', 'datetime': '2023-10-17 15:27:12'}{'assistant': 'Hello! How can I assist you today?', 'is_tool_calls': False, 'uid': '2155fe1580e6aed626aa1ad74c1ce54e'}
转换为json格式：
