LiteLLM Proxy 转发到 QuickRouter
创建一个模型别名,通过本机 LiteLLM Proxy 调用 QuickRouter。
先创建 QuickRouter 令牌。如果需要换模型,从模型目录复制完整 ID,并确认令牌支持对应接口。

1. 声明上游和模型别名
在隔离的 Python 环境安装 litellm[proxy] 和 openai,将下面内容保存为 config.yaml。
model_list:
- model_name: quickrouter-chat
litellm_params:
model: openai/gpt-4o-mini
api_base: https://api.quickrouter.ai/v1
api_key: os.environ/QUICKROUTER_API_KEY
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY2. 设置密钥并启动代理
在启动应用的终端设置令牌。macOS / Linux 的 Bash 或 zsh 可运行下面命令,按提示输入自己的密钥。
printf 'QuickRouter API Key: '; read -rs QUICKROUTER_API_KEY; printf '\n'
export QUICKROUTER_API_KEYWindows PowerShell 7.2+ 可用 $env:QUICKROUTER_API_KEY = Read-Host -MaskInput "QuickRouter API Key"。
另外设置 LITELLM_MASTER_KEY 为自己生成的、以 sk- 开头的本地代理密钥。启动仅监听本机的代理。
litellm --config config.yaml --host 127.0.0.1 --port 40003. 通过别名发起请求
在运行客户端的环境设置相同的 LITELLM_MASTER_KEY,执行下面的脚本,并到QuickRouter 使用日志核对上游请求。
import os
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:4000/v1",
api_key=os.environ["LITELLM_MASTER_KEY"],
max_retries=0,
)
reply = client.chat.completions.create(
model="quickrouter-chat",
messages=[{"role": "user", "content": "请只回复 OK。"}],
)
print(reply.choices[0].message.content)常见问题
- 提示模型不存在。调用时填写
model_name定义的别名,真实上游模型写在litellm_params.model。 - 401。先检查客户端的代理密钥,再检查代理进程的 QuickRouter 密钥。