LiteLLM Proxy 转发到 QuickRouter

更新于

创建一个模型别名,通过本机 LiteLLM Proxy 调用 QuickRouter。

先创建 QuickRouter 令牌。如果需要换模型,从模型目录复制完整 ID,并确认令牌支持对应接口。

声明上游和模型别名;设置密钥并启动代理;通过别名发起请求
操作路径示意。

1. 声明上游和模型别名

在隔离的 Python 环境安装 litellm[proxy] 和 openai,将下面内容保存为 config.yaml。

model_list:
  - model_name: quickrouter-chat
    litellm_params:
      model: openai/gpt-4o-mini
      api_base: https://api.quickrouter.ai/v1
      api_key: os.environ/QUICKROUTER_API_KEY
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

2. 设置密钥并启动代理

在启动应用的终端设置令牌。macOS / Linux 的 Bash 或 zsh 可运行下面命令,按提示输入自己的密钥。

printf 'QuickRouter API Key: '; read -rs QUICKROUTER_API_KEY; printf '\n'
export QUICKROUTER_API_KEY

Windows PowerShell 7.2+ 可用 $env:QUICKROUTER_API_KEY = Read-Host -MaskInput "QuickRouter API Key"。

另外设置 LITELLM_MASTER_KEY 为自己生成的、以 sk- 开头的本地代理密钥。启动仅监听本机的代理。

litellm --config config.yaml --host 127.0.0.1 --port 4000

3. 通过别名发起请求

在运行客户端的环境设置相同的 LITELLM_MASTER_KEY,执行下面的脚本,并到QuickRouter 使用日志核对上游请求。

import os
from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:4000/v1",
    api_key=os.environ["LITELLM_MASTER_KEY"],
    max_retries=0,
)
reply = client.chat.completions.create(
    model="quickrouter-chat",
    messages=[{"role": "user", "content": "请只回复 OK。"}],
)
print(reply.choices[0].message.content)

常见问题

  • 提示模型不存在。调用时填写 model_name 定义的别名,真实上游模型写在 litellm_params.model。
  • 401。先检查客户端的代理密钥,再检查代理进程的 QuickRouter 密钥。

相关文档

在线客服