Next.js 与 Vercel AI SDK 接入 QuickRouter 流式文本

更新于

在已有 Next.js App Router 项目添加服务端接口,让客户端逐步收到模型输出。

先创建 QuickRouter 令牌,确认当前令牌可以调用示例模型。需要换模型时,先查找模型 ID和对应接口。

密钥存到服务端;创建 POST 路由;本地验证逐步输出
本篇操作路径示意。

1. 安装依赖并设置密钥

npm install ai @ai-sdk/openai-compatible

在项目根目录的 .env.local 设置 QUICKROUTER_API_KEY。这个密钥由服务端读取,变量名不加 NEXT_PUBLIC_。将下面的占位内容换成自己的令牌,保存后重新启动开发服务器。

QUICKROUTER_API_KEY=YOUR_QUICKROUTER_API_KEY

2. 创建服务端路由

在 app/api/quickrouter/chat/route.ts 保存以下内容。项目采用 src/app 时,把文件放到其下的相同位置。

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

export const runtime = 'nodejs';

export async function POST(request: Request) {
  const apiKey = process.env.QUICKROUTER_API_KEY;
  if (!apiKey) {
    return new Response('请在服务端配置 QuickRouter API Key', { status: 500 });
  }

  const body = await request.json().catch(() => null);
  const prompt = typeof body?.prompt === 'string' ? body.prompt.trim() : '';
  if (!prompt || prompt.length > 2000) {
    return new Response('请输入 1 到 2000 个字符', { status: 400 });
  }

  const quickrouter = createOpenAICompatible({
    name: 'quickrouter',
    apiKey,
    baseURL: 'https://api.quickrouter.ai/v1',
  });

  const result = streamText({
    model: quickrouter.chatModel('gpt-4o-mini'),
    prompt,
    maxOutputTokens: 256,
    maxRetries: 0,
    abortSignal: request.signal,
    onError: ({ error }) => console.error('QuickRouter stream failed', error instanceof Error ? error.name : 'unknown'),
  });

  return result.toTextStreamResponse();
}

3. 在本地确认输出

运行 npm run dev,打开另一个终端执行以下命令。开发服务用了其他端口时,请替换地址。收到文本后在QuickRouter 使用日志核对模型和请求时间。

curl -N http://localhost:3000/api/quickrouter/chat \
  -H 'Content-Type: application/json' \
  -d '{"prompt":"用三句话解释什么是流式输出。"}'

该路由用于本地接入验证。公开部署时,为调用者添加身份验证和调用限额,避免他人使用服务端密钥提交请求。

遇到问题时检查什么

  • 400 或 500。400 先检查 JSON 里的 prompt,500 先检查本地服务是否加载了密钥。
  • 连接成功却没有文字。检查服务端的流错误、模型权限和 QuickRouter 日志。文本流开始后,不能单靠 HTTP 200 判断整次生成成功。
  • 文字最后一次性出现。先用本地 curl -N 确认上游可流式,再核对反向代理是否缓冲响应。

相关文档

在线客服