本章定位：开发者接入大模型 API 的通用写法与生产清单；后半部分
API 网关与中转站 适合需要统一计费、多模型路由的团队。
说明：以下示例采用行业通用的 OpenAI Chat Completions 格式；DeepSeek、通义、豆包等均提供兼容端点，具体 URL 与模型名见各平台文档。
📡 核心概念
Chat Completions
messages 数组：system / user / assistant 角色对话。
Embedding
文本转向量，供 RAG 检索使用。
stream: true
SSE 流式返回，边生成边展示。
tools / functions
模型返回要调用的工具名与参数 JSON。
💻 最小调用示例（Python）
from openai import OpenAI
client = OpenAI(api_key="YOUR_KEY", base_url="https://api.openai.com/v1")
resp = client.chat.completions.create(
model="gpt-4o",
messages=[{"role":"user","content":"你好"}],
stream=True
)
for chunk in resp:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
国内模型示例：将 base_url 换为厂商提供的兼容地址，model 换为如 deepseek-chat、qwen-plus 等。
🛡️ 工程实践清单
- 密钥：仅放服务端环境变量，禁止写进前端
- 重试：429/5xx 指数退避；设置 timeout
- 限流：按用户/租户 QPS 限制
- 日志：记录 request_id、token 用量，对接 观测
- 网关：多模型路由见下方 网关章节
🌐 API 网关与中转站
🎯 为什么需要中转站？
LLM API Gateway 介于用户与模型 API 之间，解决网络访问、统一计费、多模型路由等问题。
💰 管控
限流、配额、审计、多模型统一 OpenAI 格式
主流开源框架对比（Star 数为约数，以 GitHub 为准）
🎯 选型速查
商业转售
VoAPI / Sub2API（注意合规）
📋 快速部署（One-API）
Docker 启动docker run -d --name one-api -p 3000:3000 -v /data/one-api:/data justsong/one-api
配置渠道后台添加 DeepSeek/OpenAI 等上游 Key，生成用户 Token。
生产建议绑定域名 HTTPS、MySQL 持久化、对接
观测。
⚠️ C 端转售需关注《生成式人工智能服务管理暂行办法》及平台服务条款；内训以技术架构为主。