AI 聊天机器人

1. 选择模型 + 提供商 - OpenAI gpt-4o / Anthropic Claude / 开源 Llama 3 经 Together - 流式输出 token（SSE）降低感知延迟；规划上下文窗口 - 按任务选：推理（Claude）、工具使用（gpt-4o）、成本（Llama） 2. 设计 RAG 检索 - 文档分块（500-1000 token，50 token 重叠） - 嵌入 + 存入向量库（pgvector、Pinecone、Qdrant） - 检索 top-k（5-10），用交叉编码器重排 - 混合：BM25 关键词 + 语义——在精确术语上胜过纯语义 3. 设计函数调用（工具） - 每个工具定义 JSON schema（name、description、params） - 模型可调用的工具：search_docs、get_order、create_ticket - 工具描述要精确——模型读它来决策 4. 设计会话状态 - 消息存数据库（非仅会话内存）便于审计 - 接近上下文上限时摘要旧轮次 - 追踪工具调用 + 结果，便于调试失败 5. 规划评估 - 从真实用户建 50-100 对黄金 Q&A - 衡量检索召回 + 回答忠实度（RAGAS / TruLens） - 上线前评估——"凭感觉"测试会漏回归

架构： 用户消息 -> retrieve(k=8) -> 重排 -> 构建提示 -> 流式 LLM -> tool_call? -> 执行 -> 回填 向量库（pgvector）： docs (id, content, embedding vector(1536), metadata jsonb) 索引：embedding 上 ivfflat 工具 schema（OpenAI 格式）： { "type": "function", "function": { "name": "get_order", "description": "按 ID 查用户订单", "parameters": { "type": "object", "properties": { "order_id": { "type": "string" } }, "required": ["order_id"] } } } 黄金评估集：eval/golden.jsonl 中 80 对 Q&A，每个 PR 跑 RAGAS

1. 用 SSE 流式响应 - res.setHeader('Content-Type', 'text/event-stream') - token 到达即流式发送；末尾发 [DONE] - 前端：EventSource 或 fetch + ReadableStream 2. 实现工具调用循环 - 循环：调模型 -> 若 tool_calls，逐个执行 -> 追加结果 -> 再调模型 - 限制迭代次数（最多 5）防死循环 - 执行前用 zod 校验每个工具参数 3. 加护栏 - 输入：检索前过滤提示注入 / PII - 输出：检查回答基于检索上下文（无幻觉） - 按用户限流；每轮限 token 4. 管理上下文窗口 - 每条消息算 token；超 70% 上限时摘要 - 始终保留系统提示 + 最近 2 轮原文 - 丢弃未进入回答的检索块（省成本） 5. 持久化 + 可观测 - 每轮存数据库（消息、工具调用、检索文档） - 日志到 LangSmith / Langfuse 供追踪和评估 - 追踪：进出 token、每轮延迟、工具调用成功率

SSE 流式端点（Node）： res.writeHead(200, { 'Content-Type': 'text/event-stream' }); const stream = await openai.chat.completions.create({ stream: true, ... }); for await (const chunk of stream) { res.write(`data: ${JSON.stringify(chunk.choices[0].delta)}\n\n`); } res.write('data: [DONE]\n\n'); res.end(); 工具调用循环（限次）： for (let i = 0; i < 5; i++) { const res = await callModel(messages); if (!res.tool_calls?.length) return res.content; for (const call of res.tool_calls) { const args = schema.parse(JSON.parse(call.arguments)); // 校验 messages.push({ role: 'tool', tool_call_id: call.id, content: await runTool(call.name, args) }); } }

1. 选择平台 - Vercel（Next.js Route Handlers）：简单，流式 SSE，可选 edge runtime - Cloudflare Workers：全球边缘，免费额度大，AI 绑定 - Fly.io：需长时运行 Python/Go 后端 + 向量库时 2. 流式部署 - edge runtime 最低延迟（但注意上下文窗口限制） - 保持 SSE 连接；处理客户端断开（中止模型调用） 3. 追踪每会话成本 - 每轮记进出 token；乘以模型单价 - 平均成本/会话飙升 > 2x 基线时告警 - 设按用户每日 token 预算；超限硬停或降级模型 4. 监控质量 - 抽样 5% 会话人工评审（或 LLM-as-judge） - 追踪幻觉率、工具调用失败率、用户点踩率 - 1 小时窗口点踩 > 10% 时告警 5. 安全迭代 - 对 10% 流量 A/B 测试提示/索引变更 - 每次部署重跑黄金评估集（回归则阻断） - 提示版本化（git），坏变更一行回滚

Vercel Route Handler（edge + 流式）： export const runtime = 'edge'; export async function POST(req) { const stream = await chat(req.body); // 返回 ReadableStream return new Response(stream, { headers: { 'Content-Type': 'text/event-stream' } }); } 成本追踪（每轮）： const cost = (promptTokens * 0.005 + completionTokens * 0.015) / 1000; await db.turns.insert({ userId, cost, tokens: { in, out } }); // 告警：每用户每日 SUM(cost) > $2 -> 降级到 gpt-4o-mini 质量告警（Langfuse）： thumbsDownRate(window=1h) > 0.10 -> PagerDuty -> 调查提示 diff