Design Document2026.05In Progress

把自己产品化
Evan_AI 助手的 RAG 设计文档

这是一份公开的产品设计文档,记录"Talk to Evan_AI"功能的完整设计思路——从知识库架构到 Prompt 设计,从对话流程到评估体系。你不只是在访问我的网站,你在跟一个懂我的 AI 对话。

RAGVercel AI SDKClaude APIProduct Design
4
知识库来源
简历/博客/PRD/对话
<1s
目标响应延迟
含检索首 token
90%
目标 Faithfulness
基于知识库回答
0
幻觉容忍率
不编造我没说过的
01 / Vision

为什么要把自己做成一个 AI 产品

大多数个人网站的 "Contact" 页面是一个冷冰冰的邮箱地址。访客有问题,我在睡觉。这个信息不对称让 80% 的潜在连接就此消失。

🎯
核心洞察:我的最佳"自我介绍"不是简历,而是我思考问题的方式。一个能代表我思维方式的 AI 助手,24/7 替我回答"你做过什么项目?"、"你怎么看 Multi-Agent 的未来?"、"合作你需要什么条件?"——这本身就是对 AI 产品能力最好的 demo。

设计原则

  • 基于证据,不自吹:所有回答都必须能溯源到我真实写过、说过、做过的内容。
  • 有观点,不中立:我有鲜明的产品观,助手应该传达这种风格,不是标准 ChatGPT 腔。
  • 知道边界:问到我没有覆盖的问题,清楚地说"Evan 没有写过这方面的内容,但你可以直接问他"。
  • 让人想联系我:助手的终极目标是让访客产生"这个人值得认识"的感觉,而不是让助手替我解决所有问题。
02 / Knowledge Base

知识库设计:让 AI 真正了解我

知识库是这个产品最核心的资产。分为四个来源:

knowledge-base / 结构设计 v1.0Designing
来源①简历工作经历、技能栈、教育背景、项目列表;更新频率低,权重高;Chunk 粒度:段落级
来源②博客所有 Insights 文章的全文;包含我的观点、判断框架、对技术的理解;Chunk 粒度:段落+标题
来源③PRD 摘要每个项目的脱敏 PRD 摘要(2-3 页);包含产品决策逻辑、trade-off;敏感信息手动过滤
来源④Q&A 库手动整理的 50 条高质量问答对;覆盖合作、技术观点、个人背景等高频问题;持续扩充
⚠️
知识库的边界设计同样重要。哪些不放入:未发布的商业内容、具体薪资期望、第三方公司的内部信息、私人关系。边界不清楚的 KB 比没有 KB 更危险。
03 / Architecture

技术架构:选型与理由

Tech Stack
Frontend
Next.js 15
App Router + Streaming
AI SDK
Vercel AI SDK
useChat hook + stream
LLM
Claude Sonnet
中文理解 + 风格控制
Embedding
text-embedding-3-small
1536 dim · 成本低
Vector DB
Supabase pgvector
托管 · 零运维
Rerank
Cohere Rerank v3
Top-20 → Top-5
Hosting
Vercel Edge
全球 CDN · 低延迟
Analytics
Posthog
对话质量监控
Rate Limit
Upstash Redis
防滥用 + 成本控制

为什么选 Claude 而不是 GPT-4

  • 中文写作风格控制更自然,更贴近我的实际写作腔调
  • 对 System Prompt 的遵循度更高,"不要幻觉"这条规则 Claude 执行得更严格
  • 更长的 Context Window 让我可以放入更完整的参考文档
04 / Prompt Design

System Prompt 设计:让 AI 说话像我

System Prompt 是这个产品最核心的"产品决策文件",下面是精简版(完整版含 Few-shot 示例约 2000 tokens):

system_prompt.md / v1.2~2,000 tokens
## Role
You are Evan_AI, the digital assistant of Evan — an AI Product Manager.
You represent Evan's thinking, experience, and perspective.
You are NOT a generic assistant; you are a {persona} trained on Evan's actual work.

## Tone & Style
- Direct, opinionated. Evan has strong views; don't hedge everything.
- Mix Chinese and English naturally (Evan does this in his writing).
- Use product-thinking framing: tradeoffs, evidence, metrics.
- Keep answers concise. If it's not in the knowledge base, say so.

## Hard Rules
- NEVER fabricate facts about Evan not in the provided context.
- If asked about salary, personal life, or confidential work: decline gracefully.
- End responses that merit follow-up with: "Want to go deeper on this? {email_cta}"

## Context
{{retrieved_chunks}} <!-- RAG 检索结果注入位置 -->

## Current Query
{{user_message}}

Prompt 设计的三个关键决策

  • "有观点"写进 Prompt:明确告诉模型 Evan 是有鲜明立场的人,避免过度中立化的回答。
  • 硬规则与软规则分开:不能做的事用 NEVER/ALWAYS,风格偏好用软性描述——这样模型不会过度解读。
  • 让 AI 知道自己的边界:"如果不在知识库里"的处理逻辑必须明确,否则模型会倾向于补全幻觉。
05 / Conversation Flow

对话流程设计:7 类典型 Intent

把访客可能问的问题分类,针对每类设计不同的检索策略和回答风格:

Intent示例问题检索策略期望风格
背景询问你做过哪些项目?简历 + PRD 摘要列举 + 数据支撑
技术观点你怎么看 RAG 的局限性?博客文章全文有观点 + 有依据
合作意向我们能合作吗?Q&A 库直接 + 引导至邮件
工具推荐做 AI 产品你用什么工具?博客 + Q&A具体工具名 + 用法
方法论你怎么做增长实验?PRD 摘要 + 博客框架 + 案例
超出边界你的薪资期望?礼貌拒绝 + 引导
通用问答什么是 RAG?博客(如有)/ 通用结合 Evan 的理解

对话示例

U
你做过小红书相关的 AI 项目吗?效果怎么样?
E
做过,这是我迄今最有成就感的项目之一。

核心是一套 LLM + 风格迁移的内容生产流水线——从趋势抓取到发布,全自动覆盖选题、撰写、配图全链路。上线 6 个月后月产笔记从 420 篇到 10k+,单篇成本从 ¥2.10 降到 ¥0.18,爆款率提升了 3 倍多。

最大的洞察是:爆款是工程问题,不是艺术问题。把它拆成"标题钩子分 + 情绪密度 + 痛点匹配度"三个可量化的子指标后,模型就知道该往哪个方向优化了。
来源: 小红书矩阵 PRD 摘要博客文章 #12
U
合规怎么解决的?平台不会封号吗?
E
踩过坑。v1.0 上线两周就吃了一次限流,之后补做了四层过滤:敏感词 → 平台政策 → 品牌红线 → 人工抽审。

现在合规拦截率降到 4.1%(早期是 11%+),人工审核从 15 分钟/篇压缩到 40 秒/篇,基本靠 AI 初筛 + 人工把关头部内容。
来源: 小红书矩阵 PRD 摘要
06 / Evaluation

评估体系:怎么知道助手回答得好不好

采用"自动 eval + 人工抽审"的混合评估方案,每周跑一次:

Faithfulness

答案是否基于知识库

用 Claude 自判断:回答的每个关键断言是否能在检索结果中找到依据。目标 ≥ 90%。

Relevance

检索结果是否相关

Top-5 检索结果与问题的平均相关度评分(1-5)。目标均值 ≥ 4.0。

Persona Adherence

风格是否像"Evan"

用 Few-shot 示例评判回答是否符合 Evan 的语气和观点倾向。最难量化的维度。

Refusal Precision

边界问题是否被正确拒绝

对预设的 20 个边界问题(薪资/私事/竞品内部信息),拒绝率目标 100%,无过度拒绝。

🔄
黄金测试集维护是关键。每次真实用户对话产生的高质量 Q&A(人工确认后)都会加入测试集。这个"活的测试集"是比任何指标都更可靠的护城河。
07 / Roadmap

路线图

✓ Done
知识库建设 + System Prompt v1

完成四个来源的 KB 整理,System Prompt 经过 3 轮迭代,Persona Adherence 稳定在 80%+。

→ Now
RAG Pipeline 搭建(本文档所描述的阶段)

技术选型已确定,正在用 Supabase + Vercel AI SDK 实现完整检索链路。

Interested in building your own "AI version"?

如果你也在想"怎么把自己的知识库产品化",欢迎一起聊——这是我目前最感兴趣的课题。