RAG与知识库应用

def rag_answer(question, knowledge_base):
    chunks = split(knowledge_base)          # ① 切块
    vecs = [embed(c) for c in chunks]      # ② 向量化
    top = rank_by_similarity(
        question, vecs, top_k=5)           # ③ 检索+重排
    context = "\n".join(top)               # ④ 拼上下文
    prompt = f"根据以下资料回答：\n{context}\n问题：{question}"
    return llm(prompt) + cite(top)          # ⑤ 生成+引用

# 任何格式 → 纯文本 → 切成合适大小的块
doc = "Python是一种解释型语言。" * 3        # 假装是一篇 PDF
def chunk(text, size=30, overlap=5):         # 30字一块，重叠5字
    return [text[i:i+size] for i in range(0, len(text), size - overlap)]
chunks = chunk(doc)
print("文档总长：", len(doc), "字 → 分成", len(chunks), "块")
print("块1：", chunks[0][:30] + "…")
print("分块心法：块太大检索不准，块太小丢上下文，重叠防切断语义")

# "语义GPS"：意思近的句子距离也近
import numpy as np
def cosine(a, b):                    # 余弦相似度
    return np.dot(a, b) / (
        np.linalg.norm(a) * np.linalg.norm(b))

v1 = embed("我今天很开心")
v2 = embed("我今天很高兴")
v3 = embed("明天会下雨")
print("开心 vs 高兴：", round(cosine(v1, v2), 3))
print("开心 vs 下雨：", round(cosine(v1, v3), 3))

import numpy as np
def cos(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
q  = np.array([0.9, 0.8, 0.1])              # 问题「怎么装 Python」
d1 = np.array([0.95, 0.7, 0.0])             # 文档A：安装教程
d2 = np.array([0.1, 0.2, 0.9])              # 文档B：蟒蛇习性
print("与文档A相似度：%.3f  ← 相关！" % cos(q, d1))
print("与文档B相似度：%.3f  ← 无关" % cos(q, d2))
print("进阶：BM25 关键词打分 + 语义向量召回 → Rerank 重排")

# RAG = 先查资料再回答，让 AI 「开卷考试」
# 五步流水线：
pipeline = [
    "① 加载：读取 PDF/网页 → 切块",
    "② 向量化：每块转成 embedding 存入向量库",
    "③ 检索：用户问题 → 找最相关的 Top-K 块",
    "④ 拼装：问题 + 检索到的资料 → 组成 Prompt",
    "⑤ 生成：LLM 基于资料作答（可标注出处）",
]
for step in pipeline:
    print(step)
print("价值：知识可随时更新、能答私有数据、少幻觉")

# 常见病 → 常用药：
fixes = [
    ("检索不到", "改小分块 / 混合检索(BM25+向量) / 查询改写"),
    ("检索到但排序差", "加 Rerank 重排模型"),
    ("答案缺出处", "Prompt 里要求『仅根据资料回答并引用编号』"),
    ("资料太长爆窗口", "Top-K 调小 / 压缩摘要后再拼"),
    ("多轮对话指代不清", "先做问题改写『它指的是什么』"),
]
for symptom, cure in fixes:
    print(f"症状：{symptom}\n  处方：{cure}")

# 让图片和文字躺进同一个向量空间
# 步骤：图片 → CLIP 编码 → 向量；文字 → 同空间向量
# 检索时：问题(文字) 也能搜到 相关图片
schema = {"知识库": ["产品手册.pdf", "示意图.png", "FAQ.docx"],
          "统一编码": "全部转成同维度向量",
          "检索": "问题 → 同时命中文字块和图片",
          "生成": "多模态 LLM 看图作答"}
for k, v in schema.items():
    print(f"{k}：{v}")
print("应用：『这个报错截图是什么意思？』")

# 解决「模型知识停在训练那天」的问题
flow = [
    "① 触发：用户问了一个时效性问题",
    "② 爬取：实时抓取相关网页（带 UA、限速）",
    "③ 清洗：去标签留正文 → 切块",
    "④ 检索：新块与老知识库一起参与召回",
    "⑤ 生成：答案标注来源与时间",
]
for s in flow:
    print(s)
print("加分项：缓存已爬内容 + 定时增量更新 + 失效检测")

# 用户说人话 → 模型写 SQL → 查库返回
user_q = "数学不及格的同学都有谁？"
sql = llm(f"把问题转成SQL，表schema：{schema}\n"
          f"问题：{user_q}")
# 生成：SELECT name FROM scores
#       WHERE subject='数学' AND score < 60
rows = db.query(sql)

# 指标三件套：检索准不准 + 答案对不对 + 引用真不真
metrics = {
    "召回率 Recall@K": "该找到的资料，找到了几条",
    "忠实度 Faithfulness": "答案是否忠于检索资料（不瞎编）",
    "答案相关性": "答没答到点子上",
}
# 自动化：准备 20 个标准问题 + 标准出处，脚本跑分
for k, v in metrics.items():
    print(f"{k}：{v}")
print("人工盲测：把两个版本答案打乱给评委，投票谁更好")

# 材料题：给一大段材料 + 任务 → 考 Prompt 设计
# 万能模板：角色 + 任务 + 材料 + 格式 + 约束
template = """你是{role}。
请阅读以下材料："""{material}"""
任务：{task}
要求：
- 严格基于材料，不使用外部知识
- 以 JSON 输出：{{\"answer\": \"…\", \"evidence\": \"原文出处…\"}}"""
print(template.format(role="阅读理解专家",
      material="（1000字材料……）",
      task="总结三个核心观点"))
print("\n评分点：是否引用原文、格式是否规范、有无幻觉")