模型微调与毕业项目

from peft import LoraConfig, get_peft_model
config = LoraConfig(
    r=8,                            # 低秩矩阵的秩
    target_modules=["q_proj", "v_proj"],  # 只挂注意力层
    lora_alpha=16, lora_dropout=0.05)
model = get_peft_model(base_model, config)
model.print_trainable_parameters()
# 可训练参数只占全模型的不到 1%！

# train.jsonl —— 每行一个教学案例
{"instruction": "用一句话解释递归",
 "output": "递归就是函数自己调用自己，直到到达出口条件。"}
{"instruction": "把这句话改成文言文：今天天气真好",
 "output": "今日天朗气清，惠风和畅。"}
# 格式统一 + 质量高 + 数量够 → 微调效果好的三要素

# 四步走：
# ① 准备数据：{"instruction":…, "output":…} JSONL（贵精不贵多）
# ② 选底座：Qwen2.5-1.5B（小而美，学生卡也能训）
# ③ LoRA 微调：只训练插进去的小矩阵
from peft import LoraConfig, get_peft_model
cfg = LoraConfig(r=8, target_modules=["q_proj", "v_proj"])
# model = get_peft_model(base, cfg)   # 可训练参数 <1%
print("LoRA r=8：原模型 1.5B 参数，只训约 1200 万")
print("④ 评估：留出 50 条验证集，看答对率")
print("⑤ 导出合并：merge_and_unload() → 部署")

from transformers import BitsAndBytesConfig
bnb = BitsAndBytesConfig(
    load_in_4bit=True,            # 16bit → 4bit
    bnb_4bit_quant_type="nf4")
# model = AutoModelForCausalLM.from_pretrained(
#     name, quantization_config=bnb)
# 7B 模型显存：14GB → 约 4GB

# 安装后两条命令搞定：
#   ollama pull qwen2:1.5b    # 下载模型
#   ollama run qwen2:1.5b     # 对话！
# 也提供本地 API：
import requests
r = requests.post("http://localhost:11434/api/chat",
    json={"model": "qwen2:1.5b",
          "messages": [{"role":"user","content":"你好"}]})
print(r.json()["message"]["content"])

# 自动指标 + 人工评估 双保险
import time
def blind_test(a_out, b_out):
    """盲测：去标签打乱，人投票谁更好"""
    import random
    pair = [("A", a_out), ("B", b_out)]
    random.shuffle(pair)
    return pair
r = blind_test("基础模型答案", "微调后模型答案")
print("打乱后顺序：", [x[0] for x in r], "（评委不知哪个是谁）")
print("指标三件套：任务答对率 / 忠实度 / 风格符合度")
print("警惕：只在自己出的题上测 = 既当运动员又当裁判")

# RLHF 三步走（概念）：
# ① SFT：先学会做事（监督微调）
# ② RM：训练一个"打分员"（奖励模型）
# ③ RL/PPO/DPO：朝着高分方向优化
# DPO 更简单：直接用"好答案 vs 坏答案"
# 的成对数据训练偏好。
print("目标：有帮助 + 诚实 + 无害")

# LLaVA 思路 = 视觉编码器 + 语言模型
# 图 → ViT 提特征 → 投影到词向量空间
#        ↓
# 和文字一起喂给 LLM → 生成回答
# 用途：图片问答 / 看图写作 / 图文聊天

# 上线前的「三查」：
checks = {
    "偏见查": "是否对某些群体系统性输出刻板印象？",
    "隐私查": "训练数据 / 对话记录有没有个人信息？",
    "合规查": "生成内容有没有违反法规的风险场景？",
}
for k, v in checks.items():
    print(f"{k}：{v}")
print("学生守则：不造谣、不抄袭、不泄露他人数据")
print("工程手段：敏感词过滤 + 输出审核 + 用户举报通道")