基于C-MTEB/CMedQAv2-rerankingv的Qwen3-1.7b模型微调demo

这份资料在做什么

这不是一门讲完 Transformer 原理再慢慢过渡到微调的课程，而是一份围绕具体任务直接开跑的工程 demo：拿 Qwen3-1.7b 这个小尺寸底座模型，在 C-MTEB 体系下的 CMedQAv2-reranking 数据上做 reranking（重排序）任务的监督微调。任务定位很清楚——query 与候选答案配对打分，让模型学会把正确回答排到前面，这在检索增强、医疗问答系统里都是高频环节。

Qwen3-1.7b 的选择也值得注意。它足够小，单卡消费级显存就能跑通全流程；同时又保留 Qwen 系列的 tokenizer 和对话模板，微调后接回推理链路时不需要重新对齐 prompt 格式。对于想验证「一套微调流程能不能跑通」的开发者，这个体量比动辄 7B、14B 更适合反复试错。

技术栈与流程拆解

整个 demo 的骨架是标准的四段式：数据准备 → 训练配置 → 训练执行 → 效果验证。

• 数据层：CMedQAv2-reranking 是 query-passage 配对带相关性标注的格式，需要转成模型可吃的指令/样本结构。这一层最容易踩坑——标签映射、负样本比例、截断长度都直接影响最终指标。
• 训练层：典型的 SFT 路径，涉及 LoRA 或全参微调的取舍、学习率与 batch 的搭配、gradient checkpointing 这类省显存手段的开启。
• 验证层：微调后不能只看 loss 曲线，要用 reranking 的排序指标（如 MRR、NDCG 或 accuracy）在留出集上评估，确认模型真的学会了区分相关性，而不是记住了训练样本。
• 复用层：脚本化的训练入口、可替换的数据加载部分，让这份代码能迁移到其他 reranking 数据上，而不是只服务一份数据。

可复用的模块

对照源码时，值得重点看三块地方，它们往往是可以直接搬到其他项目里的：

• 数据构造与标签处理函数：搞清楚正负样本怎么切分、query 和 candidate 怎么拼进模板，换成自己的业务数据时改这里最多。
• 训练超参与显存配置：1.7b 模型能在有限显存下跑起来，靠的就是序列长度、batch、精度、checkpointing 这几项的组合，把这组配置抄下来就是一份可用的起点。
• 推理与打分脚本：训练完怎么批量对候选做打分、怎么按分数排序输出，是 reranking 落地成服务的最后一公里，也是 demo 里最值得实测的部分。

适合谁来对照实践

如果你已经有 PyTorch 和 HuggingFace 的基本使用经验，知道 Trainer 或自定义训练循环在干什么，这份资料的价值在于给你一条已经搭好的流水线：数据、脚本、配置都在手边，你可以直接改动数据加载器、替换底座模型、调整 LoRA 秩，观察指标怎么变。反过来，如果你的目标是系统补齐 NLP 理论，这份 demo 覆盖不到，它更像一个可以动手拆装的实验台。

建议的上手顺序是：先跑通默认配置拿到基线指标，再换一份自己的 reranking 数据重跑，最后对比全参与 LoRA 两种方案在效果和资源上的差异。把这三个动作做完，微调流程里哪些是关键变量，基本就有体感了。