LLM Training · 系列第 2 篇

LLM Training: from Data to Dialogue

模型不是天生就会对话——它要经过三个训练阶段，一步步从"续写文字"变成"能对话的助手"。

上一篇解析了 Transformer 内部机制：给定上下文，算出下一个 token 的概率分布。但这套架构本身不会"对话"——同一套架构，会先后被用在三个不同的训练阶段，每个阶段喂的数据和优化目标不一样，模型的行为也随之一层层变化。

Base Model → SFT → RLHF / DPO → Chat Model

一、Pretraining：先学会语言这个世界

Stage 1 · Base Model

预训练要做的事很简单：给定前面的文字，预测下一个词，这正是上一篇拆开的 Next-Token Prediction。

这个阶段产出的是 Base Model：知识面广、语言能力强，但还不"听话"——给它一个问题，它可能直接回答，也可能接着往下编出更多问题，因为它学的始终是"续写"，没人教过它"该在什么时候停下来给出答案"。

二、Instruction Tuning：从续写到执行任务

Stage 2 · SFT

只做过预训练的模型更像一台"文字接龙"机器。指令微调（SFT，监督微调）的做法，是给模型看大量人工编写或筛选过的"指令-回答"样例——问答、摘要、改写、分类、代码、推理都覆盖到，且回答直接紧跟在指令后面。模型看多了这种样例，学到的是一种新的行为模式：看到指令，就该给出对应的完整回答，而不是继续往下编。

三、Preference Alignment：输出符合"人类偏好的答案"

Stage 3 · RLHF / DPO

同一个问题可以有很多种"过得去"的回答，但哪个更清楚、更安全、更有帮助，SFT 阶段的数据不足以教会模型这件事。偏好对齐会收集人（或模型）对多个候选回答的偏好排序——"这个回答比那个更好"——用这些偏好信号继续调整模型。RLHF（基于人类反馈的强化学习）和 DPO（直接偏好优化）是这一阶段两种代表性的方法，思路都是让模型的输出更靠近"人更偏好的那个答案"。

模型的"性格"——谨慎还是直接、简洁还是详细——很大程度上是这一步调出来的，而不是预训练自带的。

总结

LLM 的训练是一条链路：先学会语言本身，再学会执行任务，最后学会对齐人的偏好。

三个阶段用的是同一套 Transformer架构——变的是训练数据和优化目标，架构本身没有变。