大模型揭秘——它怎么会说话?
从"只会接龙"到"靠谱助手",中间发生了什么。
核心问题:像 DeepSeek 这样的 AI,怎么从只会接龙变成能帮你办事?它内部经历了什么?
怎么上:线上 × 线下协同
课前 · 导学
学习训练三部曲与注意力机制的可视化。
课中 · 实践
小组转化为自己的讲解(费曼学习法),制作并展示。
课后 · 复盘
互评谁讲得最准确,修订一处讲解中的误导。
线上模块(本平台)
预训练 · 海量接龙
用一份阅读材料现场建一个真实的"下一个词"频率模型,逐词接龙;多喂材料看它变顺——没人教对错,它只是学会"猜下一个词"。
微调 + 对齐
预训练版(乱接龙)vs微调版(真答)对比;再当一回"人类评分员"选更好的回答,亲手教出 AI 的偏好(RLHF)。
注意力与记忆
点句中不同词→重点变、意思变(注意力);滑动记忆窗口逐句读,超出就忘(上下文窗口)。
线上仿真实验 · 拆开大模型
它怎么从「只会接龙」变成「靠谱助手」?
像 DeepSeek 这样的 AI,不是一开始就会聊天的。 这一站,你将亲手走一遍它的养成过程:先学接龙,再学会答题、好好说话,最后看它怎么读和记。
- ① 预训练 · 接龙
- ② 微调 + 对齐
- ③ 注意力 + 记忆
AI 一开始什么都不会。你喂给它一堆句子,它就统计「哪个词后面常接哪个词」。没人教它对错。
第一步 · 微调:给它看大量「问题 + 好的回答」示范,它才学会「答题」,而不是接龙。点下面对比。
问:怎么交到朋友?
问:怎么交到朋友?
第二步 · 对齐(RLHF):现在你来当「人类评分员」。同一个问题,AI 给两种回答,你选更好的那个。你的选择,会变成「教它的标准」。
📊 你教给 AI 的偏好:
AI 被你这样的打分反复「调教」后,以后就会主动朝这些方向回答——这就是「对齐」。
注意力:读一句话,AI 不是平均地看每个字,而是把「注意力」压在关键词上。点不同的词,重点一变,意思就变。
记忆:AI 一次能「记住」的篇幅有限(叫「上下文窗口」)。一直往下读,最早的内容会滑出去被忘掉。
实验任务(边玩边自动勾选)
- ① 让 AI 接龙,并喂更多材料看它变顺
- ② 对比「只预训练」和「微调后」的回答
- ② 当评分员选完 3 组回答,教出 AI 的偏好
- ③ 点 ≥ 2 个不同的词,看注意力改变意思
- ③ 一直往下读,看 AI 忘掉最早的内容
④ 通关任务:当一回「AI 讲解员」
用你自己的话,把大模型「从只会接龙变成靠谱助手」讲清楚: 按 预训练 → 微调 → 对齐 串起来,再说一句它「注意力」或「记忆」的特点。 最后指出一处:你的比喻,和真实机制哪里不太一样?(≥ 40 字)
提示:这正是你线下「AI 讲解员」要讲的内容——先在这里打个草稿。
走完 ①②③ 三段后,写 ≥ 40 字的讲解即可提交。
线下项目(学校组织)
当一回"AI 讲解员"
小组用自己的类比和图示,向同学或低年级讲清"大模型怎么工作",产出讲解海报或短视频并答辩。
- 类比是否准确、不误导
- 能否讲清"三部曲"各自解决什么问题
- 表达是否清晰、面向听众
教师可下载本单元「线下组织包」(学生任务单 / rubric 评分表 / 答辩模板):前往打印 →
带走的批判清单
对 AI 保持平视——动手前后都问一句
- 你的类比哪里和真实机制不一样?
- "对齐"到底是在对齐谁的标准?