Token、Embedding 与自回归训练

0. 先看完整计算顺序

1. Tokenization：字符串怎样变成符号

神经网络不能直接对字符串做矩阵乘法。Tokenizer 先把文本切成有限词表中的符号。为了能完整手算，我们定义一个只有 6 项的玩具词表：

BPE 的“学习”不是神经网络训练

BPE 先在大量文本上统计相邻符号组合，反复合并最常见的组合，最后保存词表和有顺序的合并规则。它没有神经网络、loss、反向传播或梯度下降。

因此实际训练通常分为两个不同阶段：

token 不等于单词。它可以是子词、字节、图像 patch、视觉 code 或离散动作。词表大小是在两种成本之间折中：

• 词表大：序列较短，但 embedding/output matrix 更大。
• 词表小：覆盖灵活，但同一内容被切得更长，attention 与生成更贵。

2. Embedding lookup：ID 怎样变成向量

设词表大小 $V=6$、模型宽度 $d=3$。模型维护可训练矩阵 $E\in\mathbb R^{6\times3}$。这里假设当前参数是：

[[ 0.10, -0.20,  0.00],   # <BOS>
 [ 0.40,  0.10, -0.30],   # I
 [-0.20,  0.70,  0.50],   # love
 [ 0.80,  0.10, -0.40],   # robot
 [ 0.05,  0.60,  0.20]]   # s

位置也必须进入表示

仅做 token lookup 时，robot love 与 love robot 只是同两行向量换序；模型还需要明确位置。用最简单的加法式位置向量举例，假设位置 3 的向量是 $P_3=[0.05,-0.10,0.20]$：

现代模型也常使用 RoPE，不一定把位置向量直接加到输入；但“token 内容”和“它位于哪里”仍是两个不同信号。

3. 自回归：把联合概率拆成一步一步

自回归是一种概率分解，不等于 Transformer，也不要求输出一定是文字：

对我们的序列，模型要估计五个条件概率：

整句很长时，许多小于 1 的概率相乘会非常小，所以实际计算用 log：乘法变加法，数值也更稳定。

4. Teacher forcing：一条序列怎样变成五道题

训练时完整正确序列已经在磁盘里。输入和标签只需错开一位：

Teacher forcing 的意思是：训练位置 $t$ 时，前缀使用数据中的真实 token，而不是模型刚才猜出的 token。这样训练稳定且可以并行；推理时没有未来真值，才必须使用自己的输出。

5. Causal mask：为什么并行训练没有偷看答案

虽然五个位置一起进入 Transformer，但 attention mask 禁止每个 query 读取未来 key。下面行是 query 位置，列是它想读取的位置：

6. Hidden state、logits、softmax 与 loss

口语里常说“Transformer 输出 logits”，但严格地说，Transformer 主体先为每个位置输出一个连续 hidden state；LM Head（也叫输出层或 unembedding）再把它投影成 logits：

Softmax 把 logits 转成总和为 1 的概率；cross-entropy 只取正确 token 的概率来计算这个位置的 loss：

梯度究竟更新什么

Loss 会通过输出层、Transformer、位置模块一路反向传播到 embedding。用一个标量说明 SGD：若 robot embedding 第一维当前为 $0.80$，梯度为 $\partial L/\partial E_{3,1}=0.30$，学习率 $\eta=0.10$：

真实训练会同时更新数十亿个参数，并通常使用 AdamW，而不是这个单变量 SGD；但“沿着降低 loss 的方向改变参数”就是同一件事。

7. 推理：为什么必须一个 token 一个 token 地生成

训练时标签已知，所以所有位置能并行；推理时第 2 步输入依赖第 1 步刚生成的 token。下面这个动画使用预先写好的玩具概率，演示 greedy decoding 的信息流：

8. 为什么 next-token prediction 能学到结构

目标本身简单，但要把正确 token 的概率持续推高，模型必须利用数据中可预测的规律。看一个极小语料：

Paris is the capital of France
Tokyo is the capital of Japan
Ottawa is the capital of Canada

若只记局部二元组，看到 capital of 后无法确定国家；要进一步降低 loss，模型必须利用更早出现的城市。类似地，代码需要变量和括号对应，长文本需要人物与论点一致。规模扩大后，大量任务共享同一预测接口。

但这个目标只奖励“符合训练分布”，不直接奖励真实、因果、安全或有帮助。错误事实和表面捷径也能降低 loss，所以还需要数据治理、后训练、检索和工具。

9. 同一个逻辑怎样进入机器人动作模型

若观测 $o$ 包含图像、语言和本体状态，离散动作也可自回归：