第一章 引言如何用 PPO 训练一个中国象棋 AI 1.1 一篇论文引出的问题 2024 年 10 月,腾讯光子工作室(LIGHTSPEED STUDIOS)发表了Mastering Chinese Chess AI (Xiangqi) Without Search(arXiv:2410.04865)。它的核心主
第一章 引言——如何用 PPO 训练一个中国象棋 AI1.1 一篇论文引出的问题2024 年 10 月,腾讯光子工作室(LIGHTSPEED STUDIOS)发表了 Mastering Chinese Chess AI (Xiangqi) Without Search(arXiv:2410.04865)。它的核心主张很吸引人:
论文里有三个技术点值得单独拎出来:
论文报告的 SL-ViT 数字是:对 baseline(一个 top-10% 水平的 αβ 引擎)胜率 65.1%,分阶段走子准确率 72.6% / 60.3% / 59.1%(开局/中局/残局),人类天梯 top-3%;经过 RL 后 RL-ViT 胜率 92.5%、天梯 top-0.1%。 VECT 是什么? 标准 PPO 用 GAE 估计优势:
A^tGAE=∑n=0∞(γλ)nδt+n,δt=rt+γV(st+1)−V(st)
在象棋这种"只有终局才给 ±1"的设定下,如果取 γ=λ=1,这个无穷和会望远镜化——它退化成纯粹的蒙特卡洛回报,整局的 advantage 全变成同一个符号。论文 Table 4 报告的就是这个失败基线:用 γ=λ=1 的原始 GAE,对 baseline 的胜率从 65% 崩到 10.2%。 (论文只说了这个失败基线用 γ=λ=1,没有给 VECT 的 γ、λ、L 任何具体值;我们自己的取值见 §1.3。) VECT 的修法是把求和截断到固定窗口 L:
A^tVECT=∑n=0L(γλ)nδt+n
窗口 L 是我们自己定的:扫过 L=10 与 L=20,最终选 L = 10(命令行参数 --cutoff)。 1.2 SL 阶段:我复现出的所有参数(腾讯论文未给任何参数和结构设计)数据集:东萍象棋网全量职业棋谱 143,200 局。清洗规则与论文一致——剔除少于 10 回合的对局、剔除因超时/认输等非棋局原因终止的对局。另外混入 2% 骗招数据(2,000 局 / 242,692 个局面),这是人类"设套—被骗"的分布外样本,用来避免模型在对手故意卖破绽时不知所措。合计 11,896,637 个局面(镜像增强后 23,793,274 个训练样本),验证集固定 43,154 条(所有对比 run 共用同一份,指标可直接比较)。 注:腾讯使用的是天天象棋500万局高手对局+1000万局全分段对局,数据集不同。我也无法拿到腾讯的数据集。骗招数据是我用皮卡鱼生成的铁滑车、敢死炮、瞎眼狗对局。 采样曲线:论文按对局长度加权采样 p∼log?(t2T+e−1)+1.5,我们最终关闭(--no-sample-curve)。原因是量级差太远:我们 14.5 万局,论文 1500 万局,少两个数量级,开局重复率本来就低,加权没有收益(实测 ON/OFF 差异在噪声内)。 模型:最终选用 chess_vit_mid。五档对比:
选 mid 的理由是与 ResNet18 的 FLOPs 对齐(0.95×),这样"ViT vs CNN"的对比才是等算力的。 策略头:双线性联合打分(bilinear) —— 这是我对整个 SL 阶段最关键的一处结构设计。 ViT 最后输出 91 个 token:1 个 [CLS] + 90 个格子 token(10×9)。最自然的做法是把策略头接在 [CLS] 上、用 Linear(384 → 8100) 输出 from-to logits——我们最初就是这么做的,但这是结构性错配:[CLS] 是全局池化向量,服务的是"整盘棋值多少"这种标量任务;而策略是空间任务——"哪个格子上的子,走到哪个格子"。把 90 个格子压成一个向量再展开,等于要求 [CLS] 把每个格子的身份和位置都记住,信息通路本身就错了。 正确做法是让策略头直接看 90 个格子 token,并对每一对(起点 s、落点 t)打分:
S(s,t)=q(xs)⋅k(xt)64,q,k: R384→R64
S 是一个 90×90 的矩阵,就是"从 s 走到 t"的 logit。非法着法在矩阵里置为 −109(掩码在 fp32 上做,避免 AMP 下 fp16 溢出成 -inf)。然后:
这个头可以理解成一层没有 softmax 的注意力打分:q/k 对所有格子共享,8100 个候选只用了 2×384×64≈4.9 万参数(策略头 49,280)。把价值头一起算,整个头部是 98,689 参数(占模型 0.91%);原来的 CLS 头是 315,829(2.87%)——少 69% 参数却更强,因为信息通路是直接的,不靠池化后的全局向量转述。 单变量对照(同数据、同配方,只换头):
训练超参:10 epoch、AdamW、lr 3×10−4 余弦退火到 3.8×10−10、batch 512、dropout 0.1、label smoothing 0.05、weight decay 10−4、drop-path 0.1、layer-scale、梯度检查点。全量训练 46,471 步/epoch,单 epoch 21,143~34,550 秒(5.9~9.6 小时),10 epoch 共 3 天 5.5 小时(单张 RTX 4090)。 复现结果:
逐轮 val joint:ep1 47.48 → ep8 53.74 → ep10 53.95(ep7 有一次 52.95 的小回落,整体仍是一路向上);train−val gap 仅 +0.28(全量下几乎不过拟合)。 怎么读这个差距:三个阶段都低 8~10 pp,而且低得一样多——说明不是某个阶段做错了。同架构对照更说明问题:我们的 ResNet18 全量版是 61.32 / 42.73 / 42.26,论文的 SL-modResNet18 是 60.2 / 47.4 / 43.3,三个阶段基本对得上(−4.7~+1.1 pp)⇒ 数据、清洗、评测口径都没走偏,差距几乎全出在 ViT 这一档——而论文对 ViT 的规模、层数、超参一个字都没写。所以这只能算"口径对齐的复现",不是逐值复现。 棋力(这里有一个必须提前说清的提醒:准确率 ≠ 棋力):
PPO 的起点 A1:同一个 backbone 再挂一个 outcome 头(WDL 三分类,dim → 128 → 3),val joint 53.93%,与两头版基本持平 ⇒ 加头几乎不损策略准确率。后面所有搜索实验用的 SL 基座都是它。 1.3 PPO 阶段:参数与提升算法:PPO + VECT(截断 GAE)+ DOP(动态对手池)+ Dual-clip。
关于 γ/λ:论文只说了"γ=λ=1 的原始 GAE 会崩到 10.2%",VECT 的 γ、λ、L 没给具体值。我们自己扫过——λ=0.90 明显优于 0.95,λ=0.85 更差——所以最终用 γ=0.99 / λ=0.90 / L=10。这个 γλ 只作用在 critic 的 VECT-GAE 上;outcome 头(MCTS 用的 Q)的标签是原始 z,不折扣、不截断。 效果:从 SL 的 A1 出发,PPO 主臂 W2 对皮卡鱼 depth-1 的纯策略得分从 .42 提到 .576;作者本人(业9-1)与无搜索模型对弈基本持平——单次决策从业7 提到了业9-1。 ★ 但 d1 这个刻度会高估 RL(A1 擅长把棋导向和棋):同一对模型接上 4000 visits 的 MCTS,W2 反而落后 A1。这就是 §1.4 的谜题。 1.4 一个必须解释的矛盾到此为止一切都很顺,那么为何我说“PPO 难以做出顶级棋类引擎”呢? 现有棋类顶级引擎(围棋、中国象棋、国际象棋)有且仅有两条技术路线:αβ+NNUE、AlphaZero。二者都需要对两人完全信息零和博弈树进行搜索,模型本身性能存在天花板,只能通过搜索来提升。 把PPO模型接上搜索,事情立刻反转。搜索那两列的口径完全一致:同一批开局(master80,80 开局 × 红黑)、各 160 局、同样 4000 visits、batch 32、--value-mode 1;无搜索列是 d1 的纯策略得分。
同一列内可以直接相减:RL 把"无搜索"从 .420 抬到 .576,却把"有搜索"从 .5437 压到 .4656 ⇒ −54 ELO(±34,1.6σ)。 W2 那一格的 c_puct 是 1.4 而不是默认的 2.0。原因是它的 Q 只有 A1 的 69% 宽(std .337 vs .485),同一个 2.0 作用在它身上等效于 2.88 ⇒ 探索过头;按 Q 的 std 把 c 调到 1.4 后,W2 从 .3406 回到 .4656(+91 ELO),而策略逐位未动。所以这 +91 ELO 的性质是"探索系数配错了",不是"学错了"。
RL 让"无搜索"变强了,却让"有搜索"变弱了。 这就是本文要回答的问题:为什么 PPO 学到的东西,一接搜索就失效? 后面三章分别尝试三种搜索:αβ(第二章)、MCTS(第三章)、BFMS/Minimax(第四章)。结论都是同一个,但机制各有细节。 第二章 为什么 PPO 无法接入 αβ 搜索2.1 标准 αβ = Minimax,现代引擎是它的近似解αβ 剪枝在数学上严格等价于全宽度 minimax——它不改变结果,只是跳过那些"确定不会影响根节点值"的分支。这一点常被误解:αβ 不是"近似 minimax",它就是 minimax。 但真实引擎(皮卡鱼、Stockfish)不是纯 αβ,而是一堆不保险的剪枝叠起来的近似:
这些技术的共同点是:它们都建立在"排序大致正确"或"静态评估大致可信"之上。LMR 的"靠后"直接来自排序;futility / razoring 则用静态评估判断"这条线没希望"。排序错了,剪掉的可能是唯一的好棋;评估偏了,"没希望"的线可能其实有棋。 2.2 αβ 最重要的是搜索顺序——但排序不是网络给的这是 αβ 的数学性质:完美排序下,有效分支因子从 b 降到 b,同样节点数能搜的深度翻一倍。以象棋 b≈40 计算,完美排序相当于把 40 变成 6.3——深度 2×。 那么皮卡鱼/Stockfish 的排序从哪来?全部来自搜索自己,不来自神经网络。
贴一段 Stockfish 的源码(movepick.cpp,Pikafish 同源):
// 吃子:MVV + 吃子 history
m.value = (*captureHistory)[pc][to][type_of(capturedPiece)]
+ 7 * PieceValue[capturedPiece];
// 安静着法:history 统计族
int value = 2 * (*mainHist)[m.raw()];
value += 2 * (*pawnHist)[pc][to];
value += (*ch0)[pc][to]; // continuation history
value += (*ch1)[pc][to]; // ...
这些 history 表是搜索过程中"哪些着法曾经导致截断/失败"的统计,跟网络权重完全无关。 NNUE 在这里的角色只有一个:在叶子处给一个标量分数。它不输出 policy,也不输出任何 per-move 分数——nnue_architecture.h 的 propagate() 最后就是 return outputValue;,一个整数。 这一点很关键:αβ 里没有"策略"的位置。如果非要把一个策略网络接进 αβ,唯一的接口是拿它当 move ordering 的先验(policy-guided ordering),而不是像 MCTS 那样直接用它来分配预算。 2.3 NNUE 在搜索里到底干什么NNUE(Efficiently Updatable Neural Network)的结构是"特征变换 + 几层小 MLP",权重文件并不小(皮卡鱼的 .nnue 约 50 MB,int8/int16 量化)。它能这么快,靠的不是"网络小",而是三件事:
实测速度:皮卡鱼 4000 节点约 6 ms(单线程)⇒ 约 1.5 μs/节点(含搜索开销;NNUE 单次评估在亚微秒级)。而我们 11 M 参数的 ViT:batch=1 时 3.58 ms/次,batch=8 摊到 0.83 ms/次——差 2~3 个数量级。 这引出工程上的死结:非线性大模型(ViT/ResNet)无法替代 NNUE。不是"太慢"这么简单,而是三层不可调和:
第 3 条是根本性的:αβ 的算法结构与 GPU 的硬件特性相反。 2.4 唯一能给 αβ 的接口,正好是 PPO 最弱的地方既然 αβ 不消费 policy(2.2),那么"把 PPO 接进 αβ"其实只有三条路:
第 2 条值得单独说,因为我们的先验诊断正好测过它。拿 150 个中局局面,用皮卡鱼 d14 MultiPV=5 作为"真值",比较模型的先验分布与真实近优着法集合:
怎么读这张表:RL 把 top-1 命中率从 .598 提到了 .668(+7 个百分点),但把"第 4 名以后的概率质量"从 .163 砍到 .076(砍了一半多)。top2/top1 的中位比只有 .298——典型形态是"一条粗腿 + 一条细腿",第三、第四名几乎没有质量。 更直接的证据:真实的"近优着法数"(±20 厘兵以内)是 2.93 个,策略分布的 exp(H) 是 4.70。也就是说,棋盘上通常有 3 个着法都值得考虑,而我们的模型只对其中 1 个有像样的概率。 这正是 αβ 最不能接受的形式。 LMR 要决定"谁该少搜",futility 要决定"谁没希望",TT 要决定"谁先搜"——它们需要的是第 2 名到第 k 名的相对顺序,而 PPO 恰恰把这一块压扁了。把手工排序换成这个先验,等于用"只对第一名有把握"的分布去替代几十年调出来的 history / SEE,大概率更差。 所以第二章的结论是:不是"我们的 ViT 再快一点就能接 αβ",而是接口不匹配——
两者都不是调参能解决的。 第三章 为什么 PPO 无法接入 MCTS 搜索3.1 AlphaZero 的搜索与训练AlphaZero 的 MCTS 用 PUCT 选边:
PUCT(a)=Q(a)+cpuct⋅P(a)⋅Nparent1+N(a)
训练时,MCTS 的访问分布 π 成为策略的监督目标,搜索得到的根值成为值的监督目标。注意:策略的学习目标是"搜索后的访问分布",不是"最优着法"。 这是 AlphaZero 与 PPO 最本质的差别——它天生就在学"全宽度排序"。 3.2 三头 PPO:为什么必须引入 Outcome 头AlphaZero 有两个头(policy + value)。我最初用的是标准 PPO 的两头(policy + critic)。接 MCTS 时发现一个结构性问题: critic 头预测的是"折扣回报",它的量纲随局面波动。象棋里"优势 +0.3"和"胜率 70%"不是线性关系,而 MCTS 的 Q 需要的是"同量纲、可比较的胜率式价值"。 所以我们改成了三头:policy + critic(V) + outcome(Q)。其中 outcome 头直接预测三分类(胜/和/负)的期望 Q=pwin−plose。 接 MCTS 时必须用 outcome 头(--value-mode 1),原因有两条:
我做过值移植的 2×2 对照(同策略配不同来源的值头,160 局/格):
换值的影响远大于换策略:同一策略下换值最多 ±0.013~0.16,同一值下换策略最多 −0.04~−0.22。这说明 MCTS 对"值语义"的敏感度高于对"策略来源"的敏感度——且好值救不了差先验(W2 策略 + A1 值仍然只有 .5031)。 3.3 直接接进去:搜索树是一条独腿把 RL 模型(W2)接 MCTS 4000 visits,等节点打皮卡鱼,得 .4656;同一格 SL 模型(A1)是 .5437(都是 160 局、batch 32,见 §1.4)。RL 接搜索反而更弱。 看树形就明白了。我们记录过根节点上访问量的集中度(top1N = 根的第一着法子树的节点占比):
RL 模型的搜索树是一条独腿:32000 个节点里 99.4% 挤在根的第一着法上,有效着法数 1.06——等于说"根上只有一个着法存在"。 注意对比:SL 模型从 4k 加到 44k(11 倍预算),top1N 只从 .586 涨到 .709,仍然是"几条腿";而 RL 模型在 4k 时就已经明显更尖,到 32k 直接塌成 1.06。"把树变窄"是正常现象(值越准越该窄),但窄到 1.06 是病态——PUCT 的 U 项本该把预算推向未访问的分支,但当其他着法的 P 只有 top-1 的 1/10 时,c⋅P⋅N/(1+N) 拉不动它。 3.4 三条"压平先验"的路:削峰、熵地板、搜索侧温度直觉的修法是"把先验压平"。但在我们的代码里"压平"是三个完全不同的旋钮,作用位置、作用对象、副作用都不一样:
削峰为什么救不了独腿,从损失式子就能看出来:pen = coef·clamp(maxP − cap).mean()。它把 top-1 从 .99 压到 .70,多出来的 .29 给谁都算通过;而 softmax 的形状决定它主要流向二选。所以削峰的极限形态就是"1 条粗腿 + 1 条细腿"(实测 top2/top1 中位 .298,只有 27% 的局面 > .60),三选及以后的排序一个字节都没动 —— 而搜索缺的恰恰是那部分。 我做过对照试验:削峰剂量加倍(cap .70→.60、coef .25→.50),expHP 2.85→3.32(+17%),d1 −.046、h2h −18 ELO。宽度不是靠压 top-1 得来的。 搜索侧温度是另一件事:它不改权重,只在推理时解一个温度把先验摊平(单调变换,不换排序,但会改 P 之间的比值——所以 U 项能拉动更多兄弟)。.40→.70 让先验最尖的 PPO 主臂从 .3406 回到 .4625(+89 ELO),而本来就不尖的 A1 是 .5437→.5406(−1)。 结论是"救弱不增强":对尖的先验有效,对不尖的完全无效 ⇒ "调搜索参数"这条路最多追平 A1 的默认口径,不可能靠它超越 SL。而且这类形状手段都救不回第三、第四名——那部分概率质量在训练里根本没被奖励过(长尾质量 A1 .163 vs W2 .076,差 2.1 倍)。 更直接的量化:我们试过把 SL 策略与 RL 策略按 Pmix=(1−a)PSL+aPRL 混合,接 MCTS 后打皮卡鱼(120 局/臂):
纯 SL 策略最好,混入 RL 策略越多越差。 这个结果和"RL 无搜索更强"并存,说明:RL 学到的"更准的 top-1"在搜索里被"更烂的排序"抵消了。 3.5 补充:batch 对低 visit 搜索是有害的这一节是给做工程的同行的一条实用结论。 GPU 推理必须批处理,所以 MCTS 一次要"选一批路径再一起评估"。理论分析(我们推导 + 实测验证)指出:
也就是说,宽批不改变"这条线能走多深",但会让每批里混入更多"其他分支"的位置,从而降低每节点的有效信息。 实测(等节点 4000,A1,vs 皮卡鱼 4000):
每翻一倍 batch,掉约 41 ELO。 但这是等节点口径;换成等墙钟,差距会被吞吐买回来:b8@4000 对 b64@8400(后者实测还少花 34% 墙钟)打 20 局是 .5000。所以准确的说法是"等节点必须用小 batch,等时间下宽批不吃亏"——等节点只是评测方便,不是实战口径。 LC0 / KataGo 怎么处理这个问题?
关键差别:它们用 virtual loss 是为了"避免同一批里撞到同一节点"(碰撞浪费算力),而不是为了让宽批变强。也就是说,工业界的做法是"承认宽批有代价,只能尽量减少碰撞"。这和我们的实测结论一致:低 visit 场景应该用小 batch(我们的默认公式后来改成了 batch ≈ visits/500,4000→8)。 第四章 为什么 PPO 无法接入 Minimax 搜索(以 BFMS 为例)4.1 BFMS 的思想:优先展开"最可能改变主变"的节点αβ 是深度优先,MCTS 是"按访问分布"选,还有第三条路:Best-First Minimax Search(BFMS)。 它的核心思想非常朴素:当前主变(principal variation)的叶子,是"决定根节点值"的那个节点——所以优先展开它。 因为根的值等于某个叶子节点的静态值,而主变叶子就是那个叶子。展开它,最有可能改变根的值。 Korf & Chickering 1996 的定义是:给定一个部分展开的博弈树,把每个 MAX 节点取孩子的最大值、MIN 节点取最小值,得到根值;沿着使根值成立的那条路径(主变)找到叶子,展开它,重复。 这与 MCTS 的差别在于:MCTS 用均值 + 访问数奖励来分配预算,BFMS 用min/max + 主变来分配。 理论上它有一个诱人的性质:它不依赖"全宽度排序",只依赖"当前主变是否值得再往下看"。如果 PPO 只把 top-1 做准了,BFMS 应该比 αβ 和 PUCT 更兼容——这是我们在 11 月做这一系列实验的动机。 4.2 我们的伪代码:如何选一批节点BFMS 的原版一次只展开一个节点,无法利用 GPU 的批处理。我们设计了一个"批量版":
主变列表 = []
item = 根
batch = []
# 阶段一:沿主变一探到底,每层各展一个动作
while true:
主变列表.add(item)
if item 有孩子未展开: batch.add(item, item 策略头的下一个动作)
if item 的第一孩子已展开: item = item.第一孩子
else: break
# 阶段二:按(层, 孩子序号)字典序回退
for index = 2, 3, 4, ...:
foreach item in 主变列表.倒序:
if item 的可行招法数 < index: continue # 展不动就往上找
if item 的第 index 孩子未展开:
batch.add(item, item 策略头的下一个动作)
else:
tempItem = item.第 index 孩子
while tempItem 有孩子未展开:
batch.add(tempItem, tempItem 策略头的下一个动作)
if tempItem 第一孩子已展开: tempItem = tempItem.第一孩子
else: break
if 本轮没有向 batch 添加任何元素: break
# batch 满则立刻停止
设计意图:阶段一保证主变每次都往前探一层;阶段二保证"主变的旁支"按"最可能改变主变"的顺序被逐个展开(先第 2 孩子、再第 3 孩子,从最深一层向根扫描)。 实现上踩了不少坑(记录在此,供同行少走弯路):
4.3 实验结论:BFMS 不优于 MCTS,且同样受排序制约我们跑了三档预算、两张网,但用了两种口径,必须分开看:4000 / 32000 两档是等节点打皮卡鱼,64000 那一档是同网 h2h(BFMS 与 MCTS 用同一张网直接对下)。两种口径的分数不能相减,也不能放进同一张表里比较。 (a)等节点打皮卡鱼
(b)同网 h2h:W2 自对弈,64000 visits / b512,8 局
三条结论:
一句话总结第四章:BFMS 把"预算分配"从"值 + 访问数"换成了"min/max + 主变",但它依然要靠策略头决定"每个节点先展哪一手"。PPO 的先验一选准、其他选烂,换哪种搜索都是在按一个残缺的排序走。 4.4 历史研究怎么说?(一个需要纠正的流行说法)我最初听到的说法是"博弈论领域早就证明 BFMS 不如 αβ"。查了原始文献后,这个说法不准确,真实情况更微妙、也更有意思: Korf & Chickering, Best-first minimax search, Artificial Intelligence 84 (1996) 299–337 的结论是:
也就是说,原始论文并不支持"BFMS 不如 αβ"。真正的问题在另一处,2025 年的一篇综述(arXiv:2505.9639,Study and improvement of search algorithms in two-players perfect information games)写得很直接:
所以准确的表述是:
这条对我们尤其致命:我们的评估函数(单次网络前向 + 部分展开的 min/max)恰恰是"坏评估"——根上 30 多个着法的真实值差只有 .01~.05,完全落在单次评估的噪声里。 顺带一个有意思的后续:BFMS 并未真的死掉。Cohen-Solal 的 Athénan 把它重新捡起来(Unbounded Minimax + safe decision),配合自己 RL 学出来的评估函数,在 Computer Olympiad 上拿了 48 金 8 银 4 铜、17 个项目的卫冕冠军,并击败了多个 AlphaZero 复现。这反而印证了同一条结论:BFMS 的上限由评估函数决定,而不由搜索本身决定。 第五章 总结四章下来,三种搜索各自失败的具体原因不同,但根因收敛到同一处。 5.1 三种搜索的"接口要求"与 PPO 的"产物"对不上
5.2 一句话:PPO 只优化"最优解",不产出"排序"PPO 的目标函数是 E[min(rtAt,clip(rt)At)],其中 At 由 outcome 决定。这个梯度只关心"我选的这一手好不好",从不关心"第二、第三好的着法与它的相对关系"。 而所有搜索算法的效率,都建立在"排序"上:
所以"PPO 无法接入搜索"不是工程问题,是目标函数与搜索接口不匹配。 5.3 如果要继续,应该做什么不是去换搜索算法(我们在第四、五章试了 6 种收集方式、3 种搜索、2 张网,全部收敛到同一结论),而是改训练目标,让它直接优化"完整排序":
最后一条也许是本文最有实操价值的一句:
|
2026-07-02
2026-09-06
2026-06-24
2026-06-01
2026-09-18