CFR+ 策略表可视化演示

DeepCFR
不完全信息博弈求解

用一个可完整枚举的两方议价博弈,直观看懂反事实遗憾最小化如何学习混合策略。

本页演示数据来自小型 CFR+ 训练;DeepCFR 部分用于解释同类思想如何扩展到大规模博弈。

12 信息集
1000 CFR+ 迭代
3e-5 最终策略变化

从 CFR 到 DeepCFR

先在小型博弈中理解遗憾最小化,再看神经网络近似如何放大规模

1950

纳什均衡

John Nash 提出博弈论核心概念,奠定理论基础

2007

CFR 算法

Zinkevich 等人提出反事实遗憾最小化算法

2019

DeepCFR

用神经网络近似反事实遗憾,让 CFR 思路进入大规模博弈

本站

CFR+ 教学演示

用 12 个信息集的可枚举博弈展示策略表、博弈树和收敛曲线

关键公式

反事实价值
V(I, a) = Σh∈I π-i(h) · ui(h)
反事实遗憾
R(I, a) = V(I, a) - V(I, π)
遗憾匹配
πT+1(I, a) ∝ max(0, RT(I, a))
收敛速率
R̄ ≤ √(|A|·|I|) / √T

两方议价博弈

完全可计算的最小化不完全信息博弈示例

01

实力等级

每位玩家获得一张私有实力牌:H(高级)、M(中级)、L(低级)

02

行动选择

玩家轮流决策:接受当前条款,或加码要求更有利的分配

03

不完全信息

玩家看不到对方的实力牌,只能根据行动序列推断

04

自然分配

最终按双方实力等级分配底池,强者多得

收益矩阵(玩家1 视角)

玩家1 \ 玩家2 H M L
H 0 +1 +1
M -1 0 +1
L -1 -1 0

玩家2 收益 = -玩家1 收益(零和博弈)

策略演化与收敛

观察 CFR+ 策略表如何从随机行为逐步稳定到混合策略

① 博弈树展开

完整决策树包含 5 类终止历史;信息集由玩家、私有牌和公共历史共同决定

② 策略演化热图

拖动滑块查看不同训练轮次的策略分布

③ 收敛曲线

这里展示最大策略变化幅度;数值越低,说明平均策略越稳定

亲自体验议价博弈

选择你的实力等级,与训练好的 AI 对战

你的实力等级

对手:???

当前决策

请先选择你的实力等级

作者笔记与代码

记录 DeepCFR 学习过程中的思考与发现

算法演进

从 CFR 到 CFR+,再到 DeepCFR,核心变化是如何更高效地估计和复用反事实遗憾。

查看原理

实现边界

当前演示使用可枚举的小型博弈和 CFR+ 策略表,重点是教学可视化,不冒充大规模神经网络训练。

查看演示

实验数据

策略热图和收敛曲线直接读取训练输出的 JSON 快照,便于复现实验和替换数据。

体验对战