探索—利用权衡

简明解释

利用选择目前估计最好的动作；探索尝试其他动作，以获得可能改变未来决策的信息。只利用会锁定早期误判，只探索则牺牲回报。这个冲突在bandit和完整强化学习中都存在。[1, §§2.1–2.7]

$\varepsilon$-greedy常以概率 $1-\varepsilon$ 选贪心动作，以概率 $\varepsilon$ 随机选择。必须说明随机分支是否也可能选中贪心动作、$\varepsilon$ 是否衰减，以及并列最大值如何处理。

别和什么混淆

$\varepsilon$ 是行为规则参数，不是模型对答案的置信度。随机动作不一定提供有用信息；现实探索可能伤害用户或设备，所以需要安全约束、仿真、审批、限幅和停止条件。不存在适合所有环境的固定探索率。

在本书中

见第13章13.7。Q-learning虽以贪心下一值作为目标，仍需要行为策略充分探索才能从有限经验中学习。