🔑 名詞卡
PPO（Proximal Policy Optimization，近端策略優化）
🎯 定義
由 OpenAI 提出、屬於策略梯度（Policy Gradient）改良版的強化學習演算法。核心目標是平衡「策略更新幅度」與「學習效率」，避免策略在每次更新時產生過大變動，導致學習不穩定或崩潰。
在強化式學習演算法中的定位
| 類型 | 代表演算法 | 特性 |
|---|---|---|
| 值函數法（Value-based） | Q-Learning、Deep Q-Learning（DQN） | 學習狀態-行為對的預期回報（Q 值），依最大 Q 值選動作 |
| 策略梯度法（Policy-based） | REINFORCE、Actor-Critic、PPO | 直接學習從狀態到行為的機率分佈，最大化期望報酬 |
應用：遊戲、機器人操作；亦是 RLHF（人類回饋強化學習）中最常用的優化演算法。
記憶技巧
「Proximal＝近端＝別跨太大步」——PPO 的全部精神就是「限制每次策略更新的幅度」。
易混淆
- vs Deep Q-Learning：DQN 是值函數法（學 Q 值再挑動作）；PPO 是策略梯度法（直接學動作機率分佈）。
📖 課文原文「PPO 是一種近年廣泛應用的強化式學習演算法，由 OpenAI 提出，屬於策略梯度（Policy Gradient）方法的改良版本。其核心目標是平衡『策略更新幅度』與『學習效率』，避免策略在每次更新時產生過大的變動，導致學習不穩定或崩潰。」