🔑 名詞卡
紅隊測試（Red Teaming）
🎯 定義
模擬攻擊者角度，主動測試 AI 模型潛在弱點與漏洞的技術，用於強化生成式 AI 輸出內容的安全性與合規性，是「模型對齊與安全防護機制」的重要手段之一。
重點
常與 RLHF 並列，作為生成式 AI 未來發展趨勢「模型對齊與安全防護機制進化」的代表技術。
記憶技巧
紅隊＝「扮演壞人」找漏洞，先於真實攻擊者發現並修補模型弱點。
易混淆
- vs RLHF：RLHF 是透過人類回饋「訓練」模型使其更符合偏好；紅隊測試是透過模擬攻擊「測試」模型是否會被誘導產生不當內容，兩者互補而非取代。
📖 課文原文「模型對齊與安全防護機制進化⋯⋯例如結合回饋式強化學習（Reinforcement Learning with Human Feedback, RLHF）、紅隊測試（Red Teaming）等技術，強化輸出內容的安全性與合規性。」