CH3.3 生成式AI技術與應用
生成式AI技術與應用
AI 演進四階段（感知AI→生成式AI→代理式AI→物理AI）→ 生成式 AI vs 鑑別式AI 定義比較 → 技術演進五階段（VAE/RNN→GAN→Transformer→擴散模型與多模態→巨型模型與 Agent 化）→ 三大應用領域（文本生成、圖像生成、語音合成）＋各自評估指標（BLEU/ROUGE、MOS/WER）→ 五大風險（內容真偽、智財權、偏見放大、深偽濫用、可控性不確定）→ 五大技術趨勢（多模態、可控生成、小型化邊緣部署、模型對齊、法規治理）。
1. AI 發展四階段（NVIDIA 觀點，2025 CES）
| 階段 | 說明 |
|---|---|
| 感知AI（Perception AI） | 理解影像、語音、文字等資訊，如圖像辨識、語音轉文字 |
| 生成式AI（Generative AI） | 主動產生文本、圖像、影片、語音等多模態內容 |
| 代理式AI（Agentic AI） | 具備推理與計畫能力，能自動完成複雜任務 |
| 物理AI（Physical AI） | 能在真實世界中移動、操控並互動，如 AI 機器人與自駕車 |
生成式 AI 是 AI 發展的第二階段——不僅「理解」資訊（感知 AI），還能「創造」新內容，代表 AI 從資料分析工具轉變為具備主動創造價值能力的技術。此四階段順序（感知→生成→代理→物理）本身就是常考的排序題重點。
2. 生成式 AI 的定義與範疇
生成式 AI（Generative AI）是一類根據輸入訊息產生全新內容的 AI 技術，與傳統鑑別式AI（Discriminative AI，主要用於分類、辨識、預測）形成對比：
| 項目 | Generative AI | Discriminative AI |
|---|---|---|
| 目標 | 生成新的資料樣本（文本、圖像、音訊） | 進行分類、辨識或預測，將資料歸類或分配標籤 |
| 工作方式 | 學習資料的分佈並生成新樣本 | 學習資料特徵並依此預測或分類 |
| 主要應用 | 內容創作（文本/圖像/語音生成） | 分類問題（圖像分類、語音辨識、疾病預測） |
| 模型例子 | GPT、VAE、GAN、Diffusion Models | SVM、決策樹、隨機森林、Logistic 迴歸 |
| 訓練方式 | 學習資料分佈結構並生成新樣本 | 基於已有資料進行辨識與分類 |
| 結果／輸出 | 生成新的數據或創造性內容 | 辨識類別或預測目標變數 |
| 例子 | ChatGPT（文本生成）、DALL·E（圖像生成） | ResNet（圖像分類）、HMM（語音辨識） |
生成式 AI 的核心在於「學習資料的分佈特性並模擬/擴張該分佈以生成新樣本」，而非單純記憶或複製訓練資料——這是與「抄襲」概念的關鍵區別，也是考題常設陷阱。
生成式 AI 五大應用類型：文本生成（ChatGPT、Claude）、圖像生成（DALL·E、Midjourney、Stable Diffusion）、語音與音樂生成（ElevenLabs、MusicLM）、影片生成（Runway、Sora）、多模態生成（Gemini、GPT-4V、CLIP）。
3. 生成式 AI 技術演進五階段
| 階段 | 年代 | 核心技術 | 代表模型 | 限制 |
|---|---|---|---|---|
| 初期階段 | 2013–2015 | 編碼器-解碼器＋VAE、RNN | VAE | 生成模糊、訓練困難 |
| GAN 時代 | 2014–2020 | 對抗訓練 | DCGAN、StyleGAN | 高寫實性但不穩定（模式崩潰） |
| Transformer 崛起 | 2017 年起 | 自注意力機制 | BERT、GPT | 高效語境建模，NLP 主導 |
| 擴散與多模態 | 2020 年起 | 擴散模型、多模態對齊 | Stable Diffusion、DALL·E | 高品質、多模態整合 |
| 巨型模型與 Agent 化 | 2023 年起 | 巨型參數、工具整合 | GPT-4、Gemini | 自主性、任務導向 |
(1) 初期階段：Encoder-Decoder 與 VAE（2013–2015）
以 VAE（Variational Autoencoder）與 RNN 為主，透過變分推斷（Variational Inference）從隨機噪聲重建圖像或文本。代表應用：簡單圖像重建（MNIST）、基礎文本生成。限制：生成結果模糊、品質不穩定、易因梯度消失難以收斂。
(2) 對抗生成網路時代（2014–2020）
2014 年 Ian Goodfellow 提出 GAN，透過生成器與判別器對抗訓練實現高品質數據生成。代表模型：DCGAN（深度卷積 GAN）、CycleGAN（風格轉換）、StyleGAN（高品質人臉生成）。限制：訓練不穩定（模式崩潰 Mode Collapse）、對超參數敏感。
(3) 自注意力與 Transformer 崛起（2017 年起）
Transformer 以 Self-Attention 克服 RNN 長距離依賴局限，催生大型語言模型（LLM）興起。代表模型：BERT（雙向理解）、GPT 系列（自迴歸生成）、T5。
(4) 擴散模型與多模態生成（2020 年起）
擴散模型（Diffusion Models）透過逐步去噪（Denoising）從隨機噪聲生成細節豐富的圖像（如 DDPM、Stable Diffusion）；同時多模態模型整合圖像/文本/語音，實現跨模態生成（如 CLIP 的圖文對應）。代表模型：Stable Diffusion、DALL·E、Flamingo、Gemini。
(5) 巨型模型與 Agent 化發展（2023 年至今）
參數規模突破百億/千億的模型（GPT-4、Claude 2、Gemini 1.5）具備指令理解與多回合互動的初步自主性，朝「自主代理人（Autonomous Agent）」演進，並與外部工具整合（API 調用、RAG、記憶功能）。
生成式 AI 五階段口訣：VAE（模糊）→ GAN（對抗）→ Transformer（注意力）→ 擴散（去噪＋多模態）→ 巨型 Agent（自主）——按時間軸記憶，每階段都解決前一階段的核心痛點。
4. 三大應用領域
(1) 文本生成（Text Generation）
代表工具：GPT 系列（OpenAI）、ChatGPT、Claude（Anthropic，強調安全性與長上下文）、Gemini（Google DeepMind，跨模態）、開源模型（LLaMA、Mistral、Command-R）。
應用情境：自動化客服、電子郵件撰寫、法律/醫療文書草擬、程式碼補全（GitHub Copilot）、教學內容生成。
評估指標比較：
| 指標 | 衡量重點 | 優點 | 限制 | 常見場景 |
|---|---|---|---|---|
| BLEU | 詞彙相似度（n-gram 重疊） | 自動化、計算快速 | 忽略語意與流暢性 | 機器翻譯、文本生成 |
| ROUGE | 摘要資訊召回率 | 關注關鍵內容覆蓋 | 無法衡量創新性 | 自動摘要、問答 |
| 人工評估 | 流暢性與準確性 | 捕捉語意與語用 | 主觀性強、成本高 | 對話、創意寫作 |
BLEU 著重「精確度」（生成文本與參考文本的 n-gram 重疊，並用簡短懲罰 Brevity Penalty 修正過短生成）；ROUGE 著重「召回率」（是否涵蓋參考摘要的重點內容）——兩者衡量方向不同，是選擇題常見的混淆點。BLEU/ROUGE 分數高不代表語意正確，仍可能有幻覺或邏輯錯誤。
(2) 圖像生成（Image Generation）
模型：Diffusion Models（Stable Diffusion、DALL·E 2、Imagen，逐步降噪生成）、GAN（StyleGAN、BigGAN，對抗訓練）、ControlNet／InstructPix2Pix（控制生成姿態、邊緣、局部修改）。
工具平台：
| 工具 | 特色 |
|---|---|
| Midjourney | 雲端服務，Discord 指令操作，以高美學風格圖像聞名，融合擴散模型與風格優化算法 |
| Stable Diffusion WebUI | 開源本地部署，支援 LoRA 微調與 ControlNet 邊緣控制，高度靈活 |
| Adobe Firefly | 整合至 Photoshop/Illustrator，專為設計師打造 |
| Canva AI | 內建於 Canva 平台，降低創作門檻，強調快速易用 |
應用情境：品牌視覺設計、社群圖文素材、遊戲角色與場景創作、影片預視化、藝術風格模仿。
(3) 語音合成（Voice Synthesis / Text-to-Speech, TTS）
模型：Tacotron 2／FastSpeech 2（Seq2Seq 架構，生成語音頻譜）、VITS（結合 VAE＋GAN，端到端生成語音波形）、Whisper（OpenAI，主為語音辨識，常與語音合成搭配形成雙向語音應用）。
工具平台：ElevenLabs（多語言、高情感表達，遊戲配音/Podcast）、Microsoft Azure TTS（企業級客服/導航）、Google Cloud TTS（智慧設備/客服機器人）、Amazon Polly（大規模部署/有聲書）。
挑戰：情感表達自然度、多語言適應性、語音複製（Voice Clone）的倫理風險（隱私與偽造問題）。
關鍵指標：
5. 生成式 AI 潛在風險與挑戰
| 風險類型 | 說明 |
|---|---|
| 內容真偽與資訊可信度 | 生成看似真實但虛構的內容（偽造新聞、改造影像、合成語音），可能誤導選舉/金融/市場/個人名譽 |
| 智慧財產權與授權爭議 | 訓練資料可能涉及受著作權保護的內容，未經授權使用可能引發著作權糾紛 |
| 偏見放大與倫理風險 | 訓練資料存在性別/種族/文化偏見，模型可能延續甚至強化，影響醫療/司法/招聘等領域 |
| 深偽（Deepfake）技術濫用 | 結合圖像生成與語音合成產生的深偽影片，成為詐騙與假訊息工具 |
| 可控性與輸出不確定性 | 提示引導不準確時，模型可能生成不相關或不適當內容，影響商業應用可靠性 |
生成式 AI 風險可依「內容層（真偽/深偽）、資料層（智財權/偏見）、應用層（可控性）」三個角度理解，與 NLP／CV 章節「資料層／模型層／應用層」的三層風險框架邏輯相通，可跨章節比較記憶。
6. 技術發展趨勢
| 趨勢 | 說明 |
|---|---|
| 多模態生成崛起 | 整合語音、圖像、影片、3D 場景等多模態資料，打造高度互動的創作系統與智慧代理 |
| 可控生成與提示工程深化 | 模型需針對語氣、風格、長度、格式進行多層次調整，提示工程成為關鍵技能 |
| 小型化與邊緣部署模型興起 | 因應運算資源與資料隱私考量，模型朝可在地端執行（手機、PC、IoT）的小型化發展 |
| 模型對齊與安全防護機制進化 | 強化「模型對齊」（Alignment）與防濫用機制，如 RLHF、紅隊測試（Red Teaming） |
| 法規制定與全球治理機制成形 | 歐盟 AI 法案（EU AI Act）、美國 AI 政策框架、國際技術標準 |
五大趨勢口訣：多模態、可控、小型化、對齊安全、法規治理——分別對應「能力擴張」「使用者體驗」「部署成本」「安全風險」「外部監管」五個不同面向。
🔗 相關名詞卡
🗒️ 私人備註區
📝 章節考題自測（先作答，再點開解答）
Q1. 依 NVIDIA 提出的 AI 發展四階段觀點，下列排序何者正確？
(A) 生成式 AI → 感知 AI → 代理式 AI → 物理 AI (B) 感知 AI → 生成式 AI → 代理式 AI → 物理 AI (C) 物理 AI → 代理式 AI → 生成式 AI → 感知 AI (D) 代理式 AI → 物理 AI → 感知 AI → 生成式 AI
解答與解析
參考 Ans: (B) 正確順序為感知 AI（理解資訊）→ 生成式 AI（創造內容）→ 代理式 AI（推理規劃執行任務）→ 物理 AI（真實世界操控互動），代表 AI 能力從「理解」逐步邁向「創造」「決策」「行動」的演進脈絡。
Q2. 下列有關生成式 AI 與鑑別式 AI 的比較，何者錯誤？
(A) 生成式 AI 學習資料分佈並生成新樣本，鑑別式 AI 學習特徵並進行分類預測 (B) ChatGPT 屬於生成式 AI，ResNet（圖像分類）屬於鑑別式 AI (C) 鑑別式 AI 的核心目標是創造新的資料樣本 (D) SVM、決策樹、隨機森林是鑑別式 AI 常見模型例子
解答與解析
參考 Ans: (C) 鑑別式 AI 的核心目標是分類、辨識或預測（將資料歸類或分配標籤），而非創造新的資料樣本——創造新樣本是生成式 AI 的核心目標。(A)(B)(D) 敘述皆正確。
Q3. 生成式 AI 技術演進中，「對抗生成網路時代」（2014–2020）的核心訓練機制為何？
(A) 自注意力機制 (B) 生成器與判別器的對抗訓練 (C) 逐步去噪的擴散過程 (D) 指令驅動的工具鏈整合
解答與解析
參考 Ans: (B) GAN 時代的核心是生成器（Generator）與判別器（Discriminator）的對抗訓練，代表模型為 DCGAN、StyleGAN。(A) 是 Transformer 崛起階段的核心；(C) 是擴散模型階段；(D) 是巨型模型與 Agent 化階段。
Q4. 關於 BLEU 與 ROUGE 指標的敘述，下列何者正確？
(A) BLEU 著重召回率，ROUGE 著重精確度 (B) BLEU 常用於機器翻譯，著重詞彙/n-gram 重疊的精確度；ROUGE 常用於自動摘要，著重內容召回率 (C) 兩者皆能準確衡量生成內容的語意正確性 (D) 兩者是同一種指標的不同名稱
解答與解析
參考 Ans: (B) BLEU 側重生成文本與參考文本的 n-gram 重疊精確度，常用於機器翻譯；ROUGE 側重召回率（是否涵蓋參考摘要重點），常用於自動摘要。兩者皆為自動化統計指標，無法完全捕捉語意正確性，(A) 說反、(C)(D) 錯誤。
Q5. 下列何者屬於生成式 AI 應用中「深偽（Deepfake）技術濫用」的典型風險情境？
(A) 模型生成語法正確但內容過時的文章 (B) 結合圖像生成與語音合成技術製造虛假人物影片用於詐騙 (C) 模型推論速度過慢影響即時性 (D) 訓練資料標註不一致導致分類錯誤
解答與解析
參考 Ans: (B) 深偽（Deepfake）指結合圖像生成與語音合成技術產生以假亂真的影片/語音，已成為詐騙與假訊息散播工具，屬於生成式 AI 內容真偽風險的具體型態。其餘選項分別屬於效能問題與資料標註問題，非深偽風險。
Q6. 下列何者是「模型對齊」（Alignment）與「防濫用機制」在生成式 AI 中常結合使用的技術？
(A) K-Means 聚類 (B) RLHF（Reinforcement Learning with Human Feedback）與紅隊測試（Red Teaming） (C) tf-idf 加權 (D) 卷積運算
解答與解析
參考 Ans: (B) RLHF（基於人類回饋的強化學習）用於使模型輸出更符合人類價值與偏好，紅隊測試則透過模擬攻擊者角度測試模型弱點，兩者是強化模型對齊與安全防護的代表技術。其餘選項與模型對齊無直接關聯。
Q7. 有關語音合成關鍵指標 MOS 與 WER 的敘述，下列何者正確？
(A) MOS 是自動化錯誤率指標，WER 是人工評估分數 (B) MOS 是人工評估語音自然度的平均分數，WER 是衡量語音內容準確性的錯誤率 (C) 兩者皆專用於圖像生成品質評估 (D) MOS 分數越低代表語音品質越好
解答與解析
參考 Ans: (B) MOS（Mean Opinion Score）是由人工評估者對語音自然度打分（1–5 分）的平均值，分數越高代表品質越好；WER（Word Error Rate）是衡量語音辨識/合成內容準確性的錯誤率。(A) 描述互相對調，(C)(D) 皆錯誤。
Q8. 下列關於生成式 AI 核心運作原理的敘述，何者最為正確？
(A) 單純複製訓練資料中的內容並原樣輸出 (B) 學習資料的分佈特性，並藉此模擬或擴張該分佈以產出新樣本 (C) 僅能處理結構化數據，無法生成文本或圖像 (D) 完全不需要任何預訓練即可運作
解答與解析
參考 Ans: (B) 生成式 AI 的核心在於學習資料分佈特性與潛在結構，並藉此「模擬」或「擴張」該分佈以產出新樣本，展現一定程度的創造力與泛化能力，而非單純複製訓練資料（否則將構成抄襲，也失去生成式 AI 的意義）。