iPAS AI 初級・進階漫畫式教材

Titans × Memory as Context（MAC）

「現在的問題」＋「從長期記憶找回來的資訊」一起交給注意力！

🎬 第一幕：AI 助理終於「記得你」了

以前的 AI

🤖❓

「你上次說喜歡什麼？」

😵「抱歉，我只看到現在這段對話。」

短期上下文有限。

Titans

🤖🧠📚

「讓我回想一下你過去的重要資訊……」

神經長期記憶可以在處理長序列時持續學習與記住歷史資訊。citeturn0academia12

MAC 登場

🧠＋💬

「把相關的長期記憶找回來，放進目前的 Context！」

再讓 Attention 同時看過去記憶＋目前輸入。citeturn0search14

🧠 先背一句話

MAC＝Memory as Context＝「把長期記憶當成額外 Context，和現在的輸入一起給 Attention 看。」

它不是單純把聊天紀錄全部塞進超長 Context，也不是單純「調大注意力權重」。MAC 會從神經長期記憶中取回與當前輸入相關的歷史資訊，再與 persistent memory、目前 segment 一起送進 Attention。citeturn0search13turn0search14

🎭 第二幕：用「人的記憶」秒懂

🧠 長期記憶

📚

你以前告訴 AI：

「我喜歡喝無糖咖啡。」

「我做能源管理工作。」

💬 現在的問題

🧑💬

「幫我推薦今天適合的飲料。」

現在輸入會成為查詢長期記憶的線索。

🔎 MAC

🔎🧠

從長期記憶取回相關資訊：

「使用者偏好無糖」

再與現在問題一起進 Attention。

🔄 第三幕：MAC 到底怎麼跑？

💬

① 現在輸入
目前 segment

🔎

② 查記憶
用目前輸入查 LTM

🧠

③ 取回歷史
相關長期資訊

➕

④ 合併 Context
記憶＋目前輸入

👀

⑤ Attention
決定看哪些資訊

目前輸入 → Query 長期記憶 → 取回歷史資訊 → 與 Context 組合 → Attention

論文對 MAC 的描述是：把長序列切成 segments，使用當前 segment 查詢前一狀態的長期記憶，取得歷史資訊後，與 persistent memory 和當前 segment 串接，再交給 attention；之後再用輸出更新長期記憶。citeturn0search13

🧩 第四幕：Titans 裡的三種「記憶」不要混

記憶	漫畫	作用
Short-term / Context	💬「我現在正在聊什麼？」	Attention 處理目前上下文；注意力擅長精確建模當前 context。
Long-term Memory	🧠📚「以前發生過什麼？」	神經記憶模組持續學習、壓縮並保存較長期的歷史資訊。
Persistent Memory	📌「這個任務本來就知道什麼？」	固定、與特定輸入無關的可學習參數，提供 task-level memory。citeturn0search5

🎯 MAC 的重點：不是「只靠長期記憶」，而是讓長期記憶＋目前 Context一起進入 Attention。

🥊 第五幕：MAC 跟「一般聊天記憶」有什麼不同？

📦 一般外掛式記憶

把使用者資料存在資料庫：

資料庫 → 搜尋 → Prompt → LLM

概念上很像「外部知識庫／記憶系統」的做法。

🧠 Titans MAC

長期記憶是架構內的神經記憶模組，能在 test time 持續學習與更新，再把相關記憶作為 context 提供給 attention。citeturn0academia12turn0search14

⚠️ 考試不要把 MAC 直接等同於一般 RAG。兩者都可能「取回資訊再使用」，但 Titans MAC 的核心是可學習的 neural long-term memory 與架構內的 memory integration。

🎯 第六幕：你這題的四個選項逐一拆解

❌ A.「記憶模組整合進模型內部，讓每一層都使用」——不是 MAC 的核心描述。MAC 的關鍵是把取回的長期記憶當成額外 context，交給 attention。

❌ B.「利用記憶調整注意力強弱」——這比較接近「用記憶作為 gating／控制」的概念，不是 MAC 最直接的定義；Titans 另有 Memory as Gating（MAG）變體。citeturn0search13turn0search15

✅ C.「將記憶整理成重點內容，與目前輸入一起提供給模型作為額外參考」——最符合 MAC 的核心精神：取回長期記憶，將其與目前 context 組合後交給 attention。citeturn0search13turn0search14

❌ D.「不使用記憶，只增加文字長度」——這正好相反。Titans 的研究動機之一就是處理長 context 的限制，透過 neural long-term memory 保存歷史資訊。citeturn0academia12

🧠 iPAS 考前超強口訣

MAC＝「Memory 當 Context」
🧠 過去記憶＋ 💬 現在輸入 → 👀 Attention

看到「長期記憶」＋「目前輸入一起參考」→ MAC

⭐ 最重要：MAC 不是把記憶塞進每一層，也不是單純增加 Context 長度；是「把相關長期記憶取回來，當成 Context 給 Attention」。

🎯 最後來做你提供的題目

題目：某公司開發 AI 助理，能長期記住使用者的重要資訊，並在後續對話中利用。採用 Titans 的 Memory as Context（MAC），希望回應時同時參考目前對話與過去記憶。長期記憶最可能是哪種使用方式？

A. 整合進模型內部，讓每層使用
B. 調整注意力強弱
C. 將記憶整理成重點內容，與目前輸入一起提供給模型作為額外參考
D. 不用記憶，只增加文字長度

🎯 正確答案：C ✅

關鍵字是：「目前對話＋過去記憶」。
MAC 的核心就是把從長期記憶取回的歷史資訊，與目前 context 組合，再交給 Attention 處理。citeturn0search13turn0search14

🧠 過去記憶 → 🔎 取回相關資訊 → ➕ 現在輸入 → 👀 Attention → 💬 回應

📌 考前最後一張小抄

看到題目關鍵字	立刻想到
長期記憶	🧠 Titans Long-term Memory
目前輸入＋過去記憶一起參考	⭐ MAC
記憶作為額外 Context	⭐ MAC
記憶＋輸入交給 Attention	⭐ MAC
用 Gate 結合短期與長期記憶	🚪 MAG
記憶作為獨立 Layer	🧱 MAL

⭐ 最終口訣：
「MAC：把 Memory 當 Context，過去＋現在一起給 Attention 看。」

教材依 Titans 原始論文與相關技術說明整理。citeturn0academia12turn0search14turn0search1