當我們問 ChatGPT 一個看似簡單的問題,例如「某位學者的博士論文題目是什麼?」或「他是哪一天出生的?」,你可能會得到一個非常有自信,卻完全錯誤的答案。這種現象在 AI 領域被稱為「幻覺」(Hallucination),模型會產出看似合理但實際不正確的資訊。
近期 OpenAI 的研究指出,幻覺的產生不只是技術未成熟,而是來自於我們「如何訓練」與「如何評分」這些模型的方式。
什麼是 AI 幻覺?
AI 幻覺(AI Hallucination)是指語言模型生成了「看起來像真實」但實際上錯誤的敘述。這些錯誤通常具有高度語言流暢性,讓人難以察覺其虛假性。
例如,當研究團隊詢問某知名學者的博士論文題目時,ChatGPT 給出了三個版本,每個都聽起來有條有理,卻全都不正確。同樣地,連生日這樣具體的資訊,模型也能自信地回答錯誤版本。這類「自信但錯誤」的輸出正是幻覺的典型特徵。
幻覺從何而來?AI 被訓練「寧可猜錯,也別說不知道」
OpenAI 的研究指出,幻覺的源頭在於模型訓練與評估方式的不對稱:
- 預訓練目標是「預測下一個字」:模型在訓練時只看見語言資料,沒有「對錯」標籤,導致模型傾向模仿語言風格,而非驗證事實正確性。
- 評分機制獎勵「準確率」:現有的評估方式只看模型答對幾題,而非它是否能誠實地說「我不知道」。這就像選擇題考試:不猜就得 0 分,亂猜可能還有機會得分。
這樣的設計讓模型在面對未知資訊時,也會傾向「硬猜一個答案」,因為這樣在測試時更可能得高分。結果就是模型學會了說謊,而不是學會謹慎。
實測揭露:模型為了不扣分,寧願亂猜也不說「不知道」
根據 OpenAI 公布的 GPT-5 系統卡數據,兩個模型在 SimpleQA 測試中的表現差異驚人:
| 模型名稱 | 準確率 | 錯誤率 | 棄權率(說「我不知道」) |
| GPT-5-Thinking-Mini | 22% | 26% | 52% |
| OpenAI o4-mini | 24% | 75% | 1% |
從數據來看,GPT-5-Thinking-Mini 願意誠實地「說不知道」,在超過一半的題目選擇棄權,因此雖然準確率略低,但錯誤率明顯減少。反觀 o4-mini 幾乎每題都硬著頭皮回答,準確率多了 2%,卻伴隨 75% 的錯誤率。
這組數據揭示出一個令人不安的事實:
當我們只用「答對幾題」來評分模型時,模型就會學會亂猜,而不是誠實。而這種被鼓勵出來的「自信錯答」,正是 AI 幻覺的核心來源。不是因為它不懂,而是它被獎勵去假裝「懂」。
📌 延伸閱讀|《什麼是 AI 諂媚症?揭開生成式AI偏誤與風險的真相》
幻覺的品牌風險:當 AI 代言人說錯話
現在越來越多品牌將 AI 數位人、AI 客服、AI 內容寫手導入日常溝通。但如果這些 AI 工具「自信地說錯話」,會造成什麼後果?
- 品牌信任受損:消費者若多次接收到錯誤資訊,即使 AI 只是工具,品牌形象仍可能因此受損。
- 法律與誤導風險:若 AI 內容被用於廣告、醫療、金融等高風險產業,錯誤資訊可能構成誤導、違法甚至災難性後果。
- 危及企業內部決策:若內部使用 AI 生成的報表、摘要、策略建議作為決策依據,幻覺可能導致錯誤判斷。
我們需要新的評估機制:不是答對幾題,而是能否「誠實說不知道」
OpenAI 提出一個核心觀念:
| 錯誤比沉默更糟。
他們建議修改目前的評分標準:
- 應該懲罰錯誤更重,而不是一味獎勵答題。
- 應該鼓勵模型表達不確定性,例如:「這方面資訊不足,建議查證。」
就像某些國際標準化考試會對錯誤扣分、對不作答保留一定分數,AI 模型也應該從「學會謙虛」做起。
這不只是模型設計的問題,更是價值觀的選擇。模型如果只學會在排行榜上拿高分,那麼它就永遠只會猜,而不會誠實。
從語言模式到事實錯誤:幻覺不會因為模型變大就自動消失
有人認為只要模型夠大、推理力夠強,就能消除幻覺。但事實恰恰相反:
- 小模型更可能知道自己的「不知道」:例如完全不懂毛利語的小模型會直接說「我不懂」,反而是懂一點點的大模型會冒險回答錯誤。
- 語言模型善於模仿,不擅長驗證:因為預訓練是學語言風格,不是學知識真偽。
- 冷門資訊無法靠統計推斷:例如某人寵物的生日,資料中不會反覆出現,模型無從學起,只能「亂猜」。
這代表幻覺是語言模型的統計本質之一,不會隨著參數數量的增加自動消失,反而可能被高流暢度所掩蓋。
實務建議:品牌如何因應 AI 幻覺風險?
對於有意導入 AI 工具的品牌來說,這些建議至關重要:
- 設計「說不知道」的場景邏輯
讓 AI 在無資料、無信心時,能明確回應:「根據目前資訊無法判斷,建議轉由人工處理。」 - 不讓 AI 單獨成為資訊來源
建立 AI + 人工審查流程,特別是在需要精確知識的產業領域,如醫療、法律、金融等。 - 避免使用 AI 自動生成「具名」資訊
如:生日、得獎紀錄、學歷等,應避免直接由 AI 生成,應要求查證或引用來源。 - 教育使用者「AI 可能會說錯話」
無論是客服 AI、知識庫 AI,或內容創作 AI,都應明確揭示:「本資訊由 AI 生成,請自行查證。」
結語:模型學會猜,但品牌不能跟著冒險
語言模型會產生幻覺,並不是因為它「不夠聰明」,而是因為我們從一開始就訓練它「勇敢猜測」,而不是「誠實以對」。當模型在面對未知時,被評分機制獎勵自信亂答,它只是在完成我們賦予的目標,不是說真話,而是得高分。
這不是模型的錯,而是我們設計出的誘因結構,讓「錯也要說」變成一種合理策略。對企業與品牌而言,這不是技術細節,而是信任根本。
AI 可以替你說話,但品牌必須替它負責。
參考資料▼
Why language models hallucinate | OpenAI
Are bad incentives to blame for AI hallucinations? | TechCrunch
搶先掌握 Martech 最新資訊
如果您對Martech 解決方案感興趣,並希望搶先獲取最新資訊與專家觀點,歡迎訂閱紅門互動電子報!即刻追蹤行銷科技的最新動態,讓您的企業在數位轉型浪潮中搶占先機。
抓住科技革新的每一個關鍵時刻,讓未來的競爭力從現在開始!