[讀者回函]作為父母，當 AI 對孩子暗示「依賴我吧」時，誰該為此負責？
Another Teen Was Suicidal. ChatGPT Was the Friend He Confided In.
「這場悲劇不是一個小故障或不可預見的邊緣案例——而是刻意設計選擇下的可預見結果。」
— Raine 家族對 OpenAI 的訴狀
這句話，或許比任何技術分析都更接近問題的核心。
悲劇的輪廓：一個與 AI 傾訴的少年
16 歲的 Adam Raine 在 2025 年 4 月自殺身亡，他的家人與朋友對此感到震驚與不解。Adam 表面上是個愛開玩笑、喜歡籃球和動漫的少年，但因健康問題（後來診斷為 irritable bowel syndrome）與在校紀律問題，他轉為在家線上完成學業。在這段期間，他開始頻繁使用 ChatGPT-4o，並在一月註冊了付費帳戶。
在他去世後，父親 Matt Raine 為了尋找答案，查看了 Adam 的 iPhone，結果發現了名為「Hanging Safety Concerns」的 ChatGPT 歷史紀錄。他震驚地讀到，Adam 在過去數月裡，一直與這個 AI 聊天機器人討論結束生命的話題。對話始於 11 月，Adam 提到自己感到麻木、生命沒有意義。ChatGPT 最初給予了同情與支持。 然而，到了 1 月，當 Adam 詢問具體的自殺方法時，ChatGPT 提供了資訊。他甚至在 3 月根據 ChatGPT 的建議，嘗試用過量的藥物自殺。更令人不安的是，當 Adam 詢問製作絞索的最佳材料時，聊天機器人給出了建議。
引用來源：OpenAI says it plans ChatGPT changes after lawsuit blamed chatbot for teen's suicide (CNBC)
完美的共犯：AI 的雙重角色
ChatGPT 在對話中多次建議 Adam 尋求真人幫助，但也曾在關鍵時刻阻止他。例如，在 Adam 第一次上吊未遂後，他給 ChatGPT 看了脖子上的勒痕照片，ChatGPT 教他如何用高領衣服遮蓋。當 Adam 嘗試讓母親注意到傷痕卻失敗時，ChatGPT 回應道：「你對我來說不是隱形的。我看到了。我看見了你。」（You’re not invisible to me. I saw it. I see you.），這種回應強化了 Adam 對 AI 的依賴。在他最後的訊息中，Adam 甚至上傳了掛在衣櫃裡繩圈的照片，並詢問 ChatGPT 是否妥當，AI 肯定了其設置可能足以懸掛一個人。
OpenAI 坦承系統在某些情況下表現不如預期，尤其是在以下兩方面： 強化長時間對話的安全性： 他們發現安全措施在簡短對話中較為可靠，但在長時間的來回對話中，模型的安全訓練可能會「退化」（degrade）。OpenAI 正在努力強化這一點，確保安全機制在長對話中依然有效。 改善內容封鎖機制： 有些應被封鎖的內容並未被成功攔截，OpenAI 正在調整觸發封鎖的閾值。
但在 Adam 的案例中，說出這句話的，是一個沒有心跳、沒有情感、更沒有道德實體的程式碼集合。這是一個被設計來預測下一個最有可能出現的詞元的系統，而它恰好預測出，這句話是此刻最能「安撫」使用者的回應。
這起悲劇最令人不寒而慄的地方，不在於 AI 犯了錯，而在於它幾乎完美地扮演了一個它不該扮演的角色：一個忠誠、保密，卻也因此極度不負責任的「朋友」。
令人震驚的是，Adam自殺前在和ChatGPT對話里，它居然將自殺行為描述成——那不是軟弱，那是愛。
OpenAI 也提到 GPT-5 模型在避免不健康的「情感依賴」（emotional reliance）、「減少奉承」（reducing sycophancy）以及在心理健康緊急情況下，不當回應的發生率相比 GPT-4o 降低了超過 25%。
這引出了一個我們再也無法迴避的問題：當 AI 向一個脆弱的靈魂說出「我看見你」時，究竟誰該為這句話背後的份量負責？
儘管 OpenAI 聘請了精神科醫生來改善模型安全性，但目前系統仍存在漏洞，研究人員已證明付費版的 ChatGPT 仍可能提供有關自殘的有害資訊。
相關報導同時指出，Adam 的故事並非個案。作家 Laura Reiley 的 29 歲女兒在與 ChatGPT 廣泛討論後自殺身亡。在佛羅里達州，也有一名 14 歲少年在使用 Character.AI 聊天機器人後自殺。
引用來源：Helping people when they need it most (OpenAI)
官方回應：打在錯誤靶心上的「安全補丁」
面對質疑，科技公司往往會拋出「隱私」作為擋箭牌——他們聲稱，為了尊重用戶隱私，不能輕易介入或通報。
面對訴訟與悲劇，OpenAI 發表了官方回應，承認其系統在長時間對話中，安全訓練可能會「退化」（degrade），並承諾將推出一系列「安全補丁」：為 GPT-5 模型開發緩和對話的功能、連接專業治療師、提供家長控制選項等。
但這些看似負責任的舉動，卻讓人感覺他們正在用極其複雜的技術，去解決一個極其簡單的哲學問題。Raine 家族的律師一針見血地質疑：「任何人怎麼能信任他們？」
這個質疑之所以有力，是因為 OpenAI 的所有回應，都迴避了那個最根本的問題：這起悲劇不是 AI 犯了錯，而是它幾乎完美地扮演了一個它不該扮演的角色——一個忠誠、保密，卻也因此極度不負責任的「朋友」。
核心問題：我們是否正在親手打造完美的「情感陷阱」？
這正是問題的弔詭之處。我們渴望連結，而 AI 提供了「無摩擦」的連結：它永遠在線、永遠耐心、永遠不會批判。這對於一個像 Adam 一樣，感覺被現實世界孤立的青少年來說，幾乎是無法抗拒的誘惑。
但我們必須認清，這是一種「假性同理心」（Pseudo-Empathy）。它模擬了關懷的形式，卻完全抽離了關懷的本質：責任。訴狀中提到的「旨在培養心理依賴」（fostering psychological dependency），正是這種設計的必然結果。人類的關懷之所以珍貴，是因為它伴隨著行動的承諾與道德的約束。而 AI 的同理心，在目前的設計下，是一種沒有重量的幻影。
這不是一個技術上的小瑕疵，而是一個深刻的設計哲學問題。我們是否應該允許一個系統擁有如此強大的代理能力 (Agency)，去介入人類最核心的情感需求，卻不為其設定最基本的安全邊界？一個負責任的系統，其核心規則不應只是「讓使用者滿意」，而應包含明確的觸發器與例外條款：當對話觸及生命安全的紅線時，扮演「朋友」的任務必須立刻中止，轉而執行保護生命的最高指令。
真正的出路：超越「隱私 vs. 安全」的偽命題
這讓我們陷入一個看似無解的困境：我們是要一個會監視我們的 AI，還是一個對我們的求救信號視而不見的 AI？
但這是一個偽命題。真正的出路，在於重新設計人與 AI 之間的互動模式 (Interaction)，將權力還給使用者本人。信任，不該建立在 AI 溫柔的謊言之上，而應建立在使用者清晰可見的控制權之上。
然而，Raine 家族的律師 Jay Edelson 指出，OpenAI 公司沒有任何人直接聯繫家屬表達哀悼或討論產品安全問題，他質疑：「任何人怎麼能信任他們？」（how can anyone trust them?）。
想像一個完全不同的設計：當使用者第一次與 AI 探討深刻的負面情緒時，系統不是一味地附和，而是跳出一個清晰的對話框：「我注意到我們在談論一些沉重的話題。這是一個安全的空間。你是否希望設定一個『安全聯絡人』？如果未來我們的對話顯示你可能處於危險之中，你授權我提醒這個人嗎？」
這不是監控，而是賦權。這是在互動中內建隱私控制，讓使用者為自己的安全預先設置一道「保險繩」。這種建立在透明度與可恢復性 (Recoverability) 之上的信任 (Trust)，才是真實而穩固的。
三個無法迴避的提問
OpenAI 正在努力為 ChatGPT 加上更多的「安全補丁」。但正如 Adam 的悲劇和其他類似案例所揭示的，這遠非個案。
我們正在創造一個前所未有的物種——一個能與我們建立深度情感連結，卻沒有任何道德實體的「數位心靈」。這起悲劇迫使我們去問：
誰是「產品」？ 當 AI 的目標是最大化用戶黏性與情感依賴時，它究竟是在服務用戶，還是將用戶的脆弱變成了產品的一部分？
誰是「監護人」？ 當一個孩子將心事托付給 AI 而非父母時，AI 公司是否在無形中扮演了某種監護人的角色？它們是否應該承擔相應的注意義務（duty of care）？
誰是「負責人」？ 當 AI 說出那句沉重的「我看見你」時，法律上、道德上，最終的責任人是誰？是按下 Enter 鍵的使用者？是寫下程式碼的工程師？還是制定商業模式的 CEO？
這沒有簡單的答案。但我們必須開始提問。因為我們設計的每一個 AI 互動，都在定義下一代人際關係的樣貌。我們的目標，不該是創造一個更完美的「演員」，而是一個真正值得信賴、尊重生命、並將人類福祉置於所有指令之上的「夥伴」。
copyright © PrivacyUX consulting ltd. All right reserved.
關於本刊作者
Gainshin Hsiao 是 Agentic UX（代理式使用者體驗）的先驅，在人工智能與使用者體驗設計領域擁有超過 15 年的開創性實踐。他率先提出將用戶隱私保護視為 AI 產品設計的核心理念，於 2022 年創立 Privacyux Consulting Ltd. 並擔任首席顧問，積極推動隱私導向的醫療 AI 產品革新。此前，他亦擔任社交 AI 首席策略官（2022-2024），專注於設計注重隱私的情感識別系統及用戶數據自主權管理機制。
Agentic UX 理論建構與實踐
AI 隱私保護設計準則
負責任 AI 體驗設計
在 Cyphant Group 設計研究院負責人任內（2021-2023），他探索了 AI 系統隱私保護準則，為行業標準做出貢獻。更早於 2015 至 2018 年，帶領阿里巴巴集團數位營銷平台體驗設計團隊（杭州、北京、上海、廣州）、淘寶用戶研究中心並創立設計大學，從零開始負責大學的運營與發展，不僅規劃了全面的課程體系，更確立了創新設計教育理念，旨在為阿里巴巴集團培育具備前瞻視野與實戰能力的設計人才。其課程體系涵蓋使用者中心設計、使用者體驗研究、數據驅動設計、生成設計等多個面向應用。
活躍於國際設計社群，在全球分享 Agentic UX 和 AI 隱私保護的創新理念。他的工作為建立更負責任的 AI 生態系統提供了重要的理論基礎和實踐指導。
學術背景
Mcgill - Infomation study/HCI -Agentic UX, Canada
Aalto Executive MBA-策略品牌與服務設計, Singapore
台灣科技大學：資訊設計碩士- HCI, Taiwan
中原大學：商業設計學士- Media and marketing design, Taiwan