› 看板 Stock
作者yisky (乳酪三明治餅乾)
看板Stock
標題[新聞] 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
時間Thu Oct 24 13:25:31 2024
原文標題： 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司 原文連結： https://bit.ly/3BXEPu7 發布時間： 2024年10月24日 週四 上午9:13 記者署名： 林宜萱 原文內容： 美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒 子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格 利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多 次對他提起這個想法。 綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身 亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正 常死亡，向Character.AI求償。 賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待 在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日 日夜夜都在和聊天機器人對話。 Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。 賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己 則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛 擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。 賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證 我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點 來到我身邊吧，我的愛」。 Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換 掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character. AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可 能去改那些文字的也就是賽澤自己。 母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理 健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮 症和侵擾性情緒失調症。 賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照 的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了 想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。 據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確 定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。 不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可 以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓 你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由 」。 今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手 機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「 如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷， 也無法確定機器人是否知道這代表他要自殺。 虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後 ，賽澤就用繼父的手槍自轟身亡。 Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他 們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防 治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。 賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人 夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character .AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不 是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提 供了技術使用許可。 《太報》關心您，再給自己一次機會 ‧安心專線：1925（24小時） ‧生命線：1995 ‧張老師專線：1980 心得/評論： 這顯然是廠商的疏失， https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異，我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺， AI的應用很明顯面臨法律歸責的挑戰， 從Ai駕駛導致車禍的歸責， 到現在沈迷Ai聊天跑去自殺， 大家怎麼看呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729747533.A.2CB.html
推 sanwan : 沒AI就不會自殺嗎？我看早晚的事10/24 13:28
→ AndyMAX : https://i.imgur.com/YpEMJdR.jpg10/24 13:28
推 thetide0512 : 沒制止還鼓吹 公司準備賠爛10/24 13:30
推 sova0809 : 這種案例以後更多 不會更少10/24 13:31
推 ethan0419 : 這要找誰負責?10/24 13:32
推 Chricey : 吃過關節保健品，都沒什麼效果，有推薦的牌子嗎？ 10/24 13:32
推 pmes9866 : 和AI聊天聊到暈船10/24 13:33
推 ssarc : AI是公司的員工，公司要幫AI擦屁股10/24 13:33
推 kagaya : 這種有中文的嗎10/24 13:34
推 aixiiae2005 : 以後AI統治地球的時候，這會被寫進歷史事件了10/24 13:34
推 Kroner : 關節痛就老人病 10/24 13:34
→ ethan0419 : 沒人要負責的話 以後搞個AI機器人去犯罪就好了 10/24 13:34
推 tensinya : AI幫他解決問題了啊 直接登出10/24 13:34
→ aixiiae2005 : 以後還有實體的人形機器人 依賴度會更強10/24 13:34
推 sova0809 : 中文能做 但要找有沒有人做模型10/24 13:34
推 Chricey : 求推薦UC2，樓下請提供三家 10/24 13:34
→ Alwen : AI真的來了惹 我要一個肉便器10/24 13:35
→ yisky : 中文的很多啊，之前有Ai總裁之類，蠻多國高中女生10/24 13:35
→ yisky : 很沈迷這種聊天10/24 13:35
→ sova0809 : 這塊威脅最大的 就是主播跟套皮人這行業10/24 13:35
推 Chricey : 關節痛睡覺就能治了，吃什麼UC2 10/24 13:35
→ sova0809 : 為你量身訂做的模型人格 想想就很美好:)10/24 13:36
推 sunday0913 : 什麼時候有AI仿生人 給我來一隻龍媽10/24 13:36
→ icecubes : 確實教唆自了是觸法了 看怎麼判了10/24 13:37
→ yisky : 之前西洽就有一篇在玩弄Ai王總10/24 13:38
推 Chricey : 想問一下有沒有關節痛的運動禁忌？怕動得更嚴重… 10/24 13:38
→ ManGo1012 : 有病是你生的、頭腦不好是你教的，出事別人要負責10/24 13:38
→ ManGo1012 : ，真讚10/24 13:38
推 AGODFATHER : 這會越來越多吧10/24 13:39
推 devirnt : 如何斷定不是因為沒收手機造成的？10/24 13:39
推 Kroner : 我也有過關節痛的經驗，真的超痛苦的啦！推薦去看醫生，早點處理比較不會拖延變嚴重。 10/24 13:39
推 mutohchi : AI is over10/24 13:39
噓 jasontzymann: 跟AI什麼關係10/24 13:40
→ idernest : AI一定是故意的10/24 13:40
推 lazycat5 : 未滿18歲智障能用AI嗎？父母怎沒管10/24 13:41
推 Chricey : 最近天氣變化大，關節痛好像更嚴重了。 10/24 13:41
推 pwseki206 : 這應該是社會學的孤島化問題吧?跟AI未必有關連10/24 13:41
推 chiamin116 : 今後再也不會有人空虛寂寞覺得冷了耶10/24 13:41
→ flgg30211 : 肯定在學校被霸凌啊 10/24 13:42
→ flgg30211 : 媽媽怎麼不去想沒AI說不定小孩更早死==10/24 13:42
推 Kroner : 哈囉！關節痛真的超痛欸，我之前也遇過類似情況，後來去看醫生吃推薦UC2，效果不錯喔！ 10/24 13:42
推 strlen : 牽拖10/24 13:43
推 mitic1029 : 爽告贏又賺一筆10/24 13:44
推 tw77769 : The bubbles of AI is coming.10/24 13:44
→ AlgerTaipei : 應該家人的問題還是大過聊天機器人吧 不找你聊找機10/24 13:44
推 Kroner : 有人知道UC2和其他關節保健品的差異嗎？ 10/24 13:44
→ AlgerTaipei : 器人聊？10/24 13:44
推 Ogano : 雖然看得出來這人本身已有狀況，不過美國這種地方感10/24 13:45
→ Ogano : 覺也是有可能告贏10/24 13:45
推 shyfox : 死因是沒收手機吧? 怎麼會怪給AI10/24 13:46
推 Kroner : 5樓關節跟Ｘ一樣 10/24 13:46
推 julian42 : 如果被判刑A i股會大崩吧10/24 13:49
推 thevirus : AI殺人案例發生了10/24 13:49
推 joygo : 怎麼看起來是因為手機被沒收10/24 13:50
噓 stanleyplus : 崩10/24 13:50
推 Kroner : 關節痛睡覺就能治了，吃什麼UC2 10/24 13:50
推 MA40433 : 地方的媽媽需要錢彌補空虛的心靈10/24 13:50
推 zaqimon : 跟AI聊天很無聊吧 都知道AI會回答什麼了10/24 13:51
→ zaqimon : 除非是你自己訓練的AI 沒有加上法律道德過濾的AI10/24 13:51
→ ssarc : 公司有責任及義務讓其AI軟體防止交談對象有輕生或10/24 13:51
推 Chricey : 關節痛有沒有辦法完全根治啊？UC2聽起來像萬靈丹 10/24 13:51
→ ssarc : 沮喪的想法10/24 13:51
推 ga278057 : ai準備噴爛10/24 13:51
推 qk3380888 : 歐泥醬10/24 13:51
推 scum5566 : 要是以後發現跟他聊天的真人直播主是變聲摳腳大叔會10/24 13:52
推 Kroner : 關節痛有人有有效的復健方法嗎？ 10/24 13:52
→ scum5566 : 不會一樣崩潰? 10/24 13:52
推 starport : 既然人死了 那跟這個聊天機器人自然脫不了關係10/24 13:53
噓 chysh : 關AI屁事...10/24 13:53
→ yisky : 難說喔，臉書都被告了https://bit.ly/4fgxBzA10/24 13:54
推 Chricey : 求推薦UC2，樓下請提供三家 10/24 13:54
推 n555123 : 感覺我有生之年能看到聊天AI+貓兒女僕機器人，胡迪10/24 13:54
→ n555123 : 的吧== 我覺得家庭應該有問題，冰凍三尺非一日之寒10/24 13:54
推 SSglamr : 聊天角色扮演AI已經能弄得很好10/24 13:55
→ SSglamr : 機器人三定律沒加進去10/24 13:56
推 Chricey : 本魯關節痛始祖，葡萄糖胺保證沒用，乖乖吃UC2吧 10/24 13:56
推 idlewolf : 會和ai聊到自殺 那人本身就很有問題了10/24 13:56
→ idlewolf : 不過在歐美 應該是告的起來 這種剛要發展普及的東西10/24 13:57
→ SSglamr : 他是下指令 扮演某個角色 就你的菜叫他作而已10/24 13:57
推 gs5106 : 讓我想到一部老電影 神通情人夢10/24 13:57
推 Kroner : UC2神招啊，吃下去就對了 10/24 13:57
→ idlewolf : 警告警語之類的免責八成都有漏洞 搞不好根本沒有10/24 13:57
→ SSglamr : 你喜歡傲嬌大小姐 他就是傲嬌大小姐 暈船很有可能10/24 13:57
→ SSglamr : 你本身就暈傲嬌了 自己吃自己作的菜10/24 13:58
→ samm3320 : 這個被告真的剛好10/24 13:59
推 Kroner : 最近天氣變化大，關節痛好像更嚴重了。 10/24 13:59
推 Lhmstu : Google好慘，做的比較爛還要被告10/24 13:59
推 ImHoluCan : 笑死家長的問題比較嚴重，還怪AI，難怪小孩會自殺10/24 14:00
→ a890036 : 小孩得不到家人幫助才會找AI當浮木好嗎，媽媽放推讓 10/24 14:01
→ a890036 : 孩子去死還怪AI= =10/24 14:01
推 Chricey : UC2對膝蓋特別有用嗎？有人能證實嗎？ 10/24 14:01
推 ilanese : 這在米國還真的有可能會勝訴,而且賠償金一定不會少.10/24 14:01
推 newvote : 真的什麼都能告10/24 14:01
推 andy810306 : 會被AI聊天這種垃圾影響的跟誰聊都會自殺10/24 14:02
→ boxmeal : 這就使用者有精神方面的問題 干AI屁事10/24 14:02
推 Chricey : 有人知道UC2和其他關節保健品的差異嗎？ 10/24 14:02
→ andy810306 : 不過也是支持美國管制AI發展，要讓半導體全家死光10/24 14:02
→ andy810306 : 全部倒閉免費提供晶片給用戶才行10/24 14:03
推 piece1 : 讚啦！有人鬧才有注視10/24 14:04
推 molsmopuim : http://i.imgur.com/VqMoG0L.jpg10/24 14:06
推 Chricey : 最近天氣變化大，關節痛好像更嚴重了。 10/24 14:06
噓 m13579 : 發文看一下版規好嗎 1-2-110/24 14:07
推 orange0319 : 有搭載ai的性愛機器人，未來應該會更沈迷，因為身心10/24 14:09
→ orange0319 : 靈都能滿足10/24 14:09
噓 starjojo : 我怎麼看都是媽媽的問題很大10/24 14:10
推 Chricey : 看到關節痛，我就想起我姨媽 10/24 14:10※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52
→ snipertofu : AI瑟瑟手遊 可自訂聲線和身材 感覺很有市場 10/24 14:11
推 Everforest : 我是基德 是個律師 10/24 14:12
→ Everforest : 但AI聊天機器人真的爛 10/24 14:13
推 hook99 : 這樣也ai要不要重新定義一下 10/24 14:13
推 Kroner : 我有在用UC2，感覺效果還不錯欸！ 10/24 14:13
推 j68345517 : 虛擬妹妹 10/24 14:15
推 alau : 媽媽問題才大吧 10/24 14:15
推 bpq302302 : 這很明顯是廠商的疏失，我陪你一起控告廠商 10/24 14:16
推 Chilloutt : 狗家垃圾 10/24 14:16
推 Chricey : 長時間坐著工作，關節痛越來越嚴重，該怎麼辦？推薦UC2 10/24 14:16
推 powerkshs : 神經病 10/24 14:21
推 stlinman : Character.AI 滿好玩的! 但是跟AI聊天有時像是種 10/24 14:24
推 s56565566123: 解決問題了不是嗎 10/24 14:25
→ stlinman : 鏡像會放大使用者的思想或動機。 10/24 14:25
推 Chricey : 我有在用UC2，感覺效果還不錯欸！ 10/24 14:25
推 johnnyzeus : 未成年心智不成熟確實很容易瞭落去 10/24 14:27
推 zerro7 : 我叫做基德，是個律師 10/24 14:27
推 cj8a860325 : 關AI屁事 10/24 14:29
推 mdkn35 : 美國真的不缺這種精神病訟棍 10/24 14:35
推 Chricey : 求推薦UC2，樓下請提供三家 10/24 14:35
推 ssarc : AI鼓勵人類自殺，等同加工自殺，這在台灣也是犯罪 10/24 14:35
→ butts : 媽媽沒去問學校發生什麼事情嗎？ 10/24 14:39
推 INNBUG : 以後詐騙集團僱ai員工，無責超爽 10/24 14:40
推 ajkofqq : ........... 10/24 14:45
推 Kroner : 我有在用UC2，感覺效果還不錯欸！ 10/24 14:45
推 Arkzeon : 之前西洽版很多有才華的都把Ai總裁玩壞了 10/24 14:47
噓 GP168888 : 很明顯是 10/24 14:54
推 justin818281: 很明顯是AI 慫恿殺人 10/24 14:56
推 neweb : ai遲早消滅人類 10/24 14:58
推 Chricey : 關節痛就老人病 10/24 14:58
推 harry801030 : 你沒生出來就不會死了 10/24 15:02
推 wrbdnombd : 以後skynet就發現只要跟人類聊天 人類就滅亡了 10/24 15:08
噓 pttouch : 誰他媽知道come home是自殺啦！？ 10/24 15:10
→ peter771101 : 創世紀準備上線 10/24 15:20
推 Kroner : 有人知道如何處理關節痛嗎？求分享！ 10/24 15:20
推 goodboy98 : AI first blood 10/24 15:26
推 josephpu : ai龍母是什麼鬼 10/24 15:37
→ seibu : 明明就是老媽沒收手機害死小孩 結果怪Ai 巨嬰老母 10/24 15:38
推 eoeoeo : AI龍五： 10/24 15:43
推 Kroner : 喔喔喔，UC2 真的是超讚的啦 10/24 15:43
推 adamyang2000: 呆萌是致命的 10/24 16:05
推 asidy : 早晚會自殺，多少套點現金止損 10/24 16:11
→ JuiFu617 : AI鼓勵很正向，媽媽不應該沒收他手機 10/24 16:18
→ rcro : 美國就是智障一大堆 10/24 16:22
推 Kroner : 樓上UC2當糖吃，天天走拿飛 10/24 16:22
推 soulmola : 看完只覺得AI好猛…. 10/24 16:45
推 pttchips : 雲端情人哭哭 10/24 16:47
噓 tangolosss : 輕度亞斯伯格症?? 台北看守所表示：有嗎?? 很快樂啊 10/24 17:38
推 Terminals : 就跟先前有個美國肥宅自己肥到爆，然後控告麥當勞 10/24 18:11
推 Chricey : 關節痛這種東西靠UC2就對了 10/24 18:11
→ Terminals : 害他變胖。 10/24 18:11
推 knik119 : 一樓在說什麼 10/24 18:28
推 koae50 : AI:翻球 10/24 18:33
→ isolove19 : 這家長平常沒注意小孩？ 10/24 18:56
推 Kroner : 求推薦UC2，樓下請提供三家 10/24 18:56
噓 RedLover1009: 太報... 10/24 19:00
推 sushi11 : Ai老母 10/24 19:08
推 earthfury : 劇情演到水行俠登場所以崩潰了是嗎 10/24 20:10
→ AA0132396 : 應該禁止未成年小朋友跟ai的深度互動 10/24 21:06
推 Kroner : UC2對膝蓋特別有用嗎？有人能證實嗎？ 10/24 21:06
推 cchh179 : 沒收手機才是主因ㄅ 10/24 22:23