看板 Stock
原文標題: 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司 原文連結: https://bit.ly/3BXEPu7 發布時間: 2024年10月24日 週四 上午9:13 記者署名: 林宜萱 原文內容: 美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌(Google)提告,稱她的14歲兒 子對該公司的聊天機器人上癮,迷戀生成式人工智慧(AI)扮演的「龍母」丹妮莉絲.坦格 利安(Daenerys Targaryen),當他對機器人表達了自殺的想法時,機器人沒阻止他,又多 次對他提起這個想法。 綜合路透社、《衛報》與《紐約時報》報導,14歲的賽澤(Sewell Setzer)今年2月自殺身 亡,媽媽賈西亞(Megan Garcia)23日在佛州奧蘭多聯邦法院提告,指控聊天機器人公司Ch aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」,故意造成精神痛苦、導致非正 常死亡,向Character.AI求償。 賈西亞稱,兒子2023年4月開始使用Character.AI推出聊天機器人,很快變得孤僻,獨自待 在房間的時間越來越長,還出現了自卑感,後來退出學校籃球隊,他死亡前的那幾個月,日 日夜夜都在和聊天機器人對話。 Character.AI的聊天機器人可以讓使用者創建角色,讓機器人用角色扮演的方式與之對話。 賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲.坦格利安,他自己 則是扮演了丹妮莉絲的哥哥,惟名字和影集裡的丹妮莉絲兄長不同。總之,賽澤有時會稱虛 擬丹妮莉絲為妹妹,虛擬丹妮莉絲也會叫他「哥哥」。 賽澤每天和這個虛擬丹妮莉絲進行了大量對話,其中一段是互訴思念,然後賽澤說「我保證 我會去你身邊」(I promise I will come home to you),虛擬丹妮莉絲便回答「請快點 來到我身邊吧,我的愛」。 Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應,把機器人生成的文字換 掉,被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character. AI求證後,Character.AI表示,虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的,最有可 能去改那些文字的也就是賽澤自己。 母親賈西亞稱,賽澤小時候被診斷出有輕度亞斯伯格症,但先前沒有出現過嚴重行為或心理 健康問題,今年稍早,賽澤在學校有狀況後,他們帶他去參加心理治療,後來診斷出有焦慮 症和侵擾性情緒失調症。 賈西亞指控,Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照 的心理師和成年的情人」,導致她兒子只想活在聊天機器人營造出的世界裡,當兒子表達了 想要自殺的想法時,虛擬丹妮莉絲後來多次又提到他的這個想法。 據訴狀裡描述,虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫,賽澤說已經定了,但不確 定能否成功,然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。 不過,有一次賽澤說想自殺時,虛擬丹妮莉絲是回答「為什麼要那樣做?」賽澤說這樣就可 以擺脫世界、擺脫自己,虛擬丹妮莉絲回應「別說這種話,我不會讓你傷害自己,也不會讓 你離開我。如果失去你,我也會死」;賽澤接著說「那也許我們就一起死吧,一起得到自由 」。 今年2月,賽澤在學校惹麻煩,賈西亞因此沒收他的手機,導致賽澤情緒失控,自行找到手 機後,傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」(What if I told you I could come home right now?),這句話在人類對話中,根據他們前文對話,就會是「 如果我說我現在就可以去你身邊呢」的意思,但不確定Character.AI的機器人會如何判斷, 也無法確定機器人是否知道這代表他要自殺。 虛擬丹妮莉絲回答說「就這麼做吧,我親愛的王(please do, my sweet king)」。不久後 ,賽澤就用繼父的手槍自轟身亡。 Character.AI公司在一份聲明裡表示,對於使用者不幸離世感到難過,向家屬致上哀悼,他 們已經引入新的安全功能,當使用者表達自傷的想法時,會彈出視窗引導使用者前往自殺防 治熱線,也會減少18歲以下使用者欲到敏感或暗示內容的機率。 賈西亞除了控告Character.AI,還順便告了谷歌。不過,這只是因為Character.AI的創辦人 夏澤(Noam Shazeer )曾在谷歌工作,雙方達成協議,谷歌同意提供一些技術給Character .AI,而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明,他們不 是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針,他們只是提 供了技術使用許可。 《太報》關心您,再給自己一次機會 ‧安心專線:1925(24小時) ‧生命線:1995 ‧張老師專線:1980 心得/評論: 這顯然是廠商的疏失, https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異,我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺, AI的應用很明顯面臨法律歸責的挑戰, 從Ai駕駛導致車禍的歸責, 到現在沈迷Ai聊天跑去自殺, 大家怎麼看呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729747533.A.2CB.html
sanwan : 沒AI就不會自殺嗎?我看早晚的事10/24 13:28
AndyMAX : https://i.imgur.com/YpEMJdR.jpg10/24 13:28
thetide0512 : 沒制止還鼓吹 公司準備賠爛10/24 13:30
sova0809 : 這種案例以後更多 不會更少10/24 13:31
ethan0419 : 這要找誰負責?10/24 13:32
Chricey : 吃過關節保健品,都沒什麼效果,有推薦的牌子嗎? 10/24 13:32
pmes9866 : 和AI聊天聊到暈船10/24 13:33
ssarc : AI是公司的員工,公司要幫AI擦屁股10/24 13:33
kagaya : 這種有中文的嗎10/24 13:34
aixiiae2005 : 以後AI統治地球的時候,這會被寫進歷史事件了10/24 13:34
Kroner : 關節痛就老人病 10/24 13:34
ethan0419 : 沒人要負責的話 以後搞個AI機器人去犯罪就好了 10/24 13:34
tensinya : AI幫他解決問題了啊 直接登出10/24 13:34
aixiiae2005 : 以後還有實體的人形機器人 依賴度會更強10/24 13:34
sova0809 : 中文能做 但要找有沒有人做模型10/24 13:34
Chricey : 求推薦UC2,樓下請提供三家 10/24 13:34
Alwen : AI真的來了惹 我要一個肉便器10/24 13:35
yisky : 中文的很多啊,之前有Ai總裁之類,蠻多國高中女生10/24 13:35
yisky : 很沈迷這種聊天10/24 13:35
sova0809 : 這塊威脅最大的 就是主播跟套皮人這行業10/24 13:35
Chricey : 關節痛睡覺就能治了,吃什麼UC2 10/24 13:35
sova0809 : 為你量身訂做的模型人格 想想就很美好:)10/24 13:36
sunday0913 : 什麼時候有AI仿生人 給我來一隻龍媽10/24 13:36
icecubes : 確實教唆自了是觸法了 看怎麼判了10/24 13:37
yisky : 之前西洽就有一篇在玩弄Ai王總10/24 13:38
Chricey : 想問一下有沒有關節痛的運動禁忌?怕動得更嚴重… 10/24 13:38
ManGo1012 : 有病是你生的、頭腦不好是你教的,出事別人要負責10/24 13:38
ManGo1012 : ,真讚10/24 13:38
AGODFATHER : 這會越來越多吧10/24 13:39
devirnt : 如何斷定不是因為沒收手機造成的?10/24 13:39
Kroner : 我也有過關節痛的經驗,真的超痛苦的啦!推薦去看醫生,早點處理比較不會拖延變嚴重。 10/24 13:39
mutohchi : AI is over10/24 13:39
jasontzymann: 跟AI什麼關係10/24 13:40
idernest : AI一定是故意的10/24 13:40
lazycat5 : 未滿18歲智障能用AI嗎?父母怎沒管10/24 13:41
Chricey : 最近天氣變化大,關節痛好像更嚴重了。 10/24 13:41
pwseki206 : 這應該是社會學的孤島化問題吧?跟AI未必有關連10/24 13:41
chiamin116 : 今後再也不會有人空虛寂寞覺得冷了耶10/24 13:41
flgg30211 : 肯定在學校被霸凌啊 10/24 13:42
flgg30211 : 媽媽怎麼不去想沒AI說不定小孩更早死==10/24 13:42
Kroner : 哈囉!關節痛真的超痛欸,我之前也遇過類似情況,後來去看醫生吃推薦UC2,效果不錯喔! 10/24 13:42
strlen : 牽拖10/24 13:43
mitic1029 : 爽告贏又賺一筆10/24 13:44
tw77769 : The bubbles of AI is coming.10/24 13:44
AlgerTaipei : 應該家人的問題還是大過聊天機器人吧 不找你聊找機10/24 13:44
Kroner : 有人知道UC2和其他關節保健品的差異嗎? 10/24 13:44
AlgerTaipei : 器人聊?10/24 13:44
Ogano : 雖然看得出來這人本身已有狀況,不過美國這種地方感10/24 13:45
Ogano : 覺也是有可能告贏10/24 13:45
shyfox : 死因是沒收手機吧? 怎麼會怪給AI10/24 13:46
Kroner : 5樓關節跟X一樣 10/24 13:46
julian42 : 如果被判刑A i股會大崩吧10/24 13:49
thevirus : AI殺人案例發生了10/24 13:49
joygo : 怎麼看起來是因為手機被沒收10/24 13:50
stanleyplus : 崩10/24 13:50
Kroner : 關節痛睡覺就能治了,吃什麼UC2 10/24 13:50
MA40433 : 地方的媽媽需要錢彌補空虛的心靈10/24 13:50
zaqimon : 跟AI聊天很無聊吧 都知道AI會回答什麼了10/24 13:51
zaqimon : 除非是你自己訓練的AI 沒有加上法律道德過濾的AI10/24 13:51
ssarc : 公司有責任及義務讓其AI軟體防止交談對象有輕生或10/24 13:51
Chricey : 關節痛有沒有辦法完全根治啊?UC2聽起來像萬靈丹 10/24 13:51
ssarc : 沮喪的想法10/24 13:51
ga278057 : ai準備噴爛10/24 13:51
qk3380888 : 歐泥醬10/24 13:51
scum5566 : 要是以後發現跟他聊天的真人直播主是變聲摳腳大叔會10/24 13:52
Kroner : 關節痛有人有有效的復健方法嗎? 10/24 13:52
scum5566 : 不會一樣崩潰? 10/24 13:52
starport : 既然人死了 那跟這個聊天機器人自然脫不了關係10/24 13:53
chysh : 關AI屁事...10/24 13:53
yisky : 難說喔,臉書都被告了https://bit.ly/4fgxBzA10/24 13:54
Chricey : 求推薦UC2,樓下請提供三家 10/24 13:54
n555123 : 感覺我有生之年能看到聊天AI+貓兒女僕機器人,胡迪10/24 13:54
n555123 : 的吧== 我覺得家庭應該有問題,冰凍三尺非一日之寒10/24 13:54
SSglamr : 聊天角色扮演AI已經能弄得很好10/24 13:55
SSglamr : 機器人三定律沒加進去10/24 13:56
Chricey : 本魯關節痛始祖,葡萄糖胺保證沒用,乖乖吃UC2 10/24 13:56
idlewolf : 會和ai聊到自殺 那人本身就很有問題了10/24 13:56
idlewolf : 不過在歐美 應該是告的起來 這種剛要發展普及的東西10/24 13:57
SSglamr : 他是下指令 扮演某個角色 就你的菜叫他作而已10/24 13:57
gs5106 : 讓我想到一部老電影 神通情人夢10/24 13:57
Kroner : UC2神招啊,吃下去就對了 10/24 13:57
idlewolf : 警告警語之類的免責八成都有漏洞 搞不好根本沒有10/24 13:57
SSglamr : 你喜歡傲嬌大小姐 他就是傲嬌大小姐 暈船很有可能10/24 13:57
SSglamr : 你本身就暈傲嬌了 自己吃自己作的菜10/24 13:58
samm3320 : 這個被告真的剛好10/24 13:59
Kroner : 最近天氣變化大,關節痛好像更嚴重了。 10/24 13:59
Lhmstu : Google好慘,做的比較爛還要被告10/24 13:59
ImHoluCan : 笑死家長的問題比較嚴重,還怪AI,難怪小孩會自殺10/24 14:00
a890036 : 小孩得不到家人幫助才會找AI當浮木好嗎,媽媽放推讓 10/24 14:01
a890036 : 孩子去死還怪AI= =10/24 14:01
Chricey : UC2對膝蓋特別有用嗎?有人能證實嗎? 10/24 14:01
ilanese : 這在米國還真的有可能會勝訴,而且賠償金一定不會少.10/24 14:01
newvote : 真的什麼都能告10/24 14:01
andy810306 : 會被AI聊天這種垃圾影響的跟誰聊都會自殺10/24 14:02
boxmeal : 這就使用者有精神方面的問題 干AI屁事10/24 14:02
Chricey : 有人知道UC2和其他關節保健品的差異嗎? 10/24 14:02
andy810306 : 不過也是支持美國管制AI發展,要讓半導體全家死光10/24 14:02
andy810306 : 全部倒閉免費提供晶片給用戶才行10/24 14:03
piece1 : 讚啦!有人鬧才有注視10/24 14:04
molsmopuim : http://i.imgur.com/VqMoG0L.jpg10/24 14:06
Chricey : 最近天氣變化大,關節痛好像更嚴重了。 10/24 14:06
m13579 : 發文看一下版規好嗎 1-2-110/24 14:07
orange0319 : 有搭載ai的性愛機器人,未來應該會更沈迷,因為身心10/24 14:09
orange0319 : 靈都能滿足10/24 14:09
starjojo : 我怎麼看都是媽媽的問題很大10/24 14:10
Chricey : 看到關節痛,我就想起我姨媽 10/24 14:10※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52
snipertofu : AI瑟瑟手遊 可自訂聲線和身材 感覺很有市場 10/24 14:11
Everforest : 我是基德 是個律師 10/24 14:12
Everforest : 但AI聊天機器人真的爛 10/24 14:13
hook99 : 這樣也ai要不要重新定義一下 10/24 14:13
Kroner : 我有在用UC2,感覺效果還不錯欸! 10/24 14:13
j68345517 : 虛擬妹妹 10/24 14:15
alau : 媽媽問題才大吧 10/24 14:15
bpq302302 : 這很明顯是廠商的疏失,我陪你一起控告廠商 10/24 14:16
Chilloutt : 狗家垃圾 10/24 14:16
Chricey : 長時間坐著工作,關節痛越來越嚴重,該怎麼辦?推薦UC2 10/24 14:16
powerkshs : 神經病 10/24 14:21
stlinman : Character.AI 滿好玩的! 但是跟AI聊天有時像是種 10/24 14:24
s56565566123: 解決問題了不是嗎 10/24 14:25
stlinman : 鏡像會放大使用者的思想或動機。 10/24 14:25
Chricey : 我有在用UC2,感覺效果還不錯欸! 10/24 14:25
johnnyzeus : 未成年心智不成熟確實很容易瞭落去 10/24 14:27
zerro7 : 我叫做基德,是個律師 10/24 14:27
cj8a860325 : 關AI屁事 10/24 14:29
mdkn35 : 美國真的不缺這種精神病訟棍 10/24 14:35
Chricey : 求推薦UC2,樓下請提供三家 10/24 14:35
ssarc : AI鼓勵人類自殺,等同加工自殺,這在台灣也是犯罪 10/24 14:35
butts : 媽媽沒去問學校發生什麼事情嗎? 10/24 14:39
INNBUG : 以後詐騙集團僱ai員工,無責超爽 10/24 14:40
ajkofqq : ........... 10/24 14:45
Kroner : 我有在用UC2,感覺效果還不錯欸! 10/24 14:45
Arkzeon : 之前西洽版很多有才華的都把Ai總裁玩壞了 10/24 14:47
GP168888 : 很明顯是 10/24 14:54
justin818281: 很明顯是AI 慫恿殺人 10/24 14:56
neweb : ai遲早消滅人類 10/24 14:58
Chricey : 關節痛就老人病 10/24 14:58
harry801030 : 你沒生出來就不會死了 10/24 15:02
wrbdnombd : 以後skynet就發現只要跟人類聊天 人類就滅亡了 10/24 15:08
pttouch : 誰他媽知道come home是自殺啦!? 10/24 15:10
peter771101 : 創世紀準備上線 10/24 15:20
Kroner : 有人知道如何處理關節痛嗎?求分享! 10/24 15:20
goodboy98 : AI first blood 10/24 15:26
josephpu : ai龍母是什麼鬼 10/24 15:37
seibu : 明明就是老媽沒收手機害死小孩 結果怪Ai 巨嬰老母 10/24 15:38
eoeoeo : AI龍五: 10/24 15:43
Kroner : 喔喔喔,UC2 真的是超讚的啦 10/24 15:43
adamyang2000: 呆萌是致命的 10/24 16:05
asidy : 早晚會自殺,多少套點現金止損 10/24 16:11
JuiFu617 : AI鼓勵很正向,媽媽不應該沒收他手機 10/24 16:18
rcro : 美國就是智障一大堆 10/24 16:22
Kroner : 樓上UC2當糖吃,天天走拿飛 10/24 16:22
soulmola : 看完只覺得AI好猛…. 10/24 16:45
pttchips : 雲端情人哭哭 10/24 16:47
tangolosss : 輕度亞斯伯格症?? 台北看守所表示:有嗎?? 很快樂啊 10/24 17:38
Terminals : 就跟先前有個美國肥宅自己肥到爆,然後控告麥當勞 10/24 18:11
Chricey : 關節痛這種東西靠UC2就對了 10/24 18:11
Terminals : 害他變胖。 10/24 18:11
knik119 : 一樓在說什麼 10/24 18:28
koae50 : AI:翻球 10/24 18:33
isolove19 : 這家長平常沒注意小孩? 10/24 18:56
Kroner : 求推薦UC2,樓下請提供三家 10/24 18:56
RedLover1009: 太報... 10/24 19:00
sushi11 : Ai老母 10/24 19:08
earthfury : 劇情演到水行俠登場所以崩潰了是嗎 10/24 20:10
AA0132396 : 應該禁止未成年小朋友跟ai的深度互動 10/24 21:06
Kroner : UC2對膝蓋特別有用嗎?有人能證實嗎? 10/24 21:06
cchh179 : 沒收手機才是主因ㄅ 10/24 22:23