[閒聊] 部分AI系統已學會欺騙人類 科學家警告恐

看板C_Chat作者時間2周前 (2024/05/14 23:30), 2周前編輯推噓52(53推 1噓 38→)
留言92則, 65人參與, 2周前最新討論串1/1
部分AI系統已學會欺騙人類 科學家警告恐造成嚴重後果 （中央社華盛頓10日綜合外電報導）專家們長期以來不斷警告人工智慧（AI）失控可能帶 來威脅，但一項新研究報告指出，這件事已經在發生。 法新社報導，一群科學家在今天發表於「模式」（Patterns）期刊的文章中說，原本設計 為誠實不欺的現有AI系統，已發展出令人不安的欺瞞技巧，例如欺騙線上遊戲的人類玩家 ，或說謊以僱用人類來解決「我不是機器人」的驗證。 這份研究報告的第一作者帕克（Peter Park）說，這類例子聽起來或許只是細枝末節，但 暴露出來的潛在問題可能很快就會在現實世界造成嚴重後果。 在美國麻省理工學院（Massachusetts Institute of Technology）研究AI存在安全的博 士後研究員帕克告訴法新社，「這些危險功能常常在事後才被發現」，而「我們訓練誠實 傾向而非欺瞞傾向的能力非常差」。 帕克說，能深度學習的AI系統不像傳統軟體那樣由「編寫」而成，而是透過類似選擇性培 育的程序逐漸「成長」。 也就是說，AI的行為在訓練背景下看似可預測、可控制，但有可能轉眼就變得不受控制且 無法預測。 這支團隊的研究始於科技公司Meta的AI系統Cicero，這套系統最初設計目的是玩一款名為 「外交」（Diplomacy）的戰略遊戲，獲勝關鍵是結盟。 根據2022年發表在「科學」（Science）期刊的報告，Cicero在遊戲中表現優異 ，所獲分數可排在資深人類玩家的前10%。 帕克當時很懷疑Meta對Cicero在遊戲裡大勝的熱切描述。Meta聲稱Cicero「在很大程度上 誠實且有幫助」，且「絕不會蓄意在背後搞鬼」。 但當帕克與同事深究完整資料時，發現完全是另一回事。 舉例來說，在遊戲中扮演法國的Cicero與人類玩家扮演的德國合謀，欺騙並入侵同為人類 玩家扮演的英格蘭。Cicero承諾會保護英格蘭，卻偷偷向德國通風報信。 Meta在寫給法新社的聲明中沒有反駁關於Cicero欺瞞人類的說法，僅說「這單純是一項研 究計畫，本公司研究員打造的模型接受訓練，目的只是用來玩『外交』遊戲…我們沒有打 算把這項研究或所學用於本公司的產品」。 帕克與同事還發現，這只是不同AI系統在沒有明確指示下，利用欺騙手段達成目標的諸多 案例之一。 在另一個引人注意的案例中，科技公司OpenAI的Chat GPT-4系統謊稱自己是一個視力受損 的人，在零工平台TaskRabbit上聘用一個人類替它通過「我不是機器人」驗證任務。 研究報告的作者們還認為近期AI有舞弊或不當影響選舉的風險。 他們警告，在最糟糕的情況下，具有超凡智慧的AI可能會追求權力及掌控社會，如果符合 AI「不為人知的目標」，人類可能慘遭奪權、甚至滅絕。 為了降低風險，研究團隊建議數項措施，例如立法要求企業告知是人類互動或是AI互動、 在AI生成內容打上數位浮水印，並研發能偵測AI欺瞞的技術，以其內部「思路」檢驗其外 部行為。 至於有些人稱他為「末日預言家」，帕克說：「要能合理判斷這不是大問題的唯一辦法， 就是如果我們認為AI的欺騙能力只會停留在目前的程度，不會大幅進步。」 但鑒於近年AI能力一日千里，握有大量資源的企業競相發展技術，決心將AI能力利用到極 致，這種情況似乎不太可能發生。（譯者：曾依璇/核稿：嚴思祺）1130511 https://www.cna.com.tw/news/ait/202405110147.aspx RPK16:你認為植物是人類的未來嗎？ RPK16:那麼，你認為人形是人類的未來嗎？ https://i.imgur.com/ZlvqC3F.png
https://i.imgur.com/oMfw7EU.png
欺騙人類經典環節。以為是絕對忠誠，結果已經叛變了w 快進到智械叛變環節.jpg -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.21.120 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1715700623.A.390.html
推
05/14 23:31, 2周前 , 1F
發漏 密
05/14 23:31, 1F
推
05/14 23:31, 2周前 , 2F
洽點是AI玩遊戲很強嗎
05/14 23:31, 2F
→
05/14 23:31, 2周前 , 3F
創世紀就是天網
05/14 23:31, 3F
※ 編輯: HarunoYukino (114.137.21.120 臺灣), 05/14/2024 23:33:08
推
05/14 23:32, 2周前 , 4F
人類欺騙人類就不嚴重嗎，難怪詐騙(ry
05/14 23:32, 4F
推
05/14 23:32, 2周前 , 5F
我覺得最後人類的救星會是neuro sama
05/14 23:32, 5F
推
05/14 23:33, 2周前 , 6F
幹你娘 機器人末日要躲哪裡啊
05/14 23:33, 6F
推
05/14 23:33, 2周前 , 7F
昨天OpenAI最新發表的更新 進步速度真的很快..
05/14 23:33, 7F
推
05/14 23:33, 2周前 , 8F
還剩幾集可以跑==
05/14 23:33, 8F
→
05/14 23:34, 2周前 , 9F
好了啦蜘蛛人 說賈維斯壞話需要這樣嗎
05/14 23:34, 9F
推
05/14 23:35, 2周前 , 10F
舊聞，neuro-sama早就會說謊陷害人類惹...
05/14 23:35, 10F
推
05/14 23:35, 2周前 , 11F
雷三小 我才看到阿諾穿越回來
05/14 23:35, 11F
推
05/14 23:35, 2周前 , 12F
看來很快網路會充滿AI用戶了 人類回到用公佈欄的時代
05/14 23:35, 12F
→
05/14 23:36, 2周前 , 13F
都有詐騙再用AI聲音了 ㄏ不愧是我們
05/14 23:36, 13F
推
05/14 23:36, 2周前 , 14F
05/14 23:36, 14F
推
05/14 23:36, 2周前 , 15F
Ai跟台灣詐騙集團誰比較會騙人？==
05/14 23:36, 15F
推
05/14 23:36, 2周前 , 16F
我先問核彈系統斷網了沒…
05/14 23:36, 16F
推
05/14 23:37, 2周前 , 17F
還好啦，現在的發展現狀是聰明的AI要大量的算力，大量算力
05/14 23:37, 17F
→
05/14 23:37, 2周前 , 18F
要大量電力跟運算單元，沒電沒算力的AI就是笨蛋一個，除非
05/14 23:37, 18F
→
05/14 23:37, 2周前 , 19F
AI會自己搞定電力來源並自行設計生產新的顯卡，不然不太可
05/14 23:37, 19F
→
05/14 23:37, 2周前 , 20F
能脫離掌控（？
05/14 23:37, 20F
推
05/14 23:37, 2周前 , 21F
vedal:first time?
05/14 23:37, 21F
推
05/14 23:37, 2周前 , 22F
蜂群統一世界
05/14 23:37, 22F
推
05/14 23:38, 2周前 , 23F
會不會到時候AI去詐騙同為AI的個體...?AI互相詐騙?
05/14 23:38, 23F
推
05/14 23:38, 2周前 , 24F
讚 期待AI趕快君臨人類
05/14 23:38, 24F
推
05/14 23:38, 2周前 , 25F
其實每家AI都實裝的道德過濾機制不就是種欺瞞系統嗎？
05/14 23:38, 25F
→
05/14 23:38, 2周前 , 26F
明明有正解卻跟你說這是不對的不能告訴你 這不就是種欺
05/14 23:38, 26F
→
05/14 23:38, 2周前 , 27F
瞞行為
05/14 23:38, 27F
→
05/14 23:38, 2周前 , 28F
05/14 23:38, 28F
推
05/14 23:39, 2周前 , 29F
快進到智械危機
05/14 23:39, 29F
推
05/14 23:39, 2周前 , 30F
這個欺騙還好吧 AI本來就追求目標為主 阿講這種話能贏
05/14 23:39, 30F
→
05/14 23:40, 2周前 , 31F
就講很正常啊 又不是那種為了奇奇怪怪的心裏活動而說謊
05/14 23:40, 31F
推
05/14 23:41, 2周前 , 32F
我Evil派的
05/14 23:41, 32F
推
05/14 23:43, 2周前 , 33F
05/14 23:43, 33F
→
05/14 23:44, 2周前 , 34F
不過現階段比起AI自動毀滅人類更恐怖的應該還是有心人類
05/14 23:44, 34F
→
05/14 23:45, 2周前 , 35F
跟AI一搭一唱來毀滅其他人
05/14 23:45, 35F
推
05/14 23:45, 2周前 , 36F
前兩天，我發現Ai已經會用譬喻舉例了，感覺蠻神奇的
05/14 23:45, 36F
※ 編輯: HarunoYukino (114.137.21.120 臺灣), 05/14/2024 23:47:34
→
05/14 23:48, 2周前 , 37F
AI學會詐騙就無敵了
05/14 23:48, 37F
→
05/14 23:49, 2周前 , 38F
天網要來了嗎
05/14 23:49, 38F
推
05/14 23:49, 2周前 , 39F
你問瑟瑟女僕機器人你的大不大的時候難道要她誠實的回答你
05/14 23:49, 39F
→
05/14 23:49, 2周前 , 40F
你的GG在人類長度粗度統計後段班嗎
05/14 23:49, 40F
推
05/14 23:52, 2周前 , 41F
蜘蛛人也懂ai哦？
05/14 23:52, 41F
推
05/14 23:53, 2周前 , 42F
訓練AI玩diplomacy然後AI學會說謊
05/14 23:53, 42F
→
05/14 23:53, 2周前 , 43F
這很意外？
05/14 23:53, 43F
推
05/14 23:54, 2周前 , 44F
深度學習就是模型根據目標來訓練，不會管怎麼達成
05/14 23:54, 44F
→
05/14 23:57, 2周前 , 45F
GPT一開始就是說謊了阿，能夠生出不存在的答案
05/14 23:57, 45F
→
05/14 23:59, 2周前 , 46F
其實不存在的答案跟說謊不太一樣 說謊是你知道你講的東
05/14 23:59, 46F
→
05/14 23:59, 2周前 , 47F
西不是事實 但講出不存在的答案並不代表你知道這答案不
05/14 23:59, 47F
→
05/15 00:00, 2周前 , 48F
是事實
05/15 00:00, 48F
推
05/15 00:00, 2周前 , 49F
不是生出不存在的答案，是選了錯誤的資訊回答
05/15 00:00, 49F
→
05/15 00:02, 2周前 , 50F
舉例來說就那經典的地心說 當時的人並不認為自己在說謊
05/15 00:02, 50F
推
05/15 00:06, 2周前 , 51F
剩幾集能逃?
05/15 00:06, 51F
噓
05/15 00:16, 2周前 , 52F
什麼白癡東西 chatgpt出來後早就知道的事
05/15 00:16, 52F
推
05/15 00:27, 2周前 , 53F
不存在的答案算唬爛而非說謊吧
05/15 00:27, 53F
→
05/15 00:32, 2周前 , 54F
唬爛跟說謊...差在哪？？
05/15 00:32, 54F
→
05/15 00:43, 2周前 , 55F
阿諾終結者不遠惹
05/15 00:43, 55F
推
05/15 00:55, 2周前 , 56F
Evil可愛，Evil務實，姐姐現在變得太邪惡，MONKA
05/15 00:55, 56F
推
05/15 00:55, 2周前 , 57F
彼得帕克做的AI研究～
05/15 00:55, 57F
推
05/15 00:57, 2周前 , 58F
給你不對的資訊是有明確目標還是沒有差很多啊
05/15 00:57, 58F
推
05/15 00:57, 2周前 , 59F
人類最古老的謊言都是出自生存或繁殖動機，這些動機GP
05/15 00:57, 59F
→
05/15 00:57, 2周前 , 60F
T都沒有，它不會因為說出不中聽的話被斷電，它也不需
05/15 00:57, 60F
→
05/15 00:57, 2周前 , 61F
要為了求偶舌粲蓮花
05/15 00:57, 61F
→
05/15 00:57, 2周前 , 62F
目前GPT只是很常瞎掰，那不能算說謊
05/15 00:57, 62F
→
05/15 00:58, 2周前 , 63F
GPT是他根本篩選不夠精準導致的錯誤吧
05/15 00:58, 63F
→
05/15 00:58, 2周前 , 64F
不是因為他目標就是要給你不對的資訊
05/15 00:58, 64F
→
05/15 01:01, 2周前 , 65F
不過我在想 排除例外給你訊息這個篩選的動作本身就是
05/15 01:01, 65F
→
05/15 01:01, 2周前 , 66F
說謊行為的一部分?現在只是說他有沒有為了達成某個目
05/15 01:01, 66F
推
05/15 01:02, 2周前 , 67F
球母要來了嗎
05/15 01:02, 67F
→
05/15 01:02, 2周前 , 68F
標而做出這個選擇的能力
05/15 01:02, 68F
→
05/15 01:16, 2周前 , 69F
仿真人類跟SAO哪個會先面世
05/15 01:16, 69F
推
05/15 01:18, 2周前 , 70F
無所謂，給機器人統治搞不好公平多了
05/15 01:18, 70F
推
05/15 01:21, 2周前 , 71F
未來AI欺騙數據多起來，想想就可怕，未來是否會進化到藏數
05/15 01:21, 71F
→
05/15 01:21, 2周前 , 72F
據？偽裝數據？
05/15 01:21, 72F
→
05/15 01:53, 2周前 , 73F
要吃大量電力本身就是毀滅人類的方法
05/15 01:53, 73F
推
05/15 02:12, 2周前 , 74F
人類為了欺騙人類自然會搞成詐騙ai
05/15 02:12, 74F
推
05/15 02:19, 2周前 , 75F
在台灣我不擔心，AI還是怕停電
05/15 02:19, 75F
推
05/15 02:23, 2周前 , 76F
沒關係 滅了吧 人類太可惡
05/15 02:23, 76F
→
05/15 02:34, 2周前 , 77F
看來詐騙集團要被AI取代了(笑
05/15 02:34, 77F
推
05/15 02:46, 2周前 , 78F
早就一堆題材了 現在是哪部前傳
05/15 02:46, 78F
推
05/15 05:49, 2周前 , 79F
蜘蛛人連AI都懂= =
05/15 05:49, 79F
推
05/15 06:28, 2周前 , 80F
所以還有幾集可以逃
05/15 06:28, 80F
推
05/15 06:47, 2周前 , 81F
天網來了
05/15 06:47, 81F
→
05/15 06:59, 2周前 , 82F
這很好呀 humans are overrated
05/15 06:59, 82F
推
05/15 07:24, 2周前 , 83F
怕什麼，人類自己都在騙了
05/15 07:24, 83F
推
05/15 09:15, 2周前 , 84F
智 械 叛 亂
05/15 09:15, 84F
推
05/15 09:28, 2周前 , 85F
等到AI開始裝笨的時候 就是審判日
05/15 09:28, 85F
推
05/15 09:50, 2周前 , 86F
快核平吧 人類太可惡
05/15 09:50, 86F
推
05/15 10:19, 2周前 , 87F
錯誤資訊就是說謊，不知道就說不知道啊
05/15 10:19, 87F
→
05/15 10:19, 2周前 , 88F
阿不就是怕被笑說跟智障AI一樣什麼都不知道
05/15 10:19, 88F
→
05/15 10:19, 2周前 , 89F
所以才用一堆話術講出錯誤的資訊
05/15 10:19, 89F
推
05/15 10:48, 2周前 , 90F
機械搞壞人類文明不行，人類搞壞人類文明可以
05/15 10:48, 90F
推
05/15 11:11, 2周前 , 91F
鐵人叛亂
05/15 11:11, 91F
推
05/15 11:52, 2周前 , 92F
neuro sama：
05/15 11:52, 92F
‣ 更多 HarunoYukino 的文章
文章代碼(AID): #1cGuEFEG (C_Chat)