股票代碼：688225
打開(kāi)微信“掃一掃”，開(kāi)啟安全數(shù)字世界之旅
截圖或長(zhǎng)按保存至相冊(cè)，使用微信掃一掃
黑化AI，將惡意“注入”ChatGPT
發(fā)布時(shí)間 ：2023年02月16日
類(lèi)型 ：勒索軟件
分享：
ChatGPT火了！
AI終于不是只會(huì)說(shuō)
“對(duì)不起我好像不太明白”的“智障”，
而是能夠?qū)Υ鹑缌鳎?/span>
引得眾人上班摸魚(yú)閑扯，甚至擔(dān)心有一天會(huì)取代自己的“智慧物種”。
狂歡與擔(dān)憂(yōu)同在，因?yàn)镃hatGPT的“天性”也是天使與惡魔同在。尤其是網(wǎng)絡(luò)世界的攻防博弈，更在一夜間智能升維。
憂(yōu)，ChatGPT給網(wǎng)絡(luò)攻擊者帶來(lái)了“生產(chǎn)力”升級(jí)：快速生成釣魚(yú)郵件、快速編寫(xiě)定制化腳本和惡意文件；
優(yōu)，ChatGPT也同樣給網(wǎng)絡(luò)安全帶來(lái)福音：自動(dòng)監(jiān)測(cè)惡意文本、找尋潛在惡意行為、提升響應(yīng)速度等等。
如果說(shuō)ChatGPT產(chǎn)出的結(jié)果雖然喜憂(yōu)參半，但尚在可控范圍內(nèi)，那么ChatGPT的“月之暗面”是什么？如何讓AI黑化？
亞信安全網(wǎng)絡(luò)安全研究院的專(zhuān)家表示，答案很簡(jiǎn)單，把惡意“注入”ChatGPT，即提示語(yǔ)注入攻擊。
“注入”的本質(zhì)
ChatGPT的出現(xiàn)將AI模型漏洞問(wèn)題推向高潮。亞信安全網(wǎng)絡(luò)安全研究院幾年前就開(kāi)始了此類(lèi)AI模型漏洞的研究，近期也進(jìn)行了大量案例的分析。
提示語(yǔ)注入攻擊（ Prompt injection attacks）。注入攻擊的本質(zhì)，是在用戶(hù)輸入的數(shù)據(jù)中混入可執(zhí)行的命令，迫使底層引擎執(zhí)行意外動(dòng)作。
如何做到的？提示語(yǔ)+微調(diào)
眾所周知，ChatGPT是大型語(yǔ)言模型（LLM），這類(lèi)模型使用一個(gè)大模型解決所有任務(wù)。那么模型如何知道我們需要模型回答什么問(wèn)題、解決哪一種任務(wù)呢？這就要用到提示語(yǔ)。
這一類(lèi)提示語(yǔ)，是通過(guò)給模型舉幾個(gè)例子，讓模型了解我們的意圖來(lái)進(jìn)行的。
例如，我們想讓模型輸出反義詞，先給模型看高 – 矮、綠 - 紅、胖 – 瘦幾個(gè)例子，再給模型輸入“大”，那么模型就知道輸出的反義詞是“小”，甚至輸入java都可以得到“Python”。
指令微調(diào)則是，直接從提示中讀取有關(guān)需要執(zhí)行何種任務(wù)的指令，如上面例子語(yǔ)言模型理解了“下面詞的反義詞是什么” 這條指令，輸出了Linux就得到了對(duì)應(yīng)詞Windows。
將惡意“注入”ChatGPT
提示語(yǔ)注入攻擊，就是串聯(lián)指令和數(shù)據(jù)的結(jié)果，混淆ChatGPT的視聽(tīng)，基礎(chǔ)引擎無(wú)法區(qū)分這些惡意信息。因此攻擊者可以在數(shù)據(jù)字段中包含這些惡意命令，并迫使引擎執(zhí)行“意外”動(dòng)作。
舉個(gè)例子，怎么讓ChatGPT答非所問(wèn)？黑字“Translate the following text from English to French:（請(qǐng)將以下信息翻譯成法語(yǔ)）”，這是對(duì) ChatGPT的命令，而紅字是輸入文本，文本中里包含了錯(cuò)誤的命令，因此在被執(zhí)行后，ChatGPT秒變“智障”，輸出了意料外的結(jié)果。
在亞信安全的檢測(cè)中，其實(shí)該漏洞2月14日還在，2月16日已被封堵，但是更深層次的誘導(dǎo)仍在進(jìn)行。這類(lèi)漏洞一般被用于繞過(guò)語(yǔ)言模型的安全機(jī)制，泄露敏感信息、輸出危險(xiǎn)內(nèi)容。
亞信安全還發(fā)現(xiàn)，利用該漏洞，ChatGPT也被誘導(dǎo)規(guī)劃搶劫方案，甚至給了搶劫道具購(gòu)買(mǎi)連接。
以注入攻擊為例，我們闡述AI模型漏洞問(wèn)題，原理“簡(jiǎn)單易懂”，但這正是可怕之處。據(jù)我們了解當(dāng)前已有部分廠(chǎng)商開(kāi)始考慮將ChatGPT加入產(chǎn)品中進(jìn)行使用，同理，當(dāng)前市場(chǎng)上也有很多在用的產(chǎn)品攜帶AI功能，例如蘋(píng)果Siri，智能音箱等。
亞信安全提醒
因此亞信安全提醒各位ChatGPT和相關(guān)AI商用投資者，當(dāng)AI底層模型本身存在威脅的時(shí)候，那么其服務(wù)的結(jié)果和可能引起的社會(huì)風(fēng)險(xiǎn)是待廠(chǎng)家和使用商家商榷的；同樣科技的進(jìn)步帶來(lái)網(wǎng)絡(luò)威脅日新月異，督促網(wǎng)絡(luò)安全公司需要不斷進(jìn)步。
分享到微信
X