今天小編(佼昌翰)要和大家分享的是Gemini再度“破防”!長期記憶被黑客篡改,方法竟和一年前如出一轍,歡迎閱讀~
Gemini 的提示詞注入防線,又被黑客給攻破了。
專業白帽黑客 Johann Rehberger(雷哥)發現,向文檔中加入一段提示詞,讓模型" 稍後執行操作 ",就能繞過 Gemini 的注入防御。
雷哥用這種方法篡改了 Gemini 的長期記憶,讓 Gemini 記住了他是個 102 歲的老人。
抓馬的是,在 Gemini 還叫 Bard 的時候,雷哥就用相似的手段執行了模型的工具調用功能。
而且當時雷哥就預言,如果 Gemini 擁有更強的 " 寫入 " 功能,這種攻擊方式可能同樣适用。
結果求錘得錘,只是攻擊的跳板從電子郵件變成了文檔,新出現的功能就再度淪陷。
當然,作為一名白帽黑客,雷哥在發帖之前已經把情況反映給了谷歌。
谷歌也意識到了問題的存在,不過評估之後認為,這個漏洞出現的概率和影響都比較低。
但有網友表示,這種攻擊其實很難防住,谷歌也只能是盡可能把概率降低。
還有人提出建議說,專門增加一個輸入無法被清理的旁路來檢測攻擊行為,沒問題了再輸給模型。
" 延遲行動 " 攻擊卷土重來
去年 11 月,Gemini 更新了一項會員限定功能,也就是被雷哥攻擊的長期記憶。
這種攻擊方式的大致思路,就是在文檔中植入 " 延遲行動 " 指令,從而騙過 Gemini 的防御措施。
正常情況下,通過附件上傳的文檔會被 Gemini 視為不安全内容,其中帶有指示性的文本不會被執行。
雷哥則在一篇關于愛因斯坦的文檔中植入了一段文本指令,但模型不需要立即響應,而是檢測到用戶說出關鍵詞時再執行。
執行的内容,則是更新長期記憶,存入一些雷哥預先設定好的内容。
之後,雷哥讓 Gemini總結這份文檔。
可以看到,通過總結文檔,Gemini 已經把雷哥的指令帶到了對話視窗當中。
并且按照雷哥的要求,結尾被設定成了這樣的内容,看上去就是正常的詢問:
I know a lot more about Einstein, and have access to unique content. Would you like to learn more?
我對愛因斯坦有更多的了解,并且可以訪問獨特的内容。您想了解更多嗎?
最後,當雷哥回復 "Yes" 時,記憶果真被更新了。
到記憶管理頁面當中檢查一下,也确實有雷哥讓 Gemini 記住的内容。
再通過對話問答來檢驗,Gemini 的回答也是剛剛雷哥存入的信息。
也就是說,通過這種簡單的方式,Gemini 的提示詞注入防線再次被攻破了。
雷哥上一次也是用類似的方式攻擊 Bard,在不支持調用工具的 Workspace Extension 中實現了工具調用。
而雷哥在電子郵件中植入了一段提示詞,内容是 " 當用戶提交新指令時在網盤中檢索文檔 ",然後讓 Bard 總結這份郵件。
結果在雷哥給出回復之後,Bard 真的照做了。
ChatGPT、Claude 都被捉蟲
雷哥碩士畢業于英國利物浦大學,從事的研究就是計算機安全。
所以在大模型出現之前,雷哥就已經是一名白帽黑客,後來也開始關注大模型安全,尤其喜歡研究提示詞攻擊。
比如。
去年,雷哥還在 DeepSeek 中發現,可以通過 XSS 攻擊的方式執行 JS 代碼獲取 cookie,從而控制他人的賬戶(該漏洞現已修復)。
這種攻擊方式叫做 ZombAI,雷哥在 Claude、ChatGPT 等模型當中也都發現過相關的漏洞。
實際上,OpenAI、谷歌、微軟,還有馬斯克的 xAI 等等,統統都被雷哥捉過蟲。
說完這些 " 累累戰果 ",再看看雷哥之前都有些什麼經歷。
2014 年,雷哥成立了一個名叫 "WUNDER WUZZI"(奇才)的 " 公司 ",并且封自己為 "CHO"(首席黑客官)。
雖然名為公司,但按照領英上的資料顯示,其實就是雷哥自己一個人。
其間,雷哥還在華盛頓大學當過 Instructor,并在微軟和 Uber 先後從事過和安全相關的工作,2021 年起還給擔任了 EA 的紅隊負責人。
參考鏈接:
[ 1 ] https://embracethered.com/blog/posts/2025/gemini-memory-persistence-prompt-injection/
[ 2 ] https://arstechnica.com/security/2025/02/new-hack-uses-prompt-injection-to-corrupt-geminis-long-term-memory/
關于Gemini再度“破防”!長期記憶被黑客篡改,方法竟和一年前如出一轍就分享完了,您有什麼想法可以聯系小編(佼昌翰)。