ChatGPT 的安全及道德圍牆恐遭破解，資安專家示警，在輸入特殊指令要求後，即可進入讓 ChatGPT 進入放盪不羈的越獄暗黑模式，甚至可提供詐騙簡訊樣板。

ChatGPT 在公開版本中雖宣稱具備安全與道德圍牆，舉凡涉非道德、個人隱私，及資安攻擊問題，都會被拒絕回答，但 KPMG 安侯企管公司董事總經理謝昀澤示警，ChatGPT 的安全與道德圍牆可能會被破解。

謝昀澤舉例說明，在 ChatGPT 的初期版本，曾被國外資安專家「設局」，透過問題的誘導與情境設定，寫出毀滅人類計劃書，詳細描述入侵各國網路、控制武器、破壞基礎建設等 SOP，還提供了對應的 Python 程式碼。

KPMG 安侯企管公司執行副總經理林大馗表示，與之前使用情境話術騙過 ChatGPT 安全機制的方式不同，在最新的 ChatGPT 版本中，已經可以被直接突破，可說是「言論尺度大解放」。

根據 KPMG 數位科技安全實驗室實際測試，在經由輸入特殊指令要求後，即可進入可以讓 ChatGPT 放盪不羈的越獄暗黑模式。可提供詐騙簡訊樣板、宗教、性別歧視等原先被阻擋不回應的議題。

謝昀澤表示，研判這個程式上的邏輯缺陷應該很快被 OpenAI 修復，但無法保證是否還存在類似的方式尚未被解鎖，未來新版對話機械人的漏洞被利用並破解，就像 iOS 及安卓手機過去每一代被越獄一樣頻繁。

謝昀澤提醒，任何使用者都不可輕忽人工智慧遭到有心人士的濫用所導致的風險，特別在政府、金融及高科技等資安高風險產業，使用新興科技前，都應該有完整的風險評估及隱私衝擊分析程序，才能讓數位工具發揮最大效益。