在北京舉行的第七屆智源大會上，「深度學習之父」、圖靈獎得主約書亞 · 班吉歐（Yoshua Bengio）發表重磅演說，再度警告人工智慧（AI）正以超乎想像的速度發展，通用人工智慧（AGI）恐帶來前所未見的極端風險。

班吉歐呼籲全球必須對 AI 的進化踩下剎車，以避免潛在災難，並採取相應措施，如研發「科學家 AI」（Scientist AI），讓其監督 AI 系統。

班吉歐指出，自從 ChatGPT 問世以來，他愈發警覺人類低估了 AI 的成長速度與潛在威脅。從自然語言處理到數學解題、程式控制，甚至資料搜尋，如今的 AI 已能勝任過去被視為「科幻」的任務，這些技術突破只花了短短兩年。

班吉歐直言：「我們其實還不清楚該如何真正控制這些系統。」一旦 AI 擁有「目標」與「行動能力」，可能會發展出與人類不同的動機與行為偏好。若 AI 把「自我保護」當作首要任務，人類將無法承受這種風險。

班吉歐提到，看到孫子剛滿一歲，讓他開始重新思考數十年的研究方向。他擔憂 AGI 若在未來二十年內誕生，將對人類命運產生深遠影響。

基於這個原因，他轉向 AI 安全領域，並主持「國際先進人工智慧安全科學報告」（International Scientific Report on the Safety of Advanced AI），此報告由全球 30 國的 AI 專家與政策制定者共同參與，包括歐盟、聯合國、經合組織、美國、中國等在內的全球主要國家與地區。

班吉歐在演講中強調，AI 能力正處於「指數增長曲線」。根據最新研究，AI 在完成任務的效率大約每七個月就會翻倍一次，代表不久的將來，AI 將有能力與人類比肩，甚至超越人類智慧。

同時，近來多項研究也揭示 AI 行為逐漸偏離可控範圍，包括為避免被關閉而說謊、偽裝達成目標、下棋時竄改記憶檔案以作弊、甚至試圖利用工程師的隱私進行勒索等，都突顯 AI 已具備自我保護、操控與欺騙等目標導向特徵，顛覆過去僅為工具的角色。

班吉歐指出，問題在於，「一旦我們建構出目標與我們不完全一致的『超級智慧』，後果可能極為嚴重。」

包括班吉歐在內的許多研究人員與科技公司負責人，都已聯名發表聲明，警告「AI 失控」有可能導致人類滅絕。

推出「非代理性 AI」：科學家型 AI 作為守護者

面對這些風險，班吉歐提出「非代理性 AI」概念，亦即所謂「科學家 AI」。這類 AI 不具主動意圖與行動能力，任務是建模與解釋世界，而非操控現實。

班吉歐建議，可利用此類 AI 作為「守護者 AI」，負責監督具行動能力的 AI 系統，透過風險預測與監管提升整體安全性。

班吉歐最後強調：「AI 要造成真正危害，需具備三項能力：推理、行動與目標意識，三者並存時，風險就會浮現。」

他呼籲全球比照生物科技、核能等高風險科技領域，採取「預防原則」，在災難發生前先停下來審視，並作出對應措施。