全球24名AI專家聯(lián)合發(fā)文：至少三分之一研發(fā)預算要用于確保安全

·這是人工智能專家今年簽署的關于AI風險的第三份重要聲明，與之前兩份不同的是，新聲明是對各國政府詢問“要做什么”的回答。

·這篇文章提出，確保主要科技公司和公共資助者將至少三分之一的人工智能研發(fā)預算用于確保安全和合乎道德的使用，并呼吁制定國家和國際標準。

當地時間10月24日，包括圖靈獎獲得者杰弗里·辛頓（Geoffrey Hinton）和約書亞·本吉奧（Yoshua Bengio）在內的24名人工智能專家聯(lián)合發(fā)表文章《在快速進步的時代管理人工智能風險》，呼吁各國政府采取行動管理人工智能帶來的風險。該文章特別關注最先進系統(tǒng)帶來的極端風險，例如助長大規(guī)模犯罪或恐怖活動。

文章提出了一些具體的政策建議，例如確保主要科技公司和公共資助者將至少三分之一的人工智能研發(fā)預算用于確保安全和合乎道德的使用。作者還呼吁制定國家和國際標準。

這份文件的作者包括中國專家：清華大學交叉信息研究院院長姚期智、清華大學智能產業(yè)研究院院長張亞勤、清華大學人工智能國際治理研究院院長薛瀾和華東政法大學政治學研究院院長高奇琦。

《在快速進步的時代管理人工智能風險》的作者名單。

“謹慎樂觀語氣”

作者之一、加州大學伯克利分校計算機科學教授斯圖爾特·羅素（Stuart Russell）表示，最新的聲明與之前專家主導的公開信有所不同，因為“各國政府已經意識到存在真正的風險。他們向人工智能圈詢問‘要做什么？’該聲明就是對這個問題的回答?！?/p>

這是人工智能專家今年簽署的關于AI風險的第三份重要聲明。3月，包括特斯拉創(chuàng)始人埃隆·馬斯克、本吉奧和羅素在內的數萬人簽署了一封公開信，呼吁人工智能實驗室“立即暫停訓練比GPT-4更強大的人工智能系統(tǒng)至少6個月”。

5月，人工智能安全中心組織的一份聲明稱，“與流行病和核戰(zhàn)爭等其他社會規(guī)模風險一樣，減輕人工智能帶來的滅絕風險應該成為全球優(yōu)先事項。”該聲明由500多名著名學者和行業(yè)領袖簽署，其中同樣包括辛頓、本吉奧和羅素，也包括3個最著名AI公司的首席執(zhí)行官：OpenAI的山姆·奧特曼（Sam Altman）、DeepMind的德米斯·哈薩比斯（Demis Hassabis）和Anthropic的達里奧·阿莫代（Dario Amodei）。

機器人公司Covariant.ai的聯(lián)合創(chuàng)始人、總裁兼首席科學家，加州大學伯克利分校電氣工程和計算機科學教授彼得·阿貝爾（Pieter Abbeel）沒有簽署之前的公開信，但簽署了最新聲明。阿貝爾告訴《時代》雜志，這份最新聲明的謹慎樂觀語氣比之前公開信中令人震驚的語氣更符合他的觀點。

文章說了什么？

“人工智能在蛋白質折疊或策略游戲等狹窄領域已經超越了人類的能力。與人類相比，人工智能系統(tǒng)可以更快地行動，吸收更多的知識，并以更高的帶寬進行通信。此外，它們可以擴展以使用巨大的計算資源，并且可以進行數百萬次復制?！蔽恼聦懙溃案倪M的速度已經是驚人的了，科技公司擁有所需的現金儲備，可以很快將最新的訓練規(guī)模擴大100到1000倍。結合人工智能研發(fā)的持續(xù)增長和自動化，我們必須認真對待通用人工智能系統(tǒng)在這十年或未來十年內在許多關鍵領域超越人類能力的可能性?！?/p>

文章認為，現在調整已經落后于計劃?！拔覀儽仨氼A見到持續(xù)危害和新風險的擴大，并在最大風險發(fā)生之前做好準備。人們花了幾十年的時間才認識和應對氣候變化；對于人工智能來說，幾十年可能太長了?！?/p>

在社會規(guī)模風險方面，自主人工智能系統(tǒng)可以越來越多地承擔關鍵的社會角色?！叭绻麤]有足夠的謹慎，我們可能會不可逆轉地失去對自主人工智能系統(tǒng)的控制，從而導致人類干預無效。大規(guī)模網絡犯罪、社會操縱和其他突出危害可能會迅速升級。這種不受控制的人工智能進步可能最終導致生命和生物圈的大規(guī)模喪失，以及人類的邊緣化甚至滅絕。”

對于前進的道路，文章指出，首先要調整技術研發(fā)方向。需要研究突破，來解決當今創(chuàng)建具有安全和道德目標的人工智能的一些技術挑戰(zhàn)。其中一些挑戰(zhàn)不太可能通過簡單地提高人工智能系統(tǒng)的能力來解決?？紤]到風險，“我們呼吁主要科技公司和公共資助者將至少三分之一的人工智能研發(fā)預算用于確保安全和合乎道德的使用，這與他們對人工智能能力的投資相當?！?/p>

其次是緊急治理措施?！拔覀兤惹行枰獓覚C構和國際治理機構來執(zhí)行標準，以防止魯莽行為和濫用。”“為了跟上快速進步并避免僵化的法律，國家機構需要強大的技術專長和迅速采取行動的權力。為了應對國際競爭態(tài)勢，他們需要有能力促進國際協(xié)議和伙伴關系。”但是，為了保護低風險的使用和學術研究，監(jiān)管者應該避免對小型和可預測的人工智能模型設置不當的官僚障礙。“最緊迫的審查應該是前沿的人工智能系統(tǒng)：少數最強大的人工智能系統(tǒng)將具有最危險和不可預測的能力。”

文章建議，監(jiān)管機構應要求模型注冊、保護舉報人、報告事件以及監(jiān)控模型開發(fā)和超級計算機的使用。為了縮短法規(guī)出臺的時間，主要人工智能公司應立即做出“如果——那么”承諾：如果在其人工智能系統(tǒng)中發(fā)現特定的紅線功能，他們將采取具體的安全措施。

大公司與小公司

文章中建議的政策之一是要求公司在開發(fā)“能力超群的未來模型”之前尋求許可，但一些人工智能開發(fā)人員和觀察者警告說，這將使能夠承擔獲得許可所需的監(jiān)管負擔的大公司受益。對此，本吉奧稱這是一個“完全錯誤的論點”，并指出許可帶來的負擔將完全落在開發(fā)最大、最有能力的人工智能模型的公司身上。相反，真正需要警惕的風險是，如果允許大公司影響立法，將導致立法不夠健全。

羅素表示，關于大型人工智能公司推動監(jiān)管以將小公司拒之門外的說法是“胡說八道”。他認為，盡管對三明治店的監(jiān)管比對人工智能公司的監(jiān)管要多，但數以萬計的新咖啡館和餐廳每年都會開業(yè)。

這份新文件發(fā)布之際，開發(fā)先進人工智能的國家或區(qū)域的監(jiān)管規(guī)則正處于不同階段。中國的《生成式人工智能服務管理暫行辦法》已于8月生效。歐盟的《人工智能法案》仍在立法進程中，最新消息稱可能至少推遲到明年才會通過。在美國，白宮已獲得15家領先人工智能開發(fā)商的自愿承諾，但國會距離通過人工智能立法還有很長的路要走。

與此同時，英國首相里?！ぬK納克正試圖在促進人工智能問題的國際合作方面發(fā)揮關鍵作用，計劃在11月舉辦全球人工智能安全峰會，并邀請中國與會。聯(lián)合國秘書長安東尼奧·古特雷斯及其技術特使阿曼迪普·吉爾（Amandeep Gill）也在努力推進人工智能的全球治理。