讓人工智能治理可驗(yàn)證：新加坡的AI Verify工具包

近幾個(gè)月來(lái)，全球?qū)θ斯ぶ悄苤卫砗捅O(jiān)管的興趣激增。許多人認(rèn)為，需要嶄新的治理和監(jiān)管結(jié)構(gòu)，以應(yīng)對(duì)生成型人工智能系統(tǒng)——它們的能力讓人目瞪口呆，比如OpenAI的ChatGPT和DALL-E、谷歌的Bard、Stable Diffusion等。《歐盟人工智能法案》受到普遍關(guān)注。事實(shí)上，世界各地也涌現(xiàn)出許多其他重要舉措，包括多種人工智能治理模式及框架。

本文講的是2022年5月發(fā)布的新加坡人工智能治理測(cè)試框架和工具包——“人工智能驗(yàn)證”（AI Verify），主要提煉三個(gè)關(guān)鍵點(diǎn)。① 對(duì)新加坡在人工智能治理方面的總體策略，以及該國(guó)政府在推出人工智能驗(yàn)證之前發(fā)布的關(guān)鍵舉措進(jìn)行總結(jié)歸納。② 對(duì)“人工智能驗(yàn)證”的關(guān)鍵加以解釋。③ “人工智能驗(yàn)證”推出已有一年，探討人工智能驗(yàn)證的未來(lái)，以及新加坡的人工智能治理和監(jiān)管方法。簡(jiǎn)言之，主要觀點(diǎn)如下：

——新加坡對(duì)人工智能治理和監(jiān)管采取了溫和干預(yù)的方法，《人工智能治理框架模式》為私營(yíng)部門(mén)的人工智能治理制定了指南。

——“人工智能驗(yàn)證”（ “AI Verify”）是一個(gè)人工智能治理測(cè)試框架和工具包，2022年5月推出。盡管處于試用階段，但它代表新加坡努力進(jìn)一步發(fā)展人工智能治理和監(jiān)管的全球話語(yǔ)，試圖滿足對(duì)值得信賴的人工智能系統(tǒng)日益增長(zhǎng)的需求，以及促進(jìn)全球人工智能監(jiān)管框架的互聯(lián)互通能力。

——“人工智能驗(yàn)證”基于國(guó)際公認(rèn)的人工智能治理原則的測(cè)試框架，公司可以在測(cè)試自己的人工智能系統(tǒng)時(shí)使用這一測(cè)試工具包。“人工智能驗(yàn)證”無(wú)意定義道德標(biāo)準(zhǔn)，而通過(guò)允許人工智能系統(tǒng)開(kāi)發(fā)人員及其所有者發(fā)布證明對(duì)其人工智能系統(tǒng)性能的聲明，來(lái)提供可驗(yàn)證性。

——要想取得成功，“人工智能驗(yàn)證”可能需要更多認(rèn)可和采用。這取決于成本、說(shuō)服利益相關(guān)者相信其價(jià)值以及其與國(guó)際監(jiān)管框架的相關(guān)性和協(xié)同作用等因素。

新加坡人工智能治理的總體方法概述

新加坡在《國(guó)家人工智能戰(zhàn)略》中宣布，該國(guó)目標(biāo)是“站在可擴(kuò)展、有影響力的人工智能解決方案開(kāi)發(fā)和部署的前沿”，希望鞏固本國(guó)作為“開(kāi)發(fā)、測(cè)試、部署和擴(kuò)展人工智能解決方案的全球中心”的地位。提高人工智能采用率的戰(zhàn)略中，所確定的五個(gè)“生態(tài)系統(tǒng)促成因素”之一，是為人工智能開(kāi)發(fā)營(yíng)造“進(jìn)步和值得信賴的環(huán)境”——一個(gè)在創(chuàng)新和最小化社會(huì)風(fēng)險(xiǎn)之間取得平衡的環(huán)境。

為創(chuàng)造這種“進(jìn)步和值得信賴的環(huán)境”，迄今為止，新加坡對(duì)人工智能監(jiān)管采取了一種溫和且自愿的方式。這是因?yàn)椋搰?guó)認(rèn)識(shí)到自身人工智能雄心的兩個(gè)現(xiàn)實(shí)。

首先，新加坡政府將人工智能視為發(fā)展經(jīng)濟(jì)和提高公民生活質(zhì)量的關(guān)鍵戰(zhàn)略推動(dòng)者。由此，新加坡在監(jiān)管人工智能方面并未采取嚴(yán)厲措施，以免扼殺創(chuàng)新和投資。其次，考慮到其規(guī)模，新加坡意識(shí)到，隨著人工智能治理話語(yǔ)、框架和法規(guī)在全球范圍的發(fā)展，自身可能是價(jià)格接受者，而非價(jià)格制定者。因此，當(dāng)下策略并不是刷新人工智能原理，而是“順應(yīng)世界潮流而去，無(wú)意改變世界潮流。”（“Take the world where it is, rather than where it hopes the world to be.”） 

在2022年AI Verify發(fā)布之前，新加坡的人工智能監(jiān)管方法——由新加坡個(gè)人數(shù)據(jù)保護(hù)委員會(huì)（PDPC）監(jiān)督——有三個(gè)支柱：

1. 人工智能治理框架模式（框架模式）。

2.人工智能和數(shù)據(jù)的合乎道德使用咨詢委員會(huì)（咨詢委員會(huì)）。

3.人工智能治理與數(shù)據(jù)使用研究計(jì)劃（研究項(xiàng)目）。

以下重點(diǎn)介紹《框架模式》。

框架模式

《框架模式》2019年在世界經(jīng)濟(jì)論壇年會(huì)上首次推出，是一個(gè)自愿且不具約束力的框架，指導(dǎo)各組織大規(guī)模負(fù)責(zé)任地部署人工智能解決方案，并指出該框架與技術(shù)的開(kāi)發(fā)階段無(wú)關(guān)。作為指南，《框架模式》僅為私營(yíng)部門(mén)實(shí)體的人工智能部署提出切實(shí)可行的建議，而公共部門(mén)對(duì)人工智能的使用，則受內(nèi)部指導(dǎo)方針以及人工智能和數(shù)據(jù)治理工具包的約束。《框架模式》被稱為“活文件”，隨著技術(shù)和社會(huì)發(fā)展，其未來(lái)版本會(huì)不斷發(fā)展。其基礎(chǔ)在于技術(shù)、行業(yè)、規(guī)模和商業(yè)模型的不可預(yù)知。

本質(zhì)上，框架模式以兩個(gè)基本原則為指導(dǎo)，促進(jìn)對(duì)人工智能的信任和理解。首先，在決策中使用人工智能的組織，應(yīng)確保其決策過(guò)程是可解釋、透明和公平的。其次，人工智能系統(tǒng)應(yīng)該以人為中心：保護(hù)人類(lèi)福祉和安全應(yīng)該是設(shè)計(jì)、開(kāi)發(fā)和使用人工智能的首要考慮因素。

該框架將這些指導(dǎo)原則轉(zhuǎn)化為組織決策和技術(shù)開(kāi)發(fā)過(guò)程中四個(gè)關(guān)鍵領(lǐng)域的可實(shí)施的操作：

（a） 內(nèi)部治理結(jié)構(gòu)和措施；

（b） 確定人類(lèi)參與人工智能增強(qiáng)決策的水平；

（c） 運(yùn)營(yíng)管理；

（d） 利益相關(guān)者的互動(dòng)和溝通。

下表對(duì)這些關(guān)鍵領(lǐng)域中的若干建議考慮因素、做法和措施加以歸納。

《框架模式》附帶的其他舉措

新加坡在2020年世界經(jīng)濟(jì)論壇上發(fā)布第二版《框架模式》時(shí)，附帶著另兩份文件：《組織實(shí)施和自我評(píng)估指南》（ISAGO）和《使用案例匯編》（匯編-第1卷和第2卷）。ISAGO是一個(gè)清單，幫助組織評(píng)估其人工智能治理流程與模型框架的一致性。《綱要》提供了在各個(gè)部門(mén)、用例和司法管轄區(qū)采用《框架模式》建議的真實(shí)例子。

總的來(lái)說(shuō)，《框架模式》及其配套文件，錨定并概述了新加坡人工智能監(jiān)管的實(shí)質(zhì)性思路。這些舉措使新加坡在2019年贏得聯(lián)合國(guó)信息社會(huì)世界峰會(huì)獎(jiǎng)，其在人工智能治理方面的領(lǐng)先地位得到認(rèn)可。

2020年1月，是全球人工智能監(jiān)管討論的轉(zhuǎn)折點(diǎn)。2020年1月17日，歐盟委員會(huì)透露的一份白皮書(shū)，使國(guó)際社會(huì)越發(fā)關(guān)注政府監(jiān)管人工智能技術(shù)的可能性。2020年2月，歐盟委員會(huì)正式發(fā)布《人工智能白皮書(shū)》，列出創(chuàng)建人工智能監(jiān)管框架的計(jì)劃。而后幾個(gè)月，歐盟委員會(huì)提出即將出臺(tái)的《人工智能法案》的草案。這是政府性質(zhì)的機(jī)構(gòu)首次認(rèn)真嘗試引入實(shí)質(zhì)性規(guī)則，以橫向規(guī)范人工智能系統(tǒng)的開(kāi)發(fā)和使用。可以預(yù)期，《人工智能法案》對(duì)管轄區(qū)外亦發(fā)揮影響，歐洲以外開(kāi)發(fā)人工智能系統(tǒng)的公司可能會(huì)受到新法律的約束。

這些影響了人們對(duì)新加坡人工智能監(jiān)管和治理格局未來(lái)的思考。盡管新加坡個(gè)人數(shù)據(jù)保護(hù)委員會(huì)（PDPC）保持其對(duì)人工智能監(jiān)管的自愿和寬松的態(tài)度，但它承認(rèn)，人工智能未來(lái)將面臨更嚴(yán)的監(jiān)督。PDPC似乎也注意到，消費(fèi)者對(duì)人工智能系統(tǒng)和開(kāi)發(fā)人員可信度的需求日益提高，需要人工智能?chē)?guó)際標(biāo)準(zhǔn)根據(jù)監(jiān)管要求，對(duì)人工智能進(jìn)行基準(zhǔn)測(cè)試和評(píng)估。此外，對(duì)人工智能監(jiān)管框架互聯(lián)互通性的要求也在提高。有鑒于此，新加坡開(kāi)始進(jìn)行開(kāi)發(fā)，最終成果合并為“人工智能驗(yàn)證”（AI Verify）的框架。

什么是“人工智能驗(yàn)證”（AI Verify）

 “人工智能驗(yàn)證”（AI Verify）由新加坡通信和信息部下屬的法定委員會(huì)Infocomm Media Development Authority（IMDA）和個(gè)人數(shù)據(jù)保護(hù)委員會(huì)（PDPC）共同發(fā)布，是一個(gè)人工智能治理測(cè)試框架和工具包。運(yùn)用“人工智能驗(yàn)證”（AI Verify），組織機(jī)構(gòu)能結(jié)合技術(shù)測(cè)試和基于流程的檢查，對(duì)自身的人工智能系統(tǒng)進(jìn)行自愿評(píng)估。反過(guò)來(lái)，該系統(tǒng)幫助公司向利益相關(guān)者提供客觀和可驗(yàn)證的證明，以說(shuō)明自身的人工智能系統(tǒng)以負(fù)責(zé)任和值得信賴的方式實(shí)施。

鑒于人工智能測(cè)試方法、標(biāo)準(zhǔn)、指標(biāo)和工具不斷發(fā)展，“人工智能驗(yàn)證”（AI Verify）目前處于“最低可行產(chǎn)品”（MVP）階段。這有兩個(gè)含義。首先，MVP版本有技術(shù)限制，并受限于可測(cè)試或分析的人工智能模型或數(shù)據(jù)集的類(lèi)型和大小。其次，隨著人工智能測(cè)試能力的成熟，預(yù)計(jì)人工智能驗(yàn)證將不斷發(fā)展。

開(kāi)發(fā)“人工智能驗(yàn)證”MVP版本的四個(gè)目標(biāo)是：

（a）首先，IMDA希望組織能夠使用“人工智能驗(yàn)證”，確定其人工智能系統(tǒng)的性能基準(zhǔn)，并向消費(fèi)者和員工等利益相關(guān)方展示這些經(jīng)過(guò)驗(yàn)證的基準(zhǔn)，從而幫助組織增強(qiáng)信任。

（b）其次，鑒于其開(kāi)發(fā)考慮到各種人工智能監(jiān)管和治理框架，以及共同的值得信賴的人工智能原則，“人工智能驗(yàn)證”旨在幫助組織找到各種全球人工智能治理框架和法規(guī)的共同點(diǎn)。IMDA將繼續(xù)與監(jiān)管機(jī)構(gòu)和標(biāo)準(zhǔn)組織合作，將“人工智能驗(yàn)證”的測(cè)試框架映射于已建立的框架中。這些努力旨在讓企業(yè)在多個(gè)市場(chǎng)運(yùn)營(yíng)或提供人工智能產(chǎn)品與服務(wù)，同時(shí)讓新加坡成為人工智能治理和監(jiān)管測(cè)試的中心。

（c）第三，隨著更多組織嘗試“人工智能驗(yàn)證”并使用其測(cè)試框架，IMDA將能夠整理行業(yè)實(shí)踐、基準(zhǔn)和指標(biāo)。考慮到新加坡正參與全球人工智能治理平臺(tái)，如全球人工智能伙伴關(guān)系和ISO/IEC JTC1/SC 42，為人工智能治理的國(guó)際標(biāo)準(zhǔn)制定提供寶貴視角，這些可促進(jìn)對(duì)人工智能治理標(biāo)準(zhǔn)制定的投入。

（d）第四，IMDA希望“人工智能驗(yàn)證”幫助新加坡創(chuàng)建一個(gè)本地人工智能測(cè)試社區(qū)，由人工智能開(kāi)發(fā)人員和系統(tǒng)所有者（尋求測(cè)試人工智能系統(tǒng)）、技術(shù)提供商（正在開(kāi)發(fā)人工智能治理實(shí)施和測(cè)試解決方案）、咨詢服務(wù)提供商（專門(mén)從事測(cè)試和認(rèn)證支持），以及研究人員（正在開(kāi)發(fā)測(cè)試技術(shù)、基準(zhǔn)和實(shí)踐）所組成。

澄清關(guān)于“人工智能驗(yàn)證”的幾個(gè)潛在誤解也很重要。首先，“人工智能驗(yàn)證”并不試圖定義道德標(biāo)準(zhǔn)。它沒(méi)有試圖去標(biāo)亮人工智能系統(tǒng)的分類(lèi)，相反提供了可驗(yàn)證性，允許人工智能系統(tǒng)開(kāi)發(fā)人員和所有者證明他們對(duì)其人工智能系統(tǒng)性能的聲明。第二，組織使用“人工智能驗(yàn)證”，不能保證測(cè)試的人工智能系統(tǒng)沒(méi)有風(fēng)險(xiǎn)或偏見(jiàn)，或是完全“安全”、“合乎道德”。第三，“人工智能驗(yàn)證”旨在防止組織無(wú)意中泄露其人工智能系統(tǒng)的敏感信息（如其底層代碼或訓(xùn)練數(shù)據(jù)）。其采取了關(guān)鍵保障措施——“人工智能驗(yàn)證”將由人工智能系統(tǒng)開(kāi)發(fā)人員和所有者自行實(shí)施自測(cè)。這允許組織機(jī)構(gòu)的數(shù)據(jù)和模型保留在本組織機(jī)構(gòu)的操作環(huán)境中。

“人工智能驗(yàn)證”如何工作

“人工智能驗(yàn)證”由兩部分組成。其一是測(cè)試框架，它引用了11項(xiàng)國(guó)際公認(rèn)的人工智能倫理和治理原則，分為五大支柱。其二是組織用來(lái)執(zhí)行技術(shù)測(cè)試和記錄測(cè)試框架中過(guò)程檢查的工具包。

 “人工智能驗(yàn)證”的測(cè)試框架

“人工智能驗(yàn)證”測(cè)試框架的五大支柱和十一項(xiàng)原則及其預(yù)期評(píng)估如下所列：

實(shí)際的測(cè)試框架，包括以下關(guān)鍵部分： 

（a）定義：測(cè)試框架為每個(gè)人工智能原則提供了易于理解的定義。例如，可解釋性被定義為“評(píng)估導(dǎo)致人工智能系統(tǒng)決策的因素，其整體行為、結(jié)果和影響的能力”。

（b）可測(cè)試標(biāo)準(zhǔn)：對(duì)每個(gè)原則，都提供了一組可測(cè)試標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)兼顧了技術(shù)和/或非技術(shù)（如流程、程序或組織結(jié)構(gòu)）因素，有助于實(shí)現(xiàn)該治理原則的預(yù)期結(jié)果。

以可解釋性為例，給出兩個(gè)可檢驗(yàn)的準(zhǔn)則。開(kāi)發(fā)人員可運(yùn)行可解釋性方法來(lái)幫助用戶理解人工智能模型的驅(qū)動(dòng)因素。開(kāi)發(fā)人員還可展示對(duì)人工智能模型的開(kāi)發(fā)偏好，這些模型可以解釋他們的決策，或在默認(rèn)情況下可以解釋。

（c）測(cè)試過(guò)程：對(duì)每個(gè)可測(cè)試的標(biāo)準(zhǔn)，“人工智能驗(yàn)證”提供了要執(zhí)行的過(guò)程或可操作的步驟，這些步驟可以是定量的（如統(tǒng)計(jì)或技術(shù)測(cè)試），也可以是定性的（如在過(guò)程檢查過(guò)程中產(chǎn)生書(shū)面證據(jù)）。

就解釋性而言，技術(shù)測(cè)試可能涉及實(shí)證分析和確定特征對(duì)模型輸出的貢獻(xiàn)。基于過(guò)程的測(cè)試將記錄人工智能模型的基本原理、風(fēng)險(xiǎn)評(píng)估和權(quán)衡。

（d）度量：這些是定量或定性的參數(shù)，用于衡量或?yàn)槊總€(gè)可測(cè)試的標(biāo)準(zhǔn)提供證據(jù)。

使用上面的可解釋性示例，用于確定特征貢獻(xiàn)的度量可檢查從技術(shù)工具（如SHAP和LIME）獲得的模型輸出的貢獻(xiàn)特征。選擇最終模型時(shí)，基于過(guò)程的度量可作為評(píng)估的證明文件，例如風(fēng)險(xiǎn)評(píng)估和權(quán)衡練習(xí)。

（e）閾值（如適用）：在可用情況下，測(cè)試框架將為選定指標(biāo)提供公認(rèn)的值或基準(zhǔn)。這些價(jià)值觀或基準(zhǔn)，可由監(jiān)管機(jī)構(gòu)、行業(yè)協(xié)會(huì)或其他公認(rèn)的標(biāo)準(zhǔn)制定組織定義。對(duì)“人工智能驗(yàn)證”的MVP模型，考慮到人工智能技術(shù)快速發(fā)展、它們的用例以及測(cè)試人工智能系統(tǒng)的方法，沒(méi)有提供閾值。然而，隨著人工智能治理空間的成熟和對(duì)“人工智能驗(yàn)證”AI Verify的使用增加，IMDA打算整理和開(kāi)發(fā)特定于上下文的指標(biāo)和閾值，添加到測(cè)試框架中。

“人工智能驗(yàn)證”AI Verify的工具包

雖然“人工智能驗(yàn)證”AI Verify的工具包目前僅適用于成功注冊(cè)AI Verify MVP計(jì)劃的組織，但I(xiàn)MDA將該工具包描述為組織進(jìn)行技術(shù)測(cè)試的“一站式”工具。具體而言，工具包廣泛使用開(kāi)源測(cè)試庫(kù)。這些工具包括用于解釋性的SHAP（Shapley Additive ExPlanations）、用于魯棒性的對(duì)抗性魯棒性工具包，以及用于公平性的AIF360和公平學(xué)習(xí)。

“人工智能驗(yàn)證”的用戶可在其內(nèi)部環(huán)境安裝工具包。用戶將在用戶界面指導(dǎo)下，進(jìn)行測(cè)試過(guò)程。例如，該工具包含有一個(gè)“引導(dǎo)公平樹(shù)”，供用戶識(shí)別與其用例相關(guān)的公平度量。最后，“人工智能驗(yàn)證”AI Verify將生成一份總結(jié)報(bào)告，幫助系統(tǒng)開(kāi)發(fā)人員和所有者解釋測(cè)試結(jié)果。對(duì)于過(guò)程檢查，報(bào)告提供了一份清單，說(shuō)明是否存在測(cè)試框架中規(guī)定的文件證據(jù)。然后將測(cè)試結(jié)果打包到Docker?容器，以便部署。

結(jié)論

IMDA發(fā)布AI Verify時(shí)，生成人工智能的興趣浪潮尚未顯現(xiàn)。隨著當(dāng)前的潮流，人們對(duì)人工智能系統(tǒng)的治理、可測(cè)試性和可信度的檢驗(yàn)興趣顯著增長(zhǎng)。如本文所列，“人工智能驗(yàn)證”AI Verify的諸般舉措，正是做好準(zhǔn)備對(duì)當(dāng)前做出回應(yīng)。

此前，新加坡早已證明其有能力為人工智能治理和監(jiān)管的全球話語(yǔ)和思想領(lǐng)導(dǎo)力做出貢獻(xiàn)。所發(fā)布的《框架模式》即為明證。“人工智能驗(yàn)證”AI Verify的風(fēng)險(xiǎn)當(dāng)然很高，但全球?qū)@一舉措的需求也很高。要取得成功，它可能需要得到更多認(rèn)可，被更多使用。這取決于幾個(gè)因素。首先，該工具的可訪問(wèn)性至關(guān)重要：希望使用“人工智能驗(yàn)證”AI Verify的相關(guān)組織機(jī)構(gòu)，需要能夠以低成本甚至零成本使用。其次，讓組織機(jī)構(gòu)相信它的價(jià)值至關(guān)重要。這需要IMDA證明，“人工智能驗(yàn)證”AI Verify在技術(shù)和程序上是合理的，它可以有效地用于更多和更新種類(lèi)和尺度的人工智能模型和數(shù)據(jù)集，且不會(huì)影響專有人工智能模型或數(shù)據(jù)集的商業(yè)敏感性。第三，也許是最重要的，它必須與國(guó)際監(jiān)管框架保持互聯(lián)互通性。IMDA需要確保“人工智能驗(yàn)證”AI Verify持續(xù)幫助組織機(jī)構(gòu)在關(guān)鍵的新興全球人工智能監(jiān)管框架內(nèi)解決問(wèn)題并互聯(lián)互通，如歐盟人工智能法案、加拿大人工智能和數(shù)據(jù)法案、美國(guó)NIST人工智能風(fēng)險(xiǎn)管理框架，以及新加坡本國(guó)的模型框架。