AI社會(huì)學(xué)｜困在算法日常里的人，在算法里日常抵抗

去年9月，一個(gè)名叫克林·麥德蘭 (Colin Madland) 的白人，在推特上發(fā)布了一張與黑人同事視頻通話的截屏。他原本只是想揭發(fā)相關(guān)視頻會(huì)議軟件Zoom的一個(gè)問(wèn)題——在某種模式下，該軟件算法無(wú)法識(shí)別麥德蘭的黑人同事，并擅自將其“斬首”了。

Zoom將麥德蘭的黑人同事“斬首”了

麥德蘭沒(méi)想到的是，當(dāng)他截屏上傳推特之后，在推特的手機(jī)端上，黑人同事干脆“消失”了，圖片僅僅剩下身為白人的他自己。

截屏上傳推特之后，麥德蘭的黑人同事“消失”了

推特用算法在推特的手機(jī)端自動(dòng)裁剪圖片是常規(guī)操作，目的在于防止過(guò)大圖片在寸土寸金的手機(jī)端占用太多頁(yè)面空間，同時(shí)將用戶的注意力集中到圖片最重要的部分。關(guān)于麥德蘭的圖片，算法似乎做出了這樣的判斷——相對(duì)于黑人，白人是更重要的那一部分。

麥德蘭的推文很快引爆了網(wǎng)絡(luò)狂歡。網(wǎng)友們前仆后繼、看熱鬧不嫌事大地對(duì)推特的圖片裁剪算法進(jìn)行了各種明暗條件下的反復(fù)測(cè)試，測(cè)試圖片一度延伸到貓貓狗狗和毛絨玩具，直到某網(wǎng)友錘下棺材板上的最后一根釘子——在反復(fù)上傳白人參議員米奇·麥康奈爾（Mitch McConnell）和黑人前總統(tǒng)奧巴馬（Barack Obama）的照片后，該網(wǎng)友發(fā)現(xiàn)推特算法會(huì)在手機(jī)端不斷裁剪掉奧巴馬，而把麥康奈爾放在圖片中央。

換句話說(shuō)，推特的算法，犯了和ZOOM一樣的毛病：種族歧視。

這些年，被網(wǎng)友集體抓包的網(wǎng)絡(luò)平臺(tái)不在少數(shù)。比如著名的谷歌。2015年，程序員阿爾西內(nèi)（Jacky Alciné）將自己與朋友的合影上傳到谷歌照片，詎料黑人朋友竟被標(biāo)注為“大猩猩”。此后，熱心網(wǎng)友競(jìng)相“調(diào)戲”對(duì)谷歌照片的腦殘標(biāo)簽，直到2018年，谷歌“一勞永逸”地封禁了“大猩猩”、“黑猩猩”或是“猴子”的標(biāo)簽。

再如美國(guó)最大的點(diǎn)評(píng)網(wǎng)站Yelp。2017年，一群小企業(yè)主在對(duì)Yelp算法進(jìn)行反復(fù)測(cè)試后發(fā)現(xiàn)，對(duì)于不使用該平臺(tái)廣告服務(wù)的企業(yè)，算法往往給出較低評(píng)分。被戳穿后，Yelp不得不對(duì)其算法進(jìn)行了調(diào)整。

又如酒店預(yù)訂平臺(tái)繽客（booking.com）。2019年，一批用戶發(fā)現(xiàn)繽客對(duì)某酒店的綜合評(píng)分與他們給出的分?jǐn)?shù)明顯不符，發(fā)現(xiàn)問(wèn)題后，他們聯(lián)合起來(lái)，通過(guò)反復(fù)測(cè)試，證明了平臺(tái)算法會(huì)在不透明的情況下調(diào)高某些低評(píng)分。

在最近的一篇論文里，我和合作者們把平臺(tái)用戶的這類(lèi)“抓包”行為稱為“日常生活里的算法審計(jì)”（everyday algorithm auditing）——平日里，由于算法的算計(jì)而受困其中的用戶們，正在聯(lián)合起來(lái)，通過(guò)集體智慧，對(duì)算法進(jìn)行“反向分析”。

也就是說(shuō)，平臺(tái)們看似全知全能、無(wú)遠(yuǎn)弗屆，但對(duì)于算法與人的真實(shí)互動(dòng)及其結(jié)果，它們?cè)诤艽蟪潭壬鲜菬o(wú)法事先知曉的。

正如推特的公關(guān)團(tuán)隊(duì)在“裁圖事件”后解釋的那樣，“在模型發(fā)布前，我們的團(tuán)隊(duì)進(jìn)行了反復(fù)測(cè)試，并沒(méi)有發(fā)現(xiàn)種族或性別歧視的相關(guān)證據(jù)。但這些案例表明，我們還有更多的分析要做。”

各大平臺(tái)可以聘用頂級(jí)機(jī)器學(xué)習(xí)專家和軟件測(cè)試工程師，在算法上線前，對(duì)可能出現(xiàn)的漏洞進(jìn)行檢測(cè)，但即便是這些專家也永遠(yuǎn)無(wú)法預(yù)測(cè)，算法在與真實(shí)世界里的真實(shí)人生互動(dòng)之后會(huì)發(fā)生什么。

其實(shí)早在1996年，在現(xiàn)代人工智能和機(jī)器學(xué)習(xí)系統(tǒng)大規(guī)模出現(xiàn)之前，巴特亞·弗里德曼（Batya Friedman）和海倫·尼森鮑姆（Helen Nissenbaum）就在他們那篇著名的短文《計(jì)算機(jī)系統(tǒng)里的偏見(jiàn)》（Bias in Computer Systems）里，就計(jì)算機(jī)系統(tǒng)里的“偏見(jiàn)”進(jìn)行了分類(lèi)：

一類(lèi)是由社會(huì)歷史原因造成的“預(yù)存偏見(jiàn)”（pre-existing bias）。比如，性別和種族歧視可能會(huì)在算法里持續(xù)顯現(xiàn)。

一類(lèi)是由當(dāng)時(shí)當(dāng)?shù)丶夹g(shù)限制等原因造成的“技術(shù)偏見(jiàn)”（technical bias)。比如，在1990年代，一種用來(lái)隨機(jī)篩選稀缺藥物接受者的算法可能會(huì)系統(tǒng)性地偏向數(shù)據(jù)庫(kù)末端的病人。

還有一類(lèi)是那些只有在與人類(lèi)用戶互動(dòng)和日常使用的情境里展現(xiàn)出來(lái)的“突現(xiàn)偏見(jiàn)”（emergent bias）。比如，微軟當(dāng)年的人工智能聊天機(jī)器人Tay，與網(wǎng)友在推特上聊了不到24小時(shí)，就被“調(diào)教”成了一個(gè)“種族主義者”。

這也是為什么發(fā)現(xiàn)這些“突現(xiàn)偏見(jiàn)”的，往往不是平臺(tái)巨資聘請(qǐng)的工程師、律師和第三方審計(jì)人員，而是那些日日夜夜受困在算法里的人們——是真實(shí)生活里的真實(shí)人類(lèi)在日常生活里對(duì)算法進(jìn)行了千萬(wàn)次的測(cè)試，以肉身為道場(chǎng)，才把算法的漏洞暴露出來(lái)，釘上恥辱柱。

這是我們對(duì)算法的日常抵抗。

1985年，耶魯大學(xué)政治學(xué)和人類(lèi)學(xué)教授詹姆斯·C·斯科特（James C. Scott）出版了名作《弱者的武器：農(nóng)民反抗的日常形式》（Weapons of the Weak: Everyday Forms of Peasant Resistance）。這本書(shū)基于1970年代末他在馬來(lái)西亞村莊塞達(dá)卡（Sedaka）所做的田野調(diào)查。

斯科特發(fā)現(xiàn)，自1970年代引入雙耕制之后，馬來(lái)西亞農(nóng)村的貧富差距加劇，農(nóng)民們的不滿與日俱增，可奇怪的是，那里卻很少發(fā)生有組織的、公開(kāi)的抵抗。從傳統(tǒng)政治學(xué)的角度來(lái)看，馬來(lái)農(nóng)民缺乏政治意識(shí)和自覺(jué)，也鮮少有意義的政治行動(dòng)。

但作為人類(lèi)學(xué)家，斯科特卻察覺(jué)到一種不曾被書(shū)寫(xiě)的、不一樣的“抵抗”：農(nóng)民們?cè)谌粘Ｉ罾铮宰约邯?dú)特的方式對(duì)結(jié)構(gòu)性的不平等進(jìn)行著“消耗戰(zhàn)”，雖然看似微不足道，卻也一點(diǎn)一滴地銷(xiāo)蝕著凌駕在他們頭上的統(tǒng)治機(jī)構(gòu)。

這些日常形式的反抗，我們也許再熟悉不過(guò)了——偷懶、怠工、裝糊涂、開(kāi)小差，跟現(xiàn)在流行的的“躺平”“帶薪蹲坑” “日常摸魚(yú)”可謂異曲同工，一脈相承。

而這些，斯科特稱之為“弱者的武器”（weapons of the weak）。

斯科特的立場(chǎng)，在80年代之后受到了許多批評(píng)——如果日常形式的抵抗無(wú)法引發(fā)結(jié)構(gòu)層面的改變，而僅僅滯留在生活表面，那么這些“偷懶、怠工、裝糊涂、開(kāi)小差”到底有多少意義呢？這確實(shí)不好說(shuō)。可以確定的只是，這些日常形式的抵抗至少表明個(gè)人和公眾并不完全臣服于這些支配性的社會(huì)結(jié)構(gòu)。

在人工智能的時(shí)代，在算法統(tǒng)治一切的世界里，這些日常抵抗包括用戶們個(gè)人生活里的小動(dòng)作和不配合——比如故意點(diǎn)擊無(wú)關(guān)內(nèi)容給推薦算法搗亂；在社交媒體上合力揪出算法的漏洞——比如，像本文開(kāi)頭那個(gè)例子，大家通過(guò)集體協(xié)作一起檢測(cè)證明算法“種族歧視”，等等。

這些小打小鬧不斷給占據(jù)支配地位的算法制造麻煩，并提示我們：算法并不像我們所想象的那樣無(wú)所不知、無(wú)所不能。即使渺小如我們，在某些時(shí)刻，也有反制算法的可能。

與此同時(shí)，另一種對(duì)算法的日常抵抗正在浮現(xiàn)。

去年7月，阿明·薩米（Armin Samii) 已經(jīng)為“優(yōu)步送餐” 工作了幾個(gè)星期。在美國(guó)，“優(yōu)步送餐”很多時(shí)候是由騎手騎行送達(dá)的。這一單，薩米接下的是算法估算為20分鐘左右、1英里的工作。可事實(shí)上，送餐app卻將他帶上了匹茲堡最陡峭的山坡之一，在地圖上看來(lái)是1英里的直線路程，實(shí)際耗費(fèi)了4 英里的騎行。最終按照算法的邏輯，“優(yōu)步送餐” 僅僅支付了他1英里的費(fèi)用。

還好薩米是一名軟件工程師。在發(fā)現(xiàn)優(yōu)步算法的問(wèn)題之后，他創(chuàng)建了谷歌瀏覽器的擴(kuò)展程序“優(yōu)步騙人” （UberCheats），幫助外賣(mài)騎手們收集算法“克扣”薪酬的證據(jù)。

薩米們想要追訴的權(quán)利。

還有一些困在算法里的人將他們的訴求告上法庭。根據(jù)歐盟的通用數(shù)據(jù)保護(hù)條例 (GDPR)， 一群英國(guó)優(yōu)步司機(jī)在阿姆斯特丹起訴了這家叫車(chē)公司。司機(jī)們表示，通過(guò)集體訴訟，他們獲得了存儲(chǔ)于平臺(tái)之上的所有關(guān)于他們的個(gè)人數(shù)據(jù)，他們想知道，優(yōu)步的評(píng)價(jià)體系是如何通過(guò)這些數(shù)據(jù)來(lái)給他們打分的。

司機(jī)們想要知情的權(quán)利。

36年前，斯科特在他那本引發(fā)巨大爭(zhēng)議的書(shū)里說(shuō)：

“日常形式的抵抗不會(huì)成為頭條新聞……(然而）正如數(shù)以百萬(wàn)計(jì)的珊瑚蟲(chóng)制造出珊瑚礁一樣，數(shù)以萬(wàn)計(jì)的個(gè)體不服從和逃避的行為也創(chuàng)造了自己的政治或經(jīng)濟(jì)堡礁。”

“Everyday forms of resistance make no headlines. Just as millions of anthozoan polyps create, willy-nilly, a coral reef, so do thousands upon thousands of individual acts of insubordination and evasion create a political or economic barrier reef of their own.” 

不高估算法的魔力，不低估自己的力量。也許，最后能夠抗衡算法的，正是我們這些困在算法里的人。

參考資料：

【1】Khristopher J Brooks. 2020. Twitter users say the platform crops out Black faces. https://www.cbsnews.com/news/ twitter-image-cropping-algorithm-racial-profiling

【2】Motahhare Eslami, Kristen Vaccaro, Karrie Karahalios, and Kevin Hamilton. 2017. “Be careful; things can be worse than they appear”: Understanding Biased Algorithms and Users’ Behavior around Them in Rating Platforms. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11.

【3】Motahhare Eslami, Kristen Vaccaro, Min Kyung Lee, Amit Elazari Bar On, Eric Gilbert, and Karrie Karahalios. 2019. User attitudes towards algorithmic opacity and transparency in online reviewing platforms. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 1–14.

【4】Shen, Hong, Alicia DeVos, Motahhare Eslami, and Kenneth Holstein. 2021. "Everyday algorithm auditing: Understanding the power of everyday users in surfacing harmful algorithmic behaviors." arXiv preprint arXiv:2105.02980.

【5】Friedman, Batya, and Helen Nissenbaum. Bias in computer systems. Routledge, 2017.

【6】Scott, James C. 1985. Weapons of the weak: Everyday forms of peasant resistance. Yale University Press.

【7】Aarian Marshall. 2021. Gig Workers Gather Their Own Data to Check the Algorithm’s Math. Wired. https://www.wired.com/story/gig-workers-gather-data-check-algorithm-math/

-----

作者沈虹，畢業(yè)于美國(guó)伊利諾伊大學(xué)香檳分校傳播學(xué)系，現(xiàn)任職于美國(guó)卡內(nèi)基梅隆大學(xué)。她用社會(huì)學(xué)的方法研究新興科技。