人工智能的自動(dòng)化決定可以為人們帶來(lái)便利，并已在日常生活的多個(gè)領(lǐng)域得到應(yīng)用，然而人們對(duì)于人工智能可靠性的疑慮始終未被打消。在智能投顧、智慧醫(yī)療、智能司法等領(lǐng)域，人工智能都曾不止一次被曝出缺陷，尤其在公正性方面,“人工智能是否存在偏見(jiàn)和歧視”的問(wèn)題一直是人們討論的焦點(diǎn)。
在深度學(xué)習(xí)中，從輸入的數(shù)據(jù)到輸出的答案之間的過(guò)程并不能被人觀察，這一問(wèn)題被稱為“黑箱”。哥倫比亞大學(xué)的機(jī)器人學(xué)家Hod Lipson把這一困境形象地描述為“這就像是向一條狗解釋莎士比亞是誰(shuí)”。
我們應(yīng)如何看待AI作出的決定?本文將討論人工智能偏見(jiàn)、可解釋AI及人們?cè)诮鉀Q上述問(wèn)題時(shí)遇到的難點(diǎn)。
?
1970年，愛(ài)德華·肖特利夫(Edward H. Shortliffe)在斯坦福大學(xué)的實(shí)驗(yàn)室里開(kāi)始著手編寫(xiě)一個(gè)Lisp程序。這個(gè)名為MYCIN的系統(tǒng)通過(guò)一系列的是非問(wèn)題幫助醫(yī)生判斷病人是否患有遺傳性血液疾病，并根據(jù)病人體重建議抗生素用量。作為歷史上最早的專家系統(tǒng)之一，MYCIN的正確率僅為65%，相較血液科醫(yī)師80%的正確率相去甚遠(yuǎn)，而且由于程序過(guò)于龐大，最終也沒(méi)有投入使用。
2019年，150名受試者來(lái)到UCLA的VCLA中心，觀看Baxter機(jī)器人打開(kāi)附有安全鎖的藥瓶。隨后，Baxter向其中一些受試者解釋了自己是如何打開(kāi)藥瓶的，剩下的人沒(méi)有得到任何解釋。最后，實(shí)驗(yàn)者向所有人提問(wèn)：你在多大程度上相信這個(gè)機(jī)器人會(huì)開(kāi)藥瓶?
在過(guò)去的半個(gè)世紀(jì)里，機(jī)器的計(jì)算與儲(chǔ)存能力突飛猛進(jìn)，我們可以輕松地在計(jì)算機(jī)上運(yùn)行像MYCIN一樣相對(duì)簡(jiǎn)單的系統(tǒng)，甚至可以訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(Support Vector Machine)等更加復(fù)雜的模型達(dá)到接近專業(yè)醫(yī)生的診斷水平，或是讓機(jī)器人完成相對(duì)復(fù)雜的精細(xì)動(dòng)作。
但是，AI系統(tǒng)的性能提升也帶來(lái)了新的問(wèn)題：如果這些系統(tǒng)進(jìn)入我們的生活，你會(huì)信任它們作出的決定嗎?
為何要解釋AI?
AI如日中天，我們?yōu)槭裁匆Ｏ聛?lái)思考怎么解釋它?
2016年5月，ProPublica發(fā)布了一篇名為《機(jī)器偏見(jiàn)》的調(diào)查報(bào)告，聚焦一個(gè)名為COMPAS的AI系統(tǒng)。COMPAS被廣泛應(yīng)用于美國(guó)司法量刑。它基于已有的犯罪記錄，嘗試預(yù)測(cè)被告被再次逮捕的概率，得出一個(gè)1到10分之間的分?jǐn)?shù)——分?jǐn)?shù)越高，它建議的量刑越重，以期更有效地懲治潛在的再犯。
ProPublica分析了18000多人的COMPAS分?jǐn)?shù)和犯罪記錄，發(fā)現(xiàn)黑人與白人的分?jǐn)?shù)分布明顯不同——在犯罪歷史、再逮捕記錄、年齡、性別都相同的條件下，黑人被告得到更高COMPAS分?jǐn)?shù)的概率高于白人被告45%。另外，有48%在兩年內(nèi)被再次逮捕的白人被告的COMPAS分?jǐn)?shù)被低估，幾乎是黑人被告的兩倍。因?yàn)閿?shù)據(jù)來(lái)自具有結(jié)構(gòu)性不公的環(huán)境(既有司法系統(tǒng)傾向于區(qū)別對(duì)待不同人種)，COMPAS的(草率)決定也受此影響。然而，由于COMPAS是一個(gè)黑箱系統(tǒng)，法官只能看到分?jǐn)?shù)，對(duì)內(nèi)部的決策機(jī)制一無(wú)所知，導(dǎo)致他們無(wú)法有效評(píng)估系統(tǒng)的建議。另一篇調(diào)查報(bào)告更是指出，COMPAS的準(zhǔn)確率相當(dāng)于幾乎沒(méi)有刑事司法專業(yè)知識(shí)的人。
無(wú)獨(dú)有偶，2015年，有用戶發(fā)現(xiàn)谷歌的圖像識(shí)別系統(tǒng)將自己的黑人朋友標(biāo)記為“大猩猩”，在推特上引起軒然大波。直到2018年，谷歌仍然沒(méi)有完全修復(fù)這一漏洞，只是將靈長(zhǎng)類的標(biāo)簽從系統(tǒng)中移除，并稱“圖像識(shí)別技術(shù)還不成熟”。同樣是2015年，紐約西奈山醫(yī)院用70萬(wàn)病人的數(shù)據(jù)訓(xùn)練了一個(gè)名為“深度病人”的深度神經(jīng)網(wǎng)絡(luò)，用以輔助醫(yī)療診斷。“深度病人”對(duì)精神分裂癥的預(yù)測(cè)出乎意料地準(zhǔn)確，但沒(méi)有醫(yī)生知道為什么，自然也無(wú)法應(yīng)用于自己的臨床診斷;當(dāng)它被用于分析醫(yī)院以外的X光片時(shí)，系統(tǒng)正確率莫名出現(xiàn)了大幅下降。
“數(shù)據(jù)不會(huì)說(shuō)謊?！钡@絕不意味著我們不需要仔細(xì)審視它們，或是給予基于數(shù)據(jù)之上的AI系統(tǒng)無(wú)條件的信任。肖特利夫的MYCIN系統(tǒng)本質(zhì)上是一個(gè)決策樹(shù)，屬于“透明”的模型——我們可以畫(huà)出從數(shù)據(jù)輸入開(kāi)始完整的決策過(guò)程，從而評(píng)估MYCIN的決定。深度神經(jīng)網(wǎng)絡(luò)的性能遠(yuǎn)遠(yuǎn)優(yōu)于決策樹(shù)，但它是一個(gè)“黑箱”——我們幾乎不可能確切地知道它在算什么。性能與可解釋性似乎此消彼長(zhǎng)。
對(duì)一位只追求正確率和性能的算法工程師來(lái)說(shuō)，黑箱AI未必不受待見(jiàn)：一個(gè)能夠準(zhǔn)確預(yù)測(cè)95%的事件的黑箱系統(tǒng)，肯定比另一個(gè)正確率只有65%、更透明的系統(tǒng)好?？墒?，當(dāng)工程師需要調(diào)整系統(tǒng)內(nèi)部“零件”的時(shí)候(比如修復(fù)谷歌圖像識(shí)別系統(tǒng))，黑箱會(huì)讓這項(xiàng)任務(wù)無(wú)比艱難：到底是哪一步出錯(cuò)了?是用于訓(xùn)練的數(shù)據(jù)有問(wèn)題，還是模型本身的性能不足，或是損失函數(shù)(loss function)有待改進(jìn)?置身黑箱之外的工程師很難一針見(jiàn)血地指出病灶。
我們中的大多數(shù)人也許極少有機(jī)會(huì)成為工程師、法官、醫(yī)生，但這不妨礙黑箱AI對(duì)我們的生活造成影響。與我們的一廂情愿相反，不夠透明的AI系統(tǒng)非但沒(méi)有比人類更客觀、公正、精確，反而加深了既存的偏見(jiàn)和不公正，對(duì)數(shù)字民主和基本人權(quán)構(gòu)成威脅，而對(duì)這些系統(tǒng)的控制、介入和審計(jì)也更為困難。當(dāng)我們無(wú)法解讀AI作出的決策，對(duì)它未來(lái)的預(yù)期不過(guò)是紙上談兵，信任也無(wú)從談起。
可解釋AI(Explainable AI，即XAI)想要解決的正是這類問(wèn)題。XAI認(rèn)為，通過(guò)解釋AI系統(tǒng)的決策過(guò)程，人類能夠更好地理解它的機(jī)制、優(yōu)缺點(diǎn)、潛在影響等特性，從而更有效地預(yù)測(cè)系統(tǒng)的行為，達(dá)到逐步建立信任關(guān)系的效果。如果AI革命不可避免，至少一個(gè)可被解釋的系統(tǒng)能夠更好地融入嶄新的算法社會(huì)契約——例如伊亞德·拉萬(wàn)(Iyad Rahwan)提出的社會(huì)回環(huán)(Society-in-the-loop)——與人類共生存，而不必成為敵對(duì)的關(guān)系。
我需要一個(gè)解釋
可解釋AI終究是為人服務(wù)的(好比高階編程語(yǔ)言是為了人類設(shè)計(jì)的，否則機(jī)器之間的“交流”大可以用機(jī)器編碼之類人類無(wú)法輕易讀寫(xiě)的“語(yǔ)言”)。所以“解釋性”也是相對(duì)人而言的。關(guān)于黑箱AI系統(tǒng)，什么樣的解釋才是好的解釋?心理學(xué)家和哲學(xué)家早就開(kāi)始分頭研究，但各執(zhí)一詞。
解釋常常需要闡述特定的因果關(guān)系或因果模式，例如“我不吃杏仁，因?yàn)槲覍?duì)堅(jiān)果過(guò)敏”。這樣的解釋非常貼切(沒(méi)有轉(zhuǎn)移話題)，直接明了(不存在循環(huán)論證)，邏輯嚴(yán)密。有的現(xiàn)象卻很難用通俗的因果關(guān)系解釋——請(qǐng)?jiān)囍卮?，“我擲了一次骰子，為什么朝上的一面是3?”當(dāng)然，你可以引用物理法則來(lái)解釋擲骰子的具體過(guò)程，但我可能一頭霧水。為了避免這樣的尷尬，你也許會(huì)提及相關(guān)的(非因果的)概念，比如“隨機(jī)性”，或是用類比等手法讓你的解釋更容易被聽(tīng)眾接受(比如上一段的第一句話)。一般而言，因果關(guān)系在解釋中占據(jù)不可動(dòng)搖的地位，但不是唯一的手段。
- Zoe? van Dijk -
既然解釋本身可以有各種形式，為了篩選出最好的可解釋AI，我們?yōu)槭裁床恢苯訂?wèn)：你理解這個(gè)系統(tǒng)在做什么嗎?相關(guān)的心理學(xué)研究也的確使用了類似的方法來(lái)推斷人們是否能夠通過(guò)描述性解釋理解某一概念。它們發(fā)現(xiàn)，客觀上，當(dāng)受試者對(duì)某一概念有更好的理解時(shí)，他們能通過(guò)主觀的直覺(jué)感覺(jué)到自己的認(rèn)知進(jìn)步，好比“茅塞頓開(kāi)”。
然而，耶魯大學(xué)的列昂尼德·羅森布里特(Leonid Rozenblit)和弗蘭克·凱爾(Frank Keil)提出的“解釋深度的錯(cuò)覺(jué)”(Illusion of Explanatory Depth)仿佛當(dāng)頭一棒。羅森布里特和凱爾讓受試者首先評(píng)價(jià)自己對(duì)某一工具(比如拉鏈)的理解，然后詳細(xì)地解釋這個(gè)工具的工作機(jī)制，并再次評(píng)價(jià)自己的對(duì)它的理解。他們發(fā)現(xiàn)，相比一開(kāi)始，試圖解釋后的受試者對(duì)自己理解的評(píng)價(jià)明顯下滑，仿佛突然意識(shí)到自己其實(shí)一知半解。這就是“解釋深度的錯(cuò)覺(jué)”。這種錯(cuò)覺(jué)影響著所有人(包括小孩子)，并且只作用于解釋性的知識(shí)。完全相反的情況也不少見(jiàn)：人們會(huì)自稱不理解一個(gè)動(dòng)力系統(tǒng)，卻能熟練地使用它。
另一方面，規(guī)范(normative)解釋在哲學(xué)(尤其是科學(xué)哲學(xué))中發(fā)揚(yáng)光大。規(guī)范解釋有意忽略個(gè)人因素，比如認(rèn)知能力，而是關(guān)注“應(yīng)有”的理解。因此，規(guī)范理解可以被視為一種基準(zhǔn)，用來(lái)分析哪些信息應(yīng)當(dāng)被包含在解釋里，以及受眾會(huì)有何種程度的理解。更進(jìn)一步地說(shuō)，好的(規(guī)范)解釋?xiě)?yīng)當(dāng)從理解的目的出發(fā)，基于受眾與黑箱AI的關(guān)系給出不同的解釋。顯然，修補(bǔ)系統(tǒng)漏洞的工程師和審核系統(tǒng)公正性的法官所需的理解是不同的。我們可以合理假設(shè)前者具有足夠的技術(shù)知識(shí)背景，也許將計(jì)算模型可視化就提供了足夠好的解釋。后者需要的是更抽象的文字解釋，比如“其他條件不變，COMPAS系統(tǒng)預(yù)測(cè)黑人被告和白人被告被再次逮捕的概率不同?！眱煞N都是好的(規(guī)范)解釋，一旦互換卻可能成為各自的雞肋。
規(guī)范解釋看似更加直截了當(dāng)，但在實(shí)際應(yīng)用中還沒(méi)有確切實(shí)現(xiàn)或評(píng)估的共識(shí)。描述性解釋似乎也不甚完美。時(shí)至今日，我們?nèi)晕凑厦枋鲂越忉尯鸵?guī)范解釋，關(guān)于解釋的研究和可解釋AI還在齊頭并進(jìn)。
有了可解釋的AI就萬(wàn)事大吉嗎?
2017年開(kāi)始，美國(guó)國(guó)防高級(jí)研究計(jì)劃署(DARPA)投資了一系列XAI的項(xiàng)目，包括UCLA的VCLA中心的研究項(xiàng)目。2018年，ACM主辦了第一屆FAT*會(huì)議，關(guān)注AI系統(tǒng)的公正性、問(wèn)責(zé)制和透明度。同年，AAAI與ACM共同舉辦第一屆AIES(人工智能、倫理與社會(huì))會(huì)議。谷歌、微軟等科技公司也陸續(xù)參與XAI的研發(fā)。各界對(duì)于XAI的關(guān)注促成了許多“拆穿”黑箱AI的嘗試，從DeepMind提出的機(jī)器心智理論(Machine Theory of Mind)，到將黑箱神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為“透明”的布爾電路(Boolean circuit)，再到LIME(Local Interpretable Model-Agnostic Explanation)等通過(guò)近似黑箱模型提取重要特征的方法。雖然XAI目前解釋的對(duì)象主要是工程師等研發(fā)人員，但是在未來(lái)，我們將會(huì)看到更多面向大眾的XAI，比如向你解釋如何開(kāi)藥瓶的Baxter。
XAI并不是終點(diǎn);它最多算一個(gè)起點(diǎn)，而我們還有許多亟待解決的問(wèn)題。首先，對(duì)黑箱AI的解釋可以被悄無(wú)聲息地篡改，可以完全牛頭不對(duì)馬嘴，而且很難察覺(jué)。哈佛大學(xué)的?，斮e度·拉卡拉朱(Himabindu Lakkaraju)和她的學(xué)生們發(fā)現(xiàn)，只需在模型上動(dòng)一些簡(jiǎn)單的手腳，就能讓它濫用COMPAS數(shù)據(jù)集里的種族信息決定量刑，但一旦LIME來(lái)“視察”，它立刻擺出無(wú)辜的嘴臉，完全不露餡。這就意味著，即使有XAI為工具，我們對(duì)AI的信任也不應(yīng)當(dāng)盲目地依賴系統(tǒng)的可靠性和(表面上)信息的透明性，理智與批判性思考將格外重要。
其次，針對(duì)AI的條例的制定相對(duì)滯后于研發(fā)和應(yīng)用。XAI的出現(xiàn)將會(huì)讓這個(gè)問(wèn)題更加復(fù)雜——由于黑箱AI難以捉摸，且只有少數(shù)人具備解讀/修改的能力，研發(fā)機(jī)構(gòu)不必過(guò)分擔(dān)心自己的科研成果泄漏(除非算法模型被一鍋端)。如果面向用戶和公眾的解釋成為需求、甚至必須，既有的AI系統(tǒng)——無(wú)論透明與否——都有可能面臨一系列的風(fēng)險(xiǎn)，包括知識(shí)產(chǎn)權(quán)(利用反向工程重建系統(tǒng))和系統(tǒng)安全(惡意的對(duì)抗攻擊)。信任與保密兩者的張力之下，XAI應(yīng)當(dāng)提供的解釋的具體內(nèi)容尚無(wú)定論。
再者，偏見(jiàn)和不公不會(huì)因?yàn)榻忉尡旧矶?恰恰相反，解釋會(huì)暴露更多一直以來(lái)潛行在我們周圍的倫理問(wèn)題。ProPublica對(duì)COMPAS的調(diào)查使人不禁發(fā)出疑問(wèn)：系統(tǒng)性的種族偏見(jiàn)究竟在何種程度上滲透了美國(guó)過(guò)去十年間的量刑?隨著XAI的進(jìn)步，一個(gè)個(gè)黑箱AI的廬山真面目逐漸顯露在我們眼前，不難想象其中有像COMPAS一樣的“幫兇”。我們能否通過(guò)公開(kāi)討論解決結(jié)構(gòu)性問(wèn)題、完善問(wèn)責(zé)制，這將是對(duì)AI和人類社會(huì)共同的挑戰(zhàn)。
參考文獻(xiàn)
Choi, A., Shi, W., Shih, A., & Darwiche, A. (2019). Compiling Neural Networks into Tractable Boolean Circuits. AAAI Spring Symposium on Verification of Neural Networks (VNN), Stanford, CA.
Defense Advanced Research Projects Agency. (n.d.). Explainable Artificial Intelligence (XAI). Retrieved from https://www.darpa.mil/program/explainable-artificial-intelligence
Edmonds, M., Gao, F., Liu, H., Xie, X., Qi, S., Rothrock, B., Zhu, Y., Wu, Y. N, Hongjing, L., & Zhu, S. (2019). A tale of two explanations: Enhancing human trust by explaining robot behavior. Science Robotics, 4(37). https://doi.org/10.1126/scirobotics.aay4663
Keil, F. (2006). Explanation and understanding. Annual Review of Psychology, 57.
Larson, J., Angwin, J., Kirchner, L., & Mattu, S. (2019, March 9). How We Analyzed the COMPAS Recidivism Algorithm. Retrieved from https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Miotto, R., Li, L., Kidd, B. A., & Dudley J. T. (2016). Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records. Nature Scientific Reports, 6(1), 26094.
Rabinowitz, N.C., Perbet, F., Song, H.F., Zhang, C., Eslami, S.M., & Botvinick, M.M. (2018). Machine Theory of Mind. ArXiv, abs/1802.07740.
Rahwan, I. (2018). Society-in-the-loop: programming the algorithmic social contract. Ethics and Information Technology, 20(1), 5–14. https://doi.org/10.1007/s10676-017-9430-8
Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1
Slack, D., Hilgard, S., Jia, E., Singh, S., & Lakkaraju, H. (2020, Feb 3). Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods [Paper presentation]. AAAI/ACM Conference on AI, Ethics, and Society 2020, New York, NY. https://doi.org/10.1145/3375627.3375830
Yu, V. L., Fagan, L. M., Wraith, S. M., Clancey, W. J., Scott, A. C., Hannigan, J., Blum, R. L., Buchanan, B. G., & Cohen, S. N. Antimicrobial Selection by a Computer: A Blinded Evaluation by Infectious Diseases Experts (1979). JAMA, 242(12), 1279–1282. http://doi.org/10.1001/jama.1979.03300120033020
Yong, E. (2018, January 29). A Popular Algorithm Is No Better at Predicting Crimes Than Random People. Retrieved from https://www.theatlantic.com/technology/archive/2018/01/equivant-compas-algorithm/550646/
小結(jié)：
要邁向公平人工智能，首先必須承認(rèn)存在的問(wèn)題，才能著手解決問(wèn)題。近年間，已有越來(lái)越多的學(xué)者、企業(yè)和機(jī)構(gòu)意識(shí)到人工智能因缺失人類信任造成的問(wèn)題。盡管作為一項(xiàng)發(fā)展中的議題，人們還未就解決問(wèn)題的方式達(dá)成一致意見(jiàn)，但可解釋AI的發(fā)展正使“黑箱”變得越來(lái)越透明，這也使人工智能在提升效率之外，也兼顧了數(shù)據(jù)公正。
文章來(lái)源于微信公眾號(hào)“神經(jīng)現(xiàn)實(shí)” ，作者amecolli
（轉(zhuǎn)載）
