當(dāng)前人工智能落地應(yīng)用的繁榮很大程度上來自于機(jī)器學(xué)習(xí)（Machine Learning）尤其是深度學(xué)習(xí)（Deap Learning）的技術(shù)發(fā)展，但智能背后空茫的無(wú)法理解不可解釋始終讓人們質(zhì)疑人工智能是否必須可解釋才能用于一些高風(fēng)險(xiǎn)場(chǎng)景，尤其是在醫(yī)療保健、金融和政府等關(guān)鍵領(lǐng)域。

深度學(xué)習(xí)即深度神經(jīng)網(wǎng)絡(luò)（Deap Neural Network），其特征在于無(wú)需經(jīng)過特點(diǎn)人為干預(yù)設(shè)計(jì)就能自主從大量數(shù)據(jù)中學(xué)習(xí)并構(gòu)建規(guī)律體系。然而在AI深度學(xué)習(xí)模型輸入數(shù)據(jù)和輸出結(jié)果之間，在復(fù)雜結(jié)構(gòu)層級(jí)的人工神經(jīng)網(wǎng)絡(luò)中，是大量人類難以理解的代碼和數(shù)值，無(wú)法準(zhǔn)確解釋AI在特定情況下做出特定預(yù)測(cè)的緣由。

這就是很多人聽說過的“AI可解釋性危機(jī)”。

3月23日，《Fortune》在一篇文章中指出，人工智能存在可解釋性危機(jī)，但它可能不是你想的那樣。在其文章末尾更是表達(dá)了“當(dāng)談到現(xiàn)實(shí)世界中的人工智能時(shí)，我們應(yīng)該關(guān)心的不是解釋而是驗(yàn)證”的觀點(diǎn)。

所以，對(duì)可解釋人工智能的追求有什么問題呢？

“我們認(rèn)為，通過當(dāng)前的可解釋性方法建立信任的愿望代表了一種虛假的希望：即個(gè)人用戶或受人工智能影響的用戶能夠通過審查解釋（即特定于該單個(gè)決定的解釋）來判斷人工智能決策的質(zhì)量。那些使用此類系統(tǒng)的人可能誤解了當(dāng)代可解釋性技術(shù)的能力——它們可以在一般意義上產(chǎn)生對(duì)人工智能系統(tǒng)如何工作的廣泛描述，但對(duì)于單個(gè)決策，這些解釋是不可靠的，或者在某些情況下，只能提供膚淺的解釋水平。”近日，麻省理工學(xué)院計(jì)算機(jī)科學(xué)家Marzyeh Ghassemi，澳大利亞機(jī)器學(xué)習(xí)研究所放射科醫(yī)生兼研究員Luke Oakden-Rayner和哈佛大學(xué)公共衛(wèi)生學(xué)院流行病學(xué)系研究員Andrew Beam在醫(yī)學(xué)雜志《柳葉刀數(shù)字健康》上發(fā)表的一篇論文中寫道。

為機(jī)器學(xué)習(xí)決策產(chǎn)生人類可理解的解釋的嘗試通常分為兩類：固有可解釋性和事后可解釋性。

對(duì)于輸入數(shù)據(jù)復(fù)雜性有限且易于理解的機(jī)器學(xué)習(xí)模型，量化這些簡(jiǎn)單輸入與模型輸出之間的關(guān)系稱為固有可解釋性。比如從一開始就訓(xùn)練AI來識(shí)別某種疾病的原型特征，像肺部存在“毛玻璃”圖案，然后告訴醫(yī)生它認(rèn)為檢查的圖像與原型的匹配程度有多接近。

這看起來直觀簡(jiǎn)單，但作者發(fā)現(xiàn)，這也很大程度上取決于人類的解釋——是否選擇了正確的原型特征，并在得出結(jié)論時(shí)對(duì)每個(gè)特征進(jìn)行了適當(dāng)?shù)募訖?quán)。

即使是固有可解釋模型也會(huì)因存在無(wú)法識(shí)別的混雜因素而難以真正生效。更別說在許多現(xiàn)代人工智能用例中，數(shù)據(jù)和模型過于復(fù)雜和高維，不能用輸入和輸出之間的簡(jiǎn)單關(guān)系來解釋。

事后可解釋性思路是通過各種途徑剖析其決策過程。一種流行的事后可解釋性形式稱為熱圖，熱圖突出圖像的每個(gè)區(qū)域?qū)o定決策的貢獻(xiàn)程度，并且具有說明性，常用在醫(yī)學(xué)成像模型中。

圖說：用于檢測(cè)胸部X光肺炎的深度學(xué)習(xí)模型的事后解釋方法生成的熱圖（根據(jù)深度神經(jīng)網(wǎng)絡(luò)，較亮的紅色表示重要性級(jí)別較高的區(qū)域，較深的藍(lán)色表示重要性級(jí)別較低的區(qū)域）

但Ghassemi等研究發(fā)現(xiàn)，本應(yīng)解釋為什么AI將患者歸類為肺炎的熱圖，即使是圖中“最熱區(qū)域”（最影響判斷區(qū)域）也包含著在醫(yī)生看來有用和無(wú)用的信息，簡(jiǎn)單地定位該區(qū)域并不能準(zhǔn)確揭示模型認(rèn)為有用區(qū)域的確切內(nèi)容。

“臨床醫(yī)生不知道該模型是否恰當(dāng)?shù)卮_定了空域混濁的存在在決定中很重要，心臟邊界或左肺動(dòng)脈的形狀是否是決定因素，或者該模型是否依賴于與人類不相關(guān)的特征，例如特定的像素值或紋理，可能與圖像采集過程有關(guān)，而不是潛在疾病，” Ghassemi、Oakden-Rayner和Beam寫道。

他們指出，在缺乏此類信息的情況下，人類傾向于假設(shè)人工智能正在研究人類臨床醫(yī)生會(huì)發(fā)現(xiàn)的重要特征。這種認(rèn)知偏差會(huì)使醫(yī)生對(duì)機(jī)器學(xué)習(xí)算法可能犯的錯(cuò)誤視而不見。

研究人員還發(fā)現(xiàn)了其他流行的可解釋性方法的缺陷，如GradCam、LIME和Shapley Values。其中一些方法通過改變輸入的數(shù)據(jù)點(diǎn)，直到算法做出不同的預(yù)測(cè)，然后假設(shè)這些數(shù)據(jù)點(diǎn)對(duì)原來做的預(yù)測(cè)來說一定是最重要的。

但這些方法與熱圖有同樣的問題——它們可能會(huì)識(shí)別出對(duì)決策很重要的特征，但它們不能準(zhǔn)確告訴醫(yī)生為什么算法認(rèn)為這些特征很重要。如果這個(gè)特征讓醫(yī)生覺得違反直覺，醫(yī)生該怎么做？斷定算法是錯(cuò)誤的，還是斷定它發(fā)現(xiàn)了以前醫(yī)學(xué)未知的臨床重要線索？任何一個(gè)都有可能。

更糟糕的是，不同的最新解釋方法在對(duì)算法結(jié)論的解釋上經(jīng)常存在分歧。在2月8日發(fā)表的《可解釋機(jī)器學(xué)習(xí)中的分歧問題：從業(yè)者的視角》論文中，來自哈佛大學(xué)、麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)和德雷克塞爾大學(xué)的研究人員發(fā)現(xiàn)，在現(xiàn)實(shí)世界中，大多數(shù)使用算法的人都無(wú)法解決這些差異，而且通常，正如Ghassemi等學(xué)者所建議的那樣，他們只是簡(jiǎn)單地選擇了最符合他們現(xiàn)有想法的解釋。

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)教授Zachary Lipton在接受《Fortune》采訪時(shí)表示，“醫(yī)療保健領(lǐng)域領(lǐng)域每個(gè)認(rèn)真的人都知道，當(dāng)今大多數(shù)可解釋的AI都是無(wú)稽之談。”Lipton表示，在他們的醫(yī)院部署了一個(gè)據(jù)稱可解釋的AI系統(tǒng)來解釋醫(yī)學(xué)圖像后，已經(jīng)有許多放射科醫(yī)生向他尋求幫助，這些圖像的解釋沒有意義——或者至少，與放射科醫(yī)生真正想要的東西無(wú)關(guān)。

然而，公司繼續(xù)將他們的AI系統(tǒng)推銷為“可解釋的”，Lipton表示，因?yàn)樗麄冋J(rèn)為他們必須這樣做才能進(jìn)行銷售，“他們說，‘如果沒有解釋，醫(yī)生不會(huì)相信它。’ 但也許他們不應(yīng)該相信它。”

根據(jù)《英國(guó)醫(yī)學(xué)雜志》（The BMJ）2020年發(fā)表的一項(xiàng)研究，在最壞的情況下，提供解釋是為了掩蓋醫(yī)學(xué)成像中使用的大多數(shù)深度學(xué)習(xí)算法都沒有受到嚴(yán)格的雙盲隨機(jī)對(duì)照試驗(yàn)，而這些實(shí)驗(yàn)在新藥被批準(zhǔn)之前是必須的。

“我們建議可解釋AI的最終用戶，包括臨床醫(yī)生、立法者和監(jiān)管機(jī)構(gòu)，要意識(shí)到當(dāng)前存在的可解釋AI的局限性。我們認(rèn)為，如果希望確保人工智能系統(tǒng)能夠安全可靠地運(yùn)行，那么重點(diǎn)應(yīng)該放在嚴(yán)格和徹底的驗(yàn)證程序上。”Ghassemi、Oakden-Rayner和Beam得出了一個(gè)有點(diǎn)違反直覺的結(jié)論，即醫(yī)生不應(yīng)該專注于解釋，而應(yīng)該關(guān)注AI的作用效果，以及其是否經(jīng)過了嚴(yán)格、科學(xué)的測(cè)試。

他們指出，醫(yī)學(xué)充滿了醫(yī)生使用的藥物和技術(shù)，因?yàn)樗鼈兤鹱饔茫M管沒有人知道為什么——對(duì)乙酰氨基酚已被用于治療疼痛和炎癥一個(gè)世紀(jì)，盡管我們?nèi)匀徊煌耆私馄錆撛跈C(jī)制。?

關(guān)鍵詞： 如何應(yīng)對(duì)