監(jiān)管AI醫(yī)療不必打開算法黑箱嗎？

 在醫(yī)療AI領(lǐng)域，IBM沃森“醫(yī)生”一直被視作為成功實(shí)現(xiàn)商業(yè)化應(yīng)用的行業(yè)標(biāo)桿，對于其應(yīng)用效果和監(jiān)管方式的觀察很大程度上左右著我們對于AI醫(yī)療行業(yè)走向的思考。 10月4日至5日，美國《波士頓環(huán)球報(bào)》旗下的醫(yī)療媒體STAT針對IBM沃森“醫(yī)生”連發(fā)兩篇調(diào)查報(bào)道，試圖說明IBM沃森“醫(yī)生”的“超級功能”中存在著技術(shù)缺陷，并梳理了IBM為AI醫(yī)療應(yīng)用規(guī)避監(jiān)管所做的游說工作，指出了美國現(xiàn)有法律框架對于AI醫(yī)療監(jiān)管的疏忽之處。 ◆ ◆ ◆ 不打開算法黑箱，AI醫(yī)療可靠嗎？
沃森“醫(yī)生”和其它臨床決策支持技術(shù)的核心功能是指導(dǎo)醫(yī)生診療疾病，這種指導(dǎo)所借助的技術(shù)雖然稱之為“人工智能”，本質(zhì)上是背靠大數(shù)據(jù)的一些效率更高的算法。 醫(yī)生受這些算法的“加持”為病人提供服務(wù)，無形之中模糊了傳統(tǒng)醫(yī)療監(jiān)管方式中對于“人”和“機(jī)器”的區(qū)分，這種模糊使得醫(yī)生的診療過程暗藏了一些風(fēng)險(xiǎn)：算法本身的決策過程可能沒有扎實(shí)的理論解釋。 一位接受健康點(diǎn)采訪的算法工程師表示，人工智能依靠的是一些更加的算法，例如醫(yī)療領(lǐng)域的這些算法很多是建立在仿生學(xué)的基礎(chǔ)上，比如卷積神經(jīng)網(wǎng)絡(luò)模型就是基于貓的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的反應(yīng)敏感性分布實(shí)驗(yàn)建立的數(shù)學(xué)模型。算法工程師雖然對這種模型的數(shù)學(xué)推導(dǎo)和證明了然于心，但卻無法解釋整個(gè)運(yùn)算過程，并且算法模型中也存在一些超參數(shù)，這些超參數(shù)究竟會(huì)如何影響終結(jié)論，到現(xiàn)在為止都無從知曉。 這更使得對外界而言，不少AI算法的整個(gè)過程猶如“技術(shù)黑箱”。 這種“技術(shù)黑箱”如果運(yùn)用于醫(yī)學(xué)影像標(biāo)注圈定可能影響不大，但是一旦涉及到主觀性更強(qiáng)的輔助診斷，問題便會(huì)暴露出來：醫(yī)療AI技術(shù)向醫(yī)生提供輔助咨詢建議，能夠一定程度左右醫(yī)生的決策。但是，即便像沃森“醫(yī)生”這樣落地到商業(yè)應(yīng)用中的技術(shù)，給出的診療方案背后也僅僅只是醫(yī)療文獻(xiàn)，至于算法為什么抓取這些文獻(xiàn)，算法如何賦予不同診療方案不同的評價(jià)，對于外界而言往往不得而知，這使得醫(yī)生在與沃森“醫(yī)生”的合作中難以形成更深的互動(dòng)。 STAT在上述調(diào)查報(bào)道中采訪了佛羅里達(dá)州Jupiter醫(yī)療中心腫瘤醫(yī)生Sujal Shah，表達(dá)了類似的觀點(diǎn)。雖然沃森“醫(yī)生”給一名73歲肺癌患者建議的化療方案與他自己的想法不謀而合，Sujal Shah醫(yī)生仍然表示，沃森“醫(yī)生”所提供的背景資料，包括醫(yī)學(xué)期刊上的文章，僅僅使他增加了使用這種方案的信心，沃森“醫(yī)生”本身其實(shí)并未讓他獲得任何新的啟發(fā)。 這背后的問題是很多時(shí)候，現(xiàn)階段的醫(yī)療AI僅僅是向醫(yī)生展示了結(jié)果，并未解釋結(jié)果產(chǎn)生背后的邏輯，這使得整個(gè)輔助診療過程更像是一個(gè)醫(yī)學(xué)版的搜索引擎，搜索所形成的關(guān)系很難使醫(yī)生用戶和系統(tǒng)形成深入的互動(dòng)。 ◆ ◆ ◆ 缺乏解釋成為AI醫(yī)療監(jiān)管的難點(diǎn) AI算法邏輯解釋的缺乏不僅影響了醫(yī)生與AI輔助診斷技術(shù)之間的互動(dòng)，還使得AI技術(shù)的監(jiān)管邊界變得難以把握。 據(jù)STAT報(bào)道，一些醫(yī)生和消費(fèi)者團(tuán)體認(rèn)為，正是因?yàn)锳I算法具備“技術(shù)黑箱”的特點(diǎn)，F(xiàn)DA等的監(jiān)管方需要對如沃森“醫(yī)生”這樣的AI醫(yī)療輔助診斷系統(tǒng)進(jìn)行更加仔細(xì)的檢查和監(jiān)管。 國家醫(yī)師聯(lián)盟FDA特別小組聯(lián)席主席Reshma Ramachandran在接受STAT采訪時(shí)說道：“除非大家完全理解了AI技術(shù)的基礎(chǔ)和算法工作的具體方式，否則必須要有獨(dú)立的第三方對于這些應(yīng)用進(jìn)行嚴(yán)格審查，以保證這些應(yīng)用不會(huì)產(chǎn)生過多負(fù)面影響?！?其實(shí)不止是國家醫(yī)師聯(lián)盟，美國還有很多其他的團(tuán)體表示了類似的看法，而他們的矛頭主要指向了2016年11月通過的《21世紀(jì)治愈法案》（The 21st Century Cure Act）中針對于醫(yī)療軟件的豁免條款。 豁免條款核心作用在于免除了通過信息分析向醫(yī)護(hù)人員提供輔助診斷建議的健康軟件的監(jiān)管，但上述團(tuán)體成員表示，豁免的前提是醫(yī)護(hù)人員能夠獨(dú)立評價(jià)這些建議的邏輯基礎(chǔ)，而醫(yī)療軟件能夠做到這一點(diǎn)必須具備相當(dāng)?shù)耐该鞫取?《21世紀(jì)治愈法案》通過后不到兩個(gè)月，IBM宣布與佛羅里達(dá)州Jupiter醫(yī)療中心達(dá)成了首筆Watson for Oncology交易。IBM則表示選擇這樣的時(shí)間純屬偶然。 事實(shí)上IBM在法案通過方面花費(fèi)了不少力氣進(jìn)行政治游說。IBM披露的報(bào)表顯示，2013年至2017年6月期間，IBM花費(fèi)了2640萬美元來游說國會(huì)，白宮和聯(lián)邦機(jī)構(gòu)。 IBM在一份聲明中表示，其中用于游說醫(yī)療軟件方面的花費(fèi)占“2013年至2017年的游說支出的不足百分之一”。 但是，IBM拒絕透露其花費(fèi)的具體數(shù)字，或回答在此期間游說對象具體是誰。 IBM僅僅表示，“花費(fèi)的錢主要用于支持一些病人和醫(yī)生團(tuán)體組織，他們的核心工作是在法規(guī)層面推動(dòng)低風(fēng)險(xiǎn)軟件和內(nèi)在高風(fēng)險(xiǎn)技術(shù)之間的區(qū)分?！?IBM一直在嘗試說明沃森“醫(yī)生”具備較低的風(fēng)險(xiǎn)，然而事實(shí)是其人工智能的算法透明度尚有待改善。IBM一直強(qiáng)調(diào)在AI醫(yī)療領(lǐng)域要增加算法透明度，其云計(jì)算業(yè)務(wù)副總裁David Kenny在今年6月向國會(huì)提交的公開信中也專門提到，要保證“IBM能夠知曉人工智能系統(tǒng)是如何得到終結(jié)論，并且能夠清楚的解釋算法的決策過程，否則系統(tǒng)就不能夠在市場中銷售”。 在醫(yī)療的學(xué)術(shù)領(lǐng)域內(nèi)，解釋算法黑箱中的決策過程一直都是熱點(diǎn)問題。一些醫(yī)生們擔(dān)心，算法黑箱中僅有明確的數(shù)學(xué)公式推導(dǎo)，并沒有明確的理論解釋黑箱中的決策過程。因此，IBM所承諾的算法透明度能否實(shí)現(xiàn)，決定權(quán)也可能并不在IBM手上，這是AI技術(shù)現(xiàn)階段本身存在的缺陷。 這種缺陷也造成了AI醫(yī)療輔助診斷的監(jiān)管難點(diǎn)。據(jù)STAT報(bào)道，美國的監(jiān)管方、AI醫(yī)療的從業(yè)者在談及AI醫(yī)療的時(shí)候都是從結(jié)果出發(fā)的，與醫(yī)生決策的擬合度、篩查準(zhǔn)確率——這非常符合算法的思維，以結(jié)果為導(dǎo)向。 這種思維用于簡單的類似于醫(yī)學(xué)影像標(biāo)準(zhǔn)等的工作并無太大問題，但一旦涉及更為復(fù)雜的醫(yī)療決策輔助，甚至醫(yī)療方案的整體評估建議，不考慮決策過程完全以結(jié)果為導(dǎo)向去輔助醫(yī)護(hù)人員，會(huì)使得醫(yī)護(hù)人員相當(dāng)被動(dòng)，甚至暴露在難以控制的決策風(fēng)險(xiǎn)中。 這些問題之所以會(huì)產(chǎn)生，可能還是得歸結(jié)于技本身的缺陷。因而也就不難理解，復(fù)雜的醫(yī)學(xué)決策輔助建構(gòu)在這樣的技術(shù)上面，其商業(yè)模式存容易存在諸多問題。 正如國際醫(yī)療人工智能大會(huì)上，上海市決策委員會(huì)委員許速所說，AI的本質(zhì)是輔助人的腦力，延伸腦功能，增強(qiáng)人腦的負(fù)荷量，適宜的是一些成熟技術(shù)，在涉及面比較廣的基礎(chǔ)領(lǐng)域更有優(yōu)勢。人工智能發(fā)揮巨大作用的地方是社區(qū)而非處理處理復(fù)雜問題的醫(yī)院。在決策過程未知的情況下貿(mào)然將AI技術(shù)引入復(fù)雜醫(yī)學(xué)領(lǐng)域，可能只會(huì)徒增問題。