人工智能技術(shù)在舌診客觀化領(lǐng)域的應(yīng)用現(xiàn)狀和研究水平
文章來源：賢集網(wǎng)發(fā)布日期：2022-02-11瀏覽次數(shù)：109 摘要：為了促進(jìn)中醫(yī)舌診的標(biāo)準(zhǔn)化和客觀化，推動中醫(yī)舌診客觀化研究，探究以深度學(xué)習(xí)為代表的人工智能技術(shù)在舌診客觀化領(lǐng)域的應(yīng)用現(xiàn)狀和研究水平，文章以舌像的采集-預(yù)處理-圖像識別-客觀診斷為主線，對舌像辯證自動化的新方法進(jìn)行了歸納和總結(jié)。通過方法綜述，為智能化舌診和中醫(yī)現(xiàn)代化研究提供方法參考和研究思路，促進(jìn)人工智能技術(shù)在中醫(yī)舌診領(lǐng)域的深度發(fā)展。中醫(yī)舌診是中醫(yī)診斷的重要環(huán)節(jié)之一，其通過觀察舌體的顏色和形態(tài)變化來感知患者疾病，具有診斷過程實(shí)施方便，診斷價值高的獨(dú)特優(yōu)勢。但由于醫(yī)師主觀經(jīng)驗(yàn)和診療客觀條件的影響，診察結(jié)果可能出現(xiàn)誤差。為了充分發(fā)揮其診斷優(yōu)勢，降低診斷誤差，中醫(yī)舌診的臨床診斷需要更高的信息化智能化來提供定性定量的數(shù)據(jù)支撐。近些年來，以深度學(xué)習(xí)等為代表的AI技術(shù)被廣泛用于舌診客觀化的研究中，實(shí)現(xiàn)了快速、高效、的舌像智能分析，大大提高了客觀化舌像診斷的準(zhǔn)確率。本文以采集-預(yù)處理-圖像識別-客觀診斷為主線進(jìn)行分類綜述。1、舌像采集方法研究標(biāo)準(zhǔn)化的舌像采集是進(jìn)行舌像分析的重要前提。為了滿足后期舌像特征提取和分類的需要，標(biāo)準(zhǔn)的舌像不僅應(yīng)該包含完整的舌體可用信息，也應(yīng)該具有清晰度高，色彩保真效果好，成像質(zhì)量優(yōu)等特性。目前，舌像標(biāo)準(zhǔn)化采集的研究主要聚焦于光源和采集設(shè)備的選擇上。許家佗[1]對舌像采集條件做了一些實(shí)驗(yàn)觀測，比較了自然光源和人工光源以及不同CCD相機(jī)設(shè)備對舌體成像效果的影響，認(rèn)為自然光源由于其光譜連續(xù)，光照均勻，簡潔實(shí)用等特性，是臨床可行的適合光源，但由于受制于自然條件，自然光的色溫和照度變化較大，為采集帶來了不確定因素。而人工光源具有穩(wěn)定和不受制于環(huán)境的巨大優(yōu)勢，但也存在光譜不連續(xù)、光照不均和設(shè)備繁雜等問題，臨床實(shí)用性較差。因此，對于光源如何選擇，有大量學(xué)者做了相關(guān)工作。石強(qiáng)[2]通過比較標(biāo)準(zhǔn)光源D50和自然光源下舌像診斷結(jié)果的相似度，認(rèn)為D50光源穩(wěn)定性強(qiáng)，接近自然光，可以作為舌像采集標(biāo)準(zhǔn)照明光源。在采集設(shè)備的研究上，多家單位成功研制了多種型號的舌像儀，上海中醫(yī)藥大學(xué)王億勤團(tuán)隊研制的ZBOX-1型舌脈象數(shù)字化分析儀[3]，北京工業(yè)大學(xué)蔡軼珩團(tuán)隊[4]設(shè)計了以計算機(jī)為核心的標(biāo)準(zhǔn)舌像分析儀，采用人工光源，通過圖形技術(shù)和聚類算法，實(shí)現(xiàn)了舌像采集、圖像處理、舌色分析與定量化的標(biāo)準(zhǔn)流程，具有一定的臨床效果?？紤]到常見的舌像采集儀體積普遍偏大，邸丹[5]設(shè)計了一種手持式舌像儀，具有體積小，便攜性高的優(yōu)點(diǎn)，滿足部分舌像采集需要。丁明全[6]在舌像采集系統(tǒng)中采用了自動對焦技術(shù)，通過自動對焦的相關(guān)算法，解決了一些由采集環(huán)境、人為因素和拍攝角度等帶來的影響舌像拍攝質(zhì)量的問題?，F(xiàn)存的舌像采集方式大多依賴于成本高、不易攜帶的舌像采集儀，這不利于在基于互聯(lián)網(wǎng)服務(wù)的多場景終端上發(fā)揮作用。因此，研究針對各種智能終端的舌像采集方法和辨證標(biāo)準(zhǔn)，也是未來智能化舌診的發(fā)展方向之一。2、舌像預(yù)處理方法研究2.1圖像處理由于光照條件不充分、采集設(shè)備難以精確捕捉舌像細(xì)節(jié)等原因，使得顯示器難以有效還原真實(shí)舌像信息。因此，我們需要將采集到的舌像作進(jìn)一步的數(shù)字圖像處理，包括圖像校正和圖像降噪等。趙忠旭[7]利用三層BP神經(jīng)網(wǎng)絡(luò)，通過自適應(yīng)調(diào)整，設(shè)計了CRT網(wǎng)絡(luò)模型和校正環(huán)節(jié)網(wǎng)絡(luò)模型，可以有效的實(shí)現(xiàn)三刺激值匹配的彩色校正。許家佗[8]提出一種自然光條件下基于色差校正的方法，應(yīng)用L*a*b*均勻色空間對舌色進(jìn)行色差校正，將校正后的舌色色度進(jìn)行統(tǒng)計學(xué)分析，具有統(tǒng)計學(xué)意義，此方法具有良好的校正效果。對于成像設(shè)備帶來的噪聲，我們可以采用圖像濾波算法來進(jìn)行降噪處理。圖像濾波算法通過對區(qū)域像素的數(shù)學(xué)運(yùn)算，計算出目標(biāo)像素點(diǎn)的合適有效輸出，以此來降低噪聲對舌像細(xì)節(jié)的干擾。均值濾波和高斯濾波等算法是降噪處理中較為常見和高效的方法。作為典型的濾波算法，均值濾波的處理方法是取K*K窗口中像素值的平均值作為像素輸出，從而有效調(diào)整噪聲點(diǎn)像素值，抑制噪聲，但這種方法可能會丟失圖像的細(xì)節(jié)，帶來邊界模糊等問題。中值濾波算法可以在達(dá)到噪聲處理的同時減少圖像邊緣細(xì)節(jié)的丟失。此外，高斯濾波算法在抑制服從正態(tài)分布的噪聲的任務(wù)中具有一定的優(yōu)勢。2.2舌像分割為了后期能有良好的特征識別和分類，我們需要對舌體圖像進(jìn)行分割處理。舌體圖像分割目的是從獲取的舌圖像中去除臉部、嘴唇等干擾環(huán)境，分割出可用于分析的有效舌部位顏色細(xì)節(jié)，充分保留患者的舌體信息，排除無關(guān)背景對舌體進(jìn)一步分類識別的干擾。舌體圖像分割過程如圖1所示。當(dāng)前研究中實(shí)現(xiàn)對舌體的有效分割的方法主要有基于閾值的分割方法，基于能量泛函的分割方法等。隨著機(jī)器學(xué)習(xí)的發(fā)展，也產(chǎn)生了聚類，字典學(xué)習(xí)、深度學(xué)習(xí)等高效方法。閾值分割是圖像分割方法中為常見的手段之一。李丹霞[9]通過結(jié)合局部閾值和全局閾值的優(yōu)點(diǎn)，提出自適應(yīng)閾值的算法，將圖像分割為多個子塊，迭代計算每個子塊的佳閾值和局部佳閾值，構(gòu)成閾值矩陣從而進(jìn)行分割。分割結(jié)果與僅使用全局閾值分割或僅使用局部閾值分割相比具有明顯優(yōu)勢，特別是對非均勻光照圖像分割效果尤佳。但單純使用閾值分割仍存在許多適應(yīng)場景問題，相關(guān)學(xué)者結(jié)合色彩模型，形態(tài)學(xué)等方法，對閾值分割方法進(jìn)行了結(jié)合和優(yōu)化。姜朔[10]將形態(tài)學(xué)自適應(yīng)修正的方法與Otsu閾值法進(jìn)行結(jié)合，通過獲取原始舌像的G、B、V通道信息，運(yùn)用Otsu閾值法對舌像進(jìn)行二值化處理并結(jié)合先驗(yàn)知識進(jìn)行聚類，采用形態(tài)學(xué)舌體當(dāng)量直徑自適應(yīng)選取結(jié)構(gòu)元素的大小的方法，實(shí)現(xiàn)分割范圍的自適應(yīng)修正，能較好地實(shí)現(xiàn)分割效果，但存在效率不高的問題。基于能量泛函的舌像切割方法也是主流方法之一，以活動輪廓模型（ACM Active Contour Model）為代表。該方法通過人工參數(shù)控制和內(nèi)外力作用，小化特定定義的能量函數(shù)閉合曲線，實(shí)現(xiàn)對目標(biāo)區(qū)域的有效分割。但傳統(tǒng)的Snake方法對圖像噪聲敏感，且無法逼近極凹的輪廓內(nèi)部，能量曲線容易得到局部極值解，容易喪失邊界信息。因此，劉晨星[11]提出一種改進(jìn)Snake算法的模型，該模型引入Perona-Malik方法強(qiáng)化輪廓界限，通過梯度矢量流模型（Gradient VectorFlow，GVF）優(yōu)化圖像外力場，進(jìn)而提取舌像輪廓，有效地解決了傳統(tǒng)Snake算法對不規(guī)則舌體輪廓的逼近效果欠缺的問題，提高了切割效果。史苗靜[12]、高清河[13]等人也對Snake模型提出了改良方案并取得不錯的分割效果。機(jī)器學(xué)習(xí)技術(shù)這兩年來也被運(yùn)用到了圖像分割領(lǐng)域，基于語義的深度學(xué)習(xí)圖像分割技術(shù)成為了圖像分割新的解決方案。通過對舌體圖像進(jìn)行語義分類處理，差異化圖像中不同的區(qū)域，再通過全卷積神經(jīng)網(wǎng)絡(luò)（FCN）進(jìn)行端到端的訓(xùn)練，在卷積和池化過程中匯聚和增強(qiáng)語義信息，實(shí)現(xiàn)語義分割[14]。但是，有監(jiān)督學(xué)習(xí)的方法極大受限于訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，且像素級圖像標(biāo)注成本極大，有待進(jìn)一步優(yōu)化和發(fā)展。也有學(xué)者[15～16]使用K-means聚類算法，聚類圖像顏色分量，實(shí)現(xiàn)對圖像的分割。通過聚類后對同一個簇的所有像素點(diǎn)進(jìn)行標(biāo)記，重構(gòu)圖像，實(shí)現(xiàn)分割，具有較強(qiáng)的適應(yīng)性。此外，李亞峰[17]提出一種基于多字典學(xué)習(xí)的分割方法，使用隸屬度函數(shù)的正則約束來保持分割區(qū)域邊界的幾何結(jié)構(gòu)，對不同的紋理具有較強(qiáng)的判別能力。當(dāng)前，機(jī)器學(xué)習(xí)相關(guān)的圖像分割算法仍在發(fā)展和優(yōu)化中，有待進(jìn)一步運(yùn)用到舌像分割領(lǐng)域，以提高舌像分割的準(zhǔn)確率。3、舌像識別分析方法研究舌像的定性和定量特征分析是舌診客觀化的重要過程。當(dāng)前，舌像識別分類主要圍繞舌質(zhì)、舌苔和舌下三個點(diǎn)展開，以中醫(yī)舌診診斷過程為參考，聚焦于舌質(zhì)的神、色、形、態(tài)，舌苔的苔質(zhì)和苔色，舌下的形色等方面特征。傳統(tǒng)的舌像識別工作需要人工標(biāo)記特征，這對分類結(jié)果的準(zhǔn)確性會有一定的影響。隨著機(jī)器學(xué)習(xí)在圖像識別領(lǐng)域的廣泛應(yīng)用，以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)為舌像特征分類識別提供了智能化的解決方案，提高了識別的準(zhǔn)確度和泛化能力。3.1舌質(zhì)與舌苔顏色識別舌色可以反映出人的身體健康狀態(tài)，是中醫(yī)辨證論治的重要標(biāo)準(zhǔn)之一，因此對舌色和苔色進(jìn)行分類和識別具有重要的實(shí)際意義。舌質(zhì)的顏色一般分為淡紅、淡白、紅絳和青紫四種，而舌苔的顏色一般分為白苔、黃苔和灰黑苔三種。肖慶新[18]提出一種基于輕型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的舌苔顏色分類方法，將原始數(shù)據(jù)進(jìn)行人工標(biāo)注并進(jìn)行數(shù)據(jù)擴(kuò)充，解決數(shù)據(jù)樣本量小且不平衡的問題，設(shè)計了輕型卷積神經(jīng)網(wǎng)絡(luò)，將舌像特征提取和分類統(tǒng)一處理，該分類方法取得了94.85%的分類準(zhǔn)確率，具有較好的分類性能。針對深度學(xué)習(xí)帶來的訓(xùn)練成本高長等問題，楊晶東[19]引入遷移學(xué)習(xí)技術(shù)，建立基于全連接神經(jīng)網(wǎng)絡(luò)模型的小樣本舌像分類方法，實(shí)現(xiàn)了ImageNet數(shù)據(jù)集訓(xùn)練的遷移，使用提取的強(qiáng)特征微調(diào)全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行小樣本舌象分類，有效地解決了舌像分類中存在的小樣本問題。目前，大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)適用于單標(biāo)記的分類任務(wù)，通過構(gòu)建多個網(wǎng)絡(luò)模型，對舌色，形態(tài)等分類任務(wù)多單獨(dú)進(jìn)行，忽視了其中舌體不同特征可能存在的關(guān)聯(lián)性。湯一平[20]以標(biāo)簽之間的相關(guān)性為核心，設(shè)計了基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)聯(lián)合學(xué)習(xí)模型，通過訓(xùn)練多個Softmax分類器對標(biāo)簽進(jìn)行并行預(yù)測，實(shí)現(xiàn)了舌像多個特征的自動提取和相關(guān)分析。該方法具有一定的優(yōu)勢，但仍需大量數(shù)據(jù)進(jìn)行優(yōu)化。3.2舌質(zhì)舌苔形態(tài)識別分析對于舌質(zhì)的形態(tài)研究主要聚焦于點(diǎn)刺、瘀點(diǎn)、裂紋和齒痕等。點(diǎn)刺表現(xiàn)為舌體表面有紅刺群凸出，瘀點(diǎn)表現(xiàn)為舌體表面出現(xiàn)深色瘀點(diǎn)。中醫(yī)舌診中舌像的點(diǎn)刺所在的部位預(yù)示熱邪所在臟腑，點(diǎn)刺的疏密程度代表熱邪的嚴(yán)重程度;瘀點(diǎn)所在的部位預(yù)示淤阻所在經(jīng)絡(luò)。對于點(diǎn)刺瘀點(diǎn)，王昇[21]使用斑點(diǎn)檢測算法simpleBlobDetector提取斑點(diǎn)和瘀點(diǎn)并生成特征向量，通過支持向量機(jī)（SVM）和K-means聚類算法進(jìn)行點(diǎn)刺瘀點(diǎn)舌像識別和提取，準(zhǔn)確率高，提取效果好。對于齒痕舌和裂紋舌，劉夢[22]基于FasterR-CNN算法和遷移學(xué)習(xí)算法，構(gòu)建深度學(xué)習(xí)模型，有效完成了對中醫(yī)齒痕舌和裂紋舌舌像的局部特征的綜合識別，且在小樣本訓(xùn)練數(shù)據(jù)中具有良好表現(xiàn)。4、舌像的客觀診斷研究中醫(yī)診斷的客觀化是中醫(yī)發(fā)展的必經(jīng)之路，越來越多的學(xué)者致力于不同疾病不同證型的四診客觀化研究，取得了一定的客觀化成果。王憶勤[23]通過對1000例冠心病患者舌像信息的跟蹤分析和研究，建立起心氣虛組患者與舌體形狀多胖厚且有齒痕的聯(lián)系，經(jīng)過治療，舌苔齒痕指數(shù)下降;心陰虛組治療后舌色R值下降，轉(zhuǎn)為淡紅，且裂紋指數(shù)下降。馬春玲[24]采集50例血糖調(diào)節(jié)受損和60例早期糖尿病患者進(jìn)行研究，發(fā)現(xiàn)糖尿病患者舌像呈現(xiàn)舌色暗淡;舌體胖大，多齒印，苔色白等特征。通過大X量實(shí)驗(yàn)結(jié)果和科研數(shù)據(jù)，建立中醫(yī)證型和舌像特征的對應(yīng)關(guān)系，可以有效促進(jìn)中醫(yī)證型自動化識別的相關(guān)研究。5、結(jié)論舌診是中醫(yī)的重要診斷手段之一，實(shí)現(xiàn)中醫(yī)舌診的客觀化也是中醫(yī)舌診的發(fā)展方向。近幾年，機(jī)器學(xué)習(xí)算法廣泛運(yùn)用于圖像分割、舌像分類和特征識別的過程中，具有較好的識別效果和泛化能力，極大推動了中醫(yī)舌像診斷的客觀化進(jìn)程。但是，當(dāng)前的舌診客觀化進(jìn)程仍面臨著缺乏標(biāo)準(zhǔn)數(shù)據(jù)集的問題。大多數(shù)客觀化研究缺乏平衡性好的大樣本數(shù)據(jù)，不利于算法的訓(xùn)練和優(yōu)化。此外，缺乏對大量舌像數(shù)據(jù)的分類存儲、高效利用和全面分析，未能有效地建立起舌像信息和中醫(yī)證型的對應(yīng)關(guān)系，與臨床實(shí)踐脫節(jié)。因此，需要繼續(xù)深化多學(xué)科融合，推動建立舌像標(biāo)準(zhǔn)庫和舌像多角度信息的標(biāo)準(zhǔn)化模型。在未來，借助人工智能技術(shù)帶來的強(qiáng)大算力，引領(lǐng)中醫(yī)走向與信息技術(shù)的深度融合，實(shí)現(xiàn)中醫(yī)“望聞問切”的數(shù)據(jù)化分析處理從而帶動中醫(yī)診斷的全面信息化和客觀化。 
