醫學影像分析與手術模擬： 人工智能和虛擬現實在醫學中的應用

　　摘要 近年來，深度學習在一些具有挑戰性的高難度問題中取得了巨大的成功，這其中就包含深度學習在醫學圖像分析中的應用。率先提出并采用三維卷積神經網絡從核磁共振圖像中自動檢測大腦微出血。為了減少肺結節自動檢測中的假陽性，設計了考慮多級上下文信息的三維卷積神經網絡框架，并進一步提出了一種新穎高效的三維神經網絡，配備了三維深度監督機制，從而全面解決了三維網絡優化難點和醫學訓練樣本不足的挑戰。對深度學習的成功應用涵蓋了廣泛的醫學圖像模式，包括組織病理學成像、超聲成像、MR/CT 成像和皮膚鏡成像等。同時，虛擬現實在臨床中的應用也取得了長足進步，基于虛擬現實的手術模擬成為一種經濟且有效的臨床培訓手段。通過醫學成像、運動追蹤、物理模擬、觸覺反饋和視覺呈現的智能集成來構建逼真的虛擬環境，從而實現提供外科手術專業培訓的目標。主要介紹了使用深度學習進行醫學圖像分析的最新工作，以及開發的基于虛擬現實的一系列手術模擬系統。

　　關鍵詞 醫學影像;手術模擬;人工智能;深度學習;虛擬現實

　　王平安， 光學與光電技術 發表時間：2021-11-17

　　1 人工智能：深度學習在醫學圖像分析中的應用

　　1.1 簡介

　　醫學圖像涵蓋很多種，包括超聲圖像、CT 圖像、核磁共振圖像(MRI)、組織病理學圖像、內窺鏡及皮膚鏡圖像等，如圖 1 所示。計算機輔助診斷主要是通過對上述醫學圖像進行處理，結合計算機的分析計算，輔助發現病灶，提高診斷的準確率。計算機輔助診斷能夠減輕醫務人員的工作負擔，節約醫學圖像處理和診斷的時間，減少誤診發生的幾率，并能使診斷結果更好地可視化。

　　近幾年來深度學習得到了很好的發展，其中以深度學習為基礎構建的 AlphaGo 系統更是成為了人工智能的典型代表。在圖像辨識方面，深度學習也得到了很好的應用。深度學習方法由多個層組成，學習具有多個抽象層次的數據特征，當具有很好的訓練數據集的時候，能夠很好地完成辨識推理的任務。醫學圖像是眾多圖像中的一種，因此也能通過深度學習進行相關處理和分析。但是醫學圖像與普通圖像存在一些差別。首先，醫學圖像不像普通圖像那樣有著很好的訓練數據集，醫學圖像一般沒有對應的準確標注，因為醫生沒有太多時間對大量的醫學圖像一一進行標注;其次，醫學圖像很多都是三維甚至是四維，與一般的二維圖像的處理存在差別;此外，醫學圖像之間的差異性較大，對于算法的泛化能力提出了更高的要求;最后，醫學圖像對于診斷結果的準確性有著比普通圖像辨識更高的精度要求。

　　1.2 病理組織學圖像分析

　　主要介紹病理組織學圖像中腺體的分割。腺體的形態是病理學家用來評估腺癌惡化程度的常用指標，而病理組織學圖像中腺體的精確分割是實現這種量化評估的關鍵步驟。通過對病理組織學圖像進行腺體的分割就能獲得比較準確的數據從而對相應的疾病進行診斷，如是否患有癌癥，癌癥到達了怎樣的程度。在腺體分割中存在的挑戰是腺體的結構存在著很多種變化，而且病理組織學圖像的數據量很大，圖像中還往往存在著不同腺體間的重疊。為解決以上問題，我們 提 出 了 一 種 有 效 的 Deep Contour-Aware Network(DCAN)。在這個網絡中，來自分層結構的多級上下文相關特征利用輔助監督來實現對于腺體的精確分割。該網絡不僅可以精確地輸出腺體的概率地圖，而且也可以同時描繪出清晰的輪廓，進一步提高了腺體分割的性能。 DCAN 如圖 2 所示。

　　利用上述提出的算法，我們參加了 MICCAI 2015 的腺體分割挑戰，使用官方提供的數據進行相關分析，最終在腺體的分割和識別方面獲得了第一的好成績。

　　在病理組織學圖像分析方面，我們還做了乳腺癌有絲分裂細胞的自動檢測。乳腺癌是一種致死率很高的癌癥，在女性中的發病率很高。在乳腺癌的檢測中，有絲分裂細胞的數目可以作為衡量發病與否以及病情程度的一個量化指標。目前乳腺癌病理檢測中的有絲分裂細胞數目主要是通過人工去識別和計數，非常費時費力，對于有絲分裂細胞的自動識別還是存在很大的挑戰。首先，有絲分裂細胞圖像之間在形態上有著很大的差異性，而且在圖像中是屬于稀疏分布的;同時，有些細胞的形態與有絲分裂細胞的形態很類似，很容易造成混淆;此外，對于整個有絲分裂細胞的識別計數過程需要很快速地完成。為了解決上述問題，我們提出了一種快速而精確地檢測有絲分裂細胞的方法，Deep Cascaded Convolutional Neural Network，如圖 3 所示。該網絡由兩部分組成，第一部分是構建粗略的檢索模型來篩選候選對象，第二部分是利用很好的分辨模型實現對有絲分裂細胞的辨識。我們使用上 述 模 型 對 ICPR 2012 及 ICPR 2014 的 MITOSIS 數據集進行了測試，發現該方法取得了綜合最好的效果。

　　1.3 三維核磁共振圖像分析

　　上面介紹的病理組織學圖像分析是對于二維醫學圖像的處理，接下來介紹對于三維醫學圖像的處理。大腦微出血(Cerebral Microbleeds， CMBs)可能是很多腦部疾病的一種早期癥狀，對于 CMBs 的檢測能夠實現對于很多腦血管疾病以及神經退化性疾病的一種早期診斷。對于 CMBs 的檢測，怎么從三維 MR 圖像中把微出血的位點找出來?我們首次將三維的卷積神經網絡(3DCNN)引入到醫學圖像的處理中，針對 3DCNN 構建了一個級聯框架，以此來提高檢測精度的同時降低計算負擔，如圖 4 所示。我們首先開發了一種 3D Fully Convolutional Network (FCN)策略來檢索最可能的 CMBs 候選，然后利用一個訓練好的 3DCNN 分辨模型來區分 CMBs。相比于傳統的滑動窗口策略(Sliding Window Strategy)，我們提出的 3DFCN 策略可以去掉大量的冗余計算，極大地提速整個檢測處理的進程。我們構建了一個有著 320 容量 MR 掃描的大數據集，進行了大量的實驗來驗證我們提出的上述算法，獲得了 93.16% 的檢測靈敏度，比之前的相關算法或者是 2DCNNs 方法都取得了更顯著的效果。

　　1.4 三維 CT 圖像分析

　　延續大腦微出血檢測的研究，我們又進行了基于 CT 圖像的肝臟自動分割研究。CT 圖像中肝臟的自動分割，在計算機輔助肺癌診斷與治療中有著很重要的作用，同時也是一個很大的挑戰。為解決肝臟分割的問題，我們改進了大腦微出 血 檢 測 中 的 算 法 ，并 提 出 了 3D Deeply Supervised Network(3D-DSN)，用來對對比增強 CT 得到的醫學圖像進行肝臟的圖像分割。3DDSN 的系統架構如圖 5 所示。3DDSN 利用了一個完全卷積架構的優勢，從而實現有效的端對端的學習和推斷。更重要的是，我們在學習的過程中引入了一個深度監督機制，以此來克服潛在的最優化難題，從而獲得更快的收斂速度和更好的 辨 識 能 力 。 我 們 用 公 開 數 據 集 MICCAISLiver07 進行了測試，發現該方法相比于其他方法在能夠取得好的辨識結果的同時有著快得多的處理速度。

　　1.5 基于超聲圖像的前列腺圖像分割

　　前列腺癌是導致男性死亡的重要癌癥，在美國 2010 年公布的數據中顯示，前列腺癌是美國發病率最高、致死率第二的癌癥。對于前列腺癌的診斷和治療中的一大重點就是需要對前列腺的醫學圖像進行很好的分割，而人工分割是非常費時費力的。在前列腺癌的診斷中，超聲掃描是最常規的一種診斷手段，但是對于超聲圖像進行前列腺分割則充滿了挑戰，因為超聲圖像中邊界不完整的問題很明顯而且超聲圖像充滿了噪聲。在估計缺失的邊界時，先驗知識起著很大的導引作用，但是傳統的形狀模型經常受制于手工描述符，在配準過程中會丟失局部信息。

　　對此，我們提出了一種新的框架，這種框架可以無縫地整合特征提取和形狀先驗探測，從而用連續的方式估計出完整的邊界。該框架分為三個主要模塊，第一，將靜態的 2D 前列腺超聲圖像轉化為動態序列，然后通過連續的探測形狀先驗預測前列腺形狀。根據經驗，我們提出了用 Recurrent Neural Networks(RNNs)來學習形狀先驗，這個模塊能夠有效地處理邊界不完整性。第二，為了減少不同序列化方法導致的誤差，提出了一個多角度融合策略來整合不同角度得到的預測形狀。第三，進一步將 RNN 核植入一個多量程的自動上下文方案中以成功改善形狀預測的細節。

　　經過大量的數據測試，我們發現在前列腺超聲圖像中對于前列腺邊界的描繪，我們的方法取得了比其他幾種先進方法更好的效果，而且該方法的普適性更好，能夠很方便地用于其他醫學圖像中邊界描繪的問題。具體分割的結果如圖 6 所示，其中紅色的標識是真實的邊界，綠色的標識是我們算法自動識別的邊界，兩者能夠達到很高的重合度。

　　1.6 皮膚鏡醫學圖像分析

　　皮膚鏡又稱皮表透光顯微鏡，其本質是一種可以放大數十倍的皮膚顯微鏡，其功能和眼科用的眼底鏡、耳鼻喉科用的耳鏡一樣，是用來觀察皮膚色素性疾患的利器。近年來世界各地的皮膚科醫師投入相當多的精力在皮膚鏡的研究上。有研究表明，皮膚鏡對惡性黑色素瘤診斷的專一性可以達到 98%，甚至比臨床診斷還要高。皮膚鏡是一個相當方便、非侵入性、診斷率高、值得信賴的工具。通過皮膚鏡獲取醫學圖像，再結合計算機輔助診斷，可以更高效地協助醫生實現對惡性黑色素瘤的有效診斷。通過皮膚鏡獲取的黑色素瘤相關圖像如圖 7 所示。

　　皮膚病灶的低對比度、黑色素瘤之間大的形態差異、黑色素瘤和非黑色素瘤之間高度的相似性以及皮膚鏡獲取的圖像中大量的噪聲，這些因素使得皮膚鏡下黑色素瘤的自動識別非常具有 挑戰。為了克服這些挑戰，我們提出了一種新的用 非 常 深 度 的 Convolutional Neural Networks (CNNs)來實現辨識黑色素瘤的新方法。相比于傳統的方法，我們的深度網絡超過了 50 層，能夠獲取更豐富的信息從而實現更準確的識別。我們應用了殘量學習來應對網絡深度過深帶來的退 化 和 過 擬 合 問 題 ，并 且 構 建 了 一 個 Fully Convolutional Residual Network(FCRN)來實現皮膚病灶的精確分割，然后我們很好地將用于分割的 FCRN 和用于分類的殘量網絡整合成一個二階的架構。這種架構使得用于分類的特征是基于分割后的結果而不是基于最原始的數據，使得分類能夠得到更準確的效果。我們用此方法參加 ISBI2016 皮膚病灶識別挑戰賽，在 25 支參賽隊伍中獲得了第一名。

　　2 虛擬現實：現代醫學中的手術模擬

　　2.1 簡介

　　隨著現代醫學的進步，微創手術技術迎來了快速的發展。微創手術因為患者創傷小，并發癥危險小而且恢復速度快廣受患者和醫生的歡迎。但是微創手術相比于普通手術對醫生提出了更高的操作要求，這也使得微創手術的事故發生率居高不下。微創手術事故率較高的原因主要是因為目前對于醫生的微創手術訓練手段存在很大的局限性。如果醫生在尸體上進行微創手術的訓練則存在尸體數量有限、無動態特征等弊端;如果在動物上進行微創手術的訓練則存在解剖結構有差異，不能理解并發癥等問題;如果在病人身上進行微創手術的訓練那對病人的傷害是很大的，而且也無法重復進行訓練。

　　虛擬手術的出現很好地彌補了上述存在的問題。利用虛擬現實技術營造逼真的手術環境，可以降低訓練成本，在同樣的手術環境用戶可以進行各種不同的手術訓練，而且可以讓用戶反復進行訓練。由于是在虛擬的環境中進行訓練，此種訓練方式安全可靠，不存在對患者造成傷害等問題。不過虛擬手術的實現需要集合多種關鍵技術，包括：醫學圖像處理技術、軟組織建模及形變仿真技術、復雜醫學數據實時可視化技術、實時逼真力反饋技術以及系統的集成、評價和驗證。接下來介紹我們在上述關鍵技術中取得的若干研究進展。

　　2.2 虛擬現實中的若干關鍵技術

　　基于非局部低秩超聲圖像去噪技術。圖像的噪聲很大程度上影響三維建模的準確度，為此我們利用引導圖像提高相似區域查找的準確度，提 出 Truncated Weighted Nuclear Norm 和 Structured Sparsity 來更有效地實現低秩化。去噪的同時還能保留圖像的細節，比現有方法更能提高圖像分割和后續三維建模的準確性，如圖 8 所示。

　　腰椎間盤 MR 圖像自動定位與分割技術。我們構建了多尺度圖像分割網絡-基于多模態的隨機像素點去除技術。設計了多尺度多通道的 3D 卷積神經網絡，極大提升了定位和分割準確率。采用基于多模態的隨機像素點去除技術，抑制了過擬合問題并提高了準確率。我們技術達到的定位誤差為 0.36 mm，分割結果能夠達到 91.34% 的準確率，如圖 9 所示。

　　血管血流建模與仿真技術。因為手術中一定會見到很多血管，因此血管和血流的建模就極其重要。我們構建了基于平滑粒子流的血流仿真，能夠達到很好的效果。還構建了基于血管生長模型的肝臟及肝臟腫瘤血管生長仿真，此外還實現了血管網絡的三維幾何建模，如圖 10 所示。

　　基于生物力學原理的大尺度軟組織形變建模技術。如圖 11 所示，在手術場景仿真中，要實現對人體器官組織在復雜的交互環境下產生的形變過程中的交互和力學反應進行逼真的模擬。在交互作用方面要進行手術器械與軟組織的交互，進行軟組織與軟組織的交互;在力學反應方面，通過嵌入網格來進行形變建模，自動生成針對多組織(腫瘤、血管、器官組織)數據的嵌套六面體網格;在真實性方面，基于 Patch Green Coordinates 的插值通過 Patch 分塊處理，獲得更加平滑的插值效果，并使之體積守恒。

　　軟組織與手術器械的觸覺交互建模技術。在軟組織形變方面，我們主要是使用了混合幾何模型，其中力學形變的模型與用作渲染的表面網格相對獨立，如圖 12 所示。使用了基于點的形變模型，尤其在拓撲結構發生變化(大尺度形變)的情況下，可以實現高效的對可形變模型進行仿真。在接觸建模方面，實現了軟組織-軟組織的交互、手術器械-軟組織的交互以及多頻率視觸覺仿真方法的交互。

　　復雜邊界條件下交互式剪切視觸覺仿真技術。我們在表面進行幾何建模，保持切痕與切割路徑的一致以及體積守恒。在里面進行物理建模，與表面幾何建模獨立，避免計算的不穩定性。此外，我們還提出了適用于混合幾何模型的表面網格重建方法以及拓撲結構改變過程中混合幾何模型更新方法，如圖 13 所示。

　　三角網格的平滑優化技術。醫學數據進行三維手術場景的重建時，由于數據的噪聲，會不可避免地生成一些規則的網格和瑕疵，嚴重影響手術場景渲染的效果和模型的真實感。為此，我們聯合信息互補的點法相域和面法相域進行濾波，檢測模型的特征邊緣信息，還利用加入邊緣和質心約束的拉普拉斯變換進行網格的平滑優化，從而使得在平滑過程中不丟失模型的重要幾何特征，很好地保持了體積不變性，如圖 14 所示。

　　基于逐段圓柱形狀假設的血管網格曲面高質量中心線提取技術。血管中心線是血管建模的重要依據，也是血管介入手術交互的重要信息，但高質量的提取難度很大，血管的拓撲結構復雜，存在細小分支及血管病變(如血管瘤)等，目前的方法大多基于體數據，效果并不好。我們提出了基于類圓柱假設的串聯離散幾何處理算法，首先進行網格分割，然后旋轉對稱軸再進行主元分析，從而可以有效提取具有復雜拓撲結構和幾何結構(血管瘤)的血管中心線，如圖 15 所示。

　　流體模擬中細節增強技術。在煙霧模擬中存在數值耗散問題，忽略網格分辨率以下的渦流計算，從而導致小尺度特征信息丟失。在液體模擬中存在拉伸不穩定性問題，邊界粒子支持域不完整造成粒子分布不均，影響數值穩定。為此我們通過對局部流體粒子進行光滑粒子流體力學(SPH)湍流建模，可有效恢復流體在網格分辨率以下的湍流細節，保證仿真場景內的渦量守恒。通過對流體粒子鄰域分析處理，使所有粒子滿足數值計算緊支撐的條件，同時引入粒子分布調整機制，可有效防止細流破裂，實現具有豐富細節的液體模擬，如圖 16 所示。

　　2.3 全息增強現實導航——肝臟穿刺增強現實導航

　　在綜合上述技術的基礎上，結合人機交互接口設計，我們實現了全息增強現實導航——肝臟穿刺增強現實導航，如圖 17 所示。當腫瘤位于肝臟內部，醫生是無法通過肉眼直接對腫瘤進行觀測的。如果通過傳統的超聲/CT 這樣的 2D 影像導航方式將嚴重依賴醫生的經驗，手術往往耗時較長。目前我們結合 Hololens 首次實現了柔性 體(腹 部 體 模)穿 刺 增 強 現 實 導 航 ，以 往 Hololens 僅應用于骨科醫療手術導航，尚不能應用在柔性體手術的導航。我們首先構建異構腹部體模解剖模型，然后實現體模穿刺過程中的形變預測，進而實現術中場景動態跟蹤配準。傳統 CT 引導下肝臟體模穿刺的平均精度是 8.52 mm，我們實現的增強現實引導肝臟體模穿刺的平均精度為 3.23 mm，使得手術精度大大提高。

　　3 總 結

　　在醫學圖像分析的計算機輔助診斷中，深度學習起到了非常大的作用，不論是對病變部位的識別和檢測，還是對腫瘤和解剖結構的分割都能實現很好的效果。同時基于深度學習的計算機輔助診斷對于提高臨床醫生的工作效率和準確率有著很大的潛力，有望成為臨床醫生的好幫手，既減輕醫生的工作負擔又提高診斷的準確率。但是目前還存在很多挑戰，還有很多未知的事情需要去探索，需要來自計算機科學、工程學以及臨床醫學相結合的多學科交叉人才的合作與努力。

　　虛擬手術作為虛擬現實技術在臨床醫學中的應用，未來將為手術培訓模式的轉變提供堅實的技術支持，更將為手術計劃、術中引導等臨床應用提供新手段、新方法。與計算機輔助診斷技術一樣，虛擬手術技術的發展也需要醫生、生物工程學者、計算機學者等多領域專家密切交流與合作。在未來的發展中，人工智能與虛擬現實技術將結合起來，增強現實與機器人技術也將融合起來，這些技術的融合與實現將能很好地提升目前臨床醫學中的診斷、治療、手術規劃以及手術的執行。