重點科技研究學院蕭輔仁助理教授：新擴散模型Med-DDPM提升3D腦部合成影像還原度

臺大重點科技研究學院合聘的醫學院助理教授蕭輔仁與研究團隊，引入一種名為Med-DDPM的擴散模型，專為3D語義腦部MRI合成而設計，以解決人工智慧 (AI) 在醫療保健領域，尤其是在醫學影像方面，會面臨的數據稀缺和隱私問題。該模型通過整合語義條件來有效應對數據稀缺和隱私問題，這包括將條件圖像按通道方式連接到模型輸入，從而在圖像生成中實現控制。此研究成果已於今年發表於IEEE Journal of Biomedical and Health Informatics期刊。

在醫學影像合成任務中，生成對抗網絡(GAN)是一種廣泛使用的方法，但它們面臨著訓練不穩定、模式崩潰和梯度消失等問題。此外，許多GAN技術主要集中在二維(2D)圖像上，這無法滿足醫學影像中的三維(3D)數據需求。一種常見的方法是生成2D切片並將其堆疊以創建3D圖像，這可能會導致空間不一致性並忽略3D上下文信息。合成有意義的高分辨率3D合成醫學圖像，特別是針對大腦等複雜器官，仍然具有挑戰性。

然而，最近擴散模型(Diffusion Model)在生成高質量、現實圖像方面取得領先地位，引起探索其在醫學影像領域潛在應用的興趣。多項研究已經探討使用擴散模型進行3D醫學影像合成，而團隊之前的工作3D-DDPM是文獻中首次應用擴散模型進行3D腦部MRI無條件合成，展示其優於GAN模型的優勢。

為解決醫學影像領域中有限標註數據和隱私問題的挑戰，研究團隊提出一種新的方法，Med-DDPM，將分割遮罩(Segmentation Mask)納入計算過程中，以實現像素級可控的3D腦部MRI合成。此方法使得生成高分辨率、語義引導的3D腦部圖像成為可能，並具有擴展到醫學領域內各種圖像到圖像翻譯任務的潛力。研究中使用原始臨床腦部MRI數據進行實驗，特別是考察合成圖像對腫瘤分割任務性能的影響，使用3D U-Net模型進行測試。結果顯示，Med-DDPM展示比現有3D腦部影像合成方法更優越的穩定性和性能。它能生成多樣且解剖結構一致的高視覺保真度圖像。在腫瘤分割任務中，Med-DDPM的dice得分達到0.6207，接近真實圖像的0.6531，並且優於基線模型。結合真實圖像後，它進一步將分割準確率提高到0.6675，展示此方法在數據增強方面的潛力。這個模型首次在3D語義腦部MRI合成中使用擴散模型，生成高質量圖像。其語義條件特性還顯示出在生物醫學影像中實現圖像匿名化的潛力，解決數據和隱私問題。

研究成果全文：https://ieeexplore.ieee.org/document/10493074