本發(fā)明屬于深度學(xué)習(xí)與醫(yī)學(xué)低劑量ct應(yīng)用，具體涉及一種基于u-netgan和形變場配準(zhǔn)的低劑量ct圖像去噪方法及系統(tǒng)。

背景技術(shù)：

1、計(jì)算機(jī)斷層掃描（ct，computed?tomography）因其使用的x射線電離輻射，已成為全球公共衛(wèi)生領(lǐng)域的重要問題。低劑量ct（ldct，low-dose?computed?tomography）的研發(fā)受到了廣泛關(guān)注，其旨在降低輻射劑量，同時盡量不影響圖像質(zhì)量。然而，降低輻射劑量會導(dǎo)致信號-噪聲比下降，從而在ct圖像中引入噪聲，表現(xiàn)為正常劑量ct（ndct，normal-dosecomputed?tomography）圖像中未見的條紋狀偽影以及邊緣和角落特征的模糊。這些圖像質(zhì)量問題可能導(dǎo)致醫(yī)生在診斷時出現(xiàn)誤診或漏診。

2、近年來，學(xué)者們致力于ldct去噪算法的研究，這些算法基本可歸納為投影域弦圖數(shù)據(jù)校正算法、統(tǒng)計(jì)迭代重建算法和圖像域后處理去噪算法。其中，圖像域后處理去噪算法因其不依賴于投影域、能夠?qū)崿F(xiàn)端到端的訓(xùn)練且去噪速度較快而受到廣泛關(guān)注。在該領(lǐng)域，傳統(tǒng)的去噪算法如bm3d等多采用平滑濾波技術(shù)以減少噪聲，但常常導(dǎo)致顯著的圖像細(xì)節(jié)丟失，甚至改變原始ct值。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，ldct去噪研究中逐漸應(yīng)用了以監(jiān)督學(xué)習(xí)為主的深度網(wǎng)絡(luò)，如redcnn和dncnn等，這些網(wǎng)絡(luò)在多個模擬數(shù)據(jù)集上展現(xiàn)出優(yōu)于傳統(tǒng)方法的去噪性能。

3、然而，在實(shí)際臨床數(shù)據(jù)中，由于運(yùn)動、呼吸等因素的影響，低劑量ct圖像與正常劑量ct圖像的對齊往往不夠嚴(yán)格。當(dāng)使用監(jiān)督學(xué)習(xí)方法時，未對齊區(qū)域可能被誤判為噪聲而被去除，從而嚴(yán)重破壞ct圖像的原始結(jié)構(gòu)。針對這一現(xiàn)象，部分學(xué)者提出了無監(jiān)督學(xué)習(xí)方法，如wgan和cyclegan等，通過生成對抗網(wǎng)絡(luò)學(xué)習(xí)噪聲圖像與清晰圖像之間的映射關(guān)系。然而，在實(shí)際應(yīng)用中，這些方法在一定程度上仍只能緩解未對齊區(qū)域的去噪誤差，且在多數(shù)場景下仍可能導(dǎo)致未對齊區(qū)域被錯誤去噪，同時訓(xùn)練過程也容易出現(xiàn)不穩(wěn)定性問題。

4、現(xiàn)有技術(shù)公開號為cn115760651a的中國專利提供一種改進(jìn)的reggan低劑量ct圖像去噪方法，通過gan框架在訓(xùn)練過程中動態(tài)衡量去噪后圖像和無噪圖像之間的相似性，在沒有相應(yīng)逐像素對齊的高質(zhì)量圖像引導(dǎo)的情況下，使得低劑量ct圖像能夠充分參與深度網(wǎng)絡(luò)訓(xùn)練，加入sobel卷積算子以增強(qiáng)模型中的ct圖像邊緣信息，并使用通道注意力機(jī)制賦予特征圖通道不同的權(quán)重以建模特征間的相關(guān)性；使用更深的卷積網(wǎng)絡(luò)代替原有的模型判別器，且加入自注意力機(jī)制使得鑒別器更加關(guān)注圖像中重要的信息；但是該方法在生成器網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上存在局限性，難以從多尺度處理能力的角度來應(yīng)對復(fù)雜醫(yī)學(xué)圖像的細(xì)節(jié)信息；其判別器雖加入自注意力機(jī)制，但架構(gòu)設(shè)計(jì)難以同時兼顧全局一致性和局部細(xì)節(jié)的判別需求，特別是在處理非對齊區(qū)域時效果受限；且采用單一尺度的一致性訓(xùn)練策略限制了模型的泛化能力和訓(xùn)練穩(wěn)定性；此外，在損失函數(shù)設(shè)計(jì)方面缺乏身份損失作為約束，無法有效保證去噪過程中原始解剖結(jié)構(gòu)的保留，且使用l1損失會導(dǎo)致過分強(qiáng)調(diào)像素間的差異，導(dǎo)致去噪過程中將未對齊區(qū)域作為噪聲，影響最終圖像質(zhì)量和臨床應(yīng)用價(jià)值。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提出一種基于u-net?gan和形變場配準(zhǔn)的低劑量ct圖像去噪方法，針對實(shí)際臨床數(shù)據(jù)中存在的未嚴(yán)格對齊問題，能夠?qū)崿F(xiàn)端到端的快速去噪，同時保持未對齊區(qū)域的原始組織結(jié)構(gòu)，避免產(chǎn)生新的偽影，并顯著提高訓(xùn)練的穩(wěn)定性。

2、第一方面，本發(fā)明提供一種基于u-net?gan和形變場配準(zhǔn)的低劑量ct圖像去噪方法，包括：將原始低劑量ct圖像輸入訓(xùn)練好的低劑量ct圖像去噪模型中，通過下采樣階段、特征提取階段和上采樣階段，下采樣階段通過邊緣填充和多尺度卷積提取特征；特征提取階段應(yīng)用批歸一化和relu激活的殘差模塊進(jìn)行深度處理；上采樣階段利用反卷積配合歸一化操作逐步恢復(fù)圖像分辨率，最終輸出生成去噪的低劑量ct圖像。

3、進(jìn)一步的，生成器的訓(xùn)練包括以下步驟：

4、采集臨床中胸部低劑量ct圖像以及其配對但未嚴(yán)格對齊的胸部正常劑量ct圖像，作為訓(xùn)練樣本；

5、將配對ct圖像訓(xùn)練樣本隨機(jī)劃分為訓(xùn)練集及測試集，構(gòu)造不同尺寸的動態(tài)訓(xùn)練集trainloader和原尺寸的靜態(tài)測試集testloader；

6、構(gòu)建二階段訓(xùn)練策略，前若干迭代輪次采取動態(tài)訓(xùn)練集trainloader裁切尺寸為的圖像進(jìn)行第一階段訓(xùn)練，后若干迭代輪次采取全尺寸的圖像進(jìn)行第二階段訓(xùn)練；生成器與形變場網(wǎng)絡(luò)同時訓(xùn)練更新參數(shù)，并且與判別器非一致交替進(jìn)行訓(xùn)練；

7、通過二階段的訓(xùn)練策略，以及非一致的交替訓(xùn)練，使得非對齊區(qū)域的結(jié)構(gòu)不被影響的同時進(jìn)行去噪，得到低劑量ct圖像去噪模型；

8、在測試集上對去噪器進(jìn)行去噪性能評估，如果評估結(jié)果符合要求，得到最終低劑量ct圖像去噪模型；利用訓(xùn)練好的低劑量ct圖像去噪模型對低劑量ct圖像進(jìn)行去噪處理及圖像復(fù)原。

9、進(jìn)一步的，判別器基于u-net架構(gòu)，在下采樣階段，去噪后的圖像與正常劑量ct圖像首先通過多個下采樣塊，每個下采樣塊進(jìn)行兩次卷積和leakyrelu激活操作，并在每次卷積后應(yīng)用殘差連接，將輸入與輸出相加，同時最后一個卷積層進(jìn)行下采樣圖像特征；再通過一個全局池化層和全連接層生成判別輸出；在上采樣階段，通過上采樣塊反卷積、卷積和leakyrelu激活操作恢復(fù)特征圖的尺寸，輸入通過跳躍連接與對應(yīng)的下采樣層輸出拼接，最后將特征經(jīng)過卷積層得到判別結(jié)果。

10、進(jìn)一步的，形變場網(wǎng)絡(luò)用于將低劑量ct圖像與正常劑量ct圖像在幾何結(jié)構(gòu)上對齊，通過學(xué)習(xí)圖像間的幾何差異，生成一個形變場，用于調(diào)整低劑量圖像的像素位置，使其與正常劑量圖像的結(jié)構(gòu)一致；基于resunet架構(gòu)，分為下采樣階段、殘差模塊階段和上采樣階段，在下采樣階段，去噪后的圖像首先通過多層卷積操作，每層卷積后接leakyrelu激活函數(shù)，同時伴隨殘差連接，在殘差模塊階段，通過多個殘差塊進(jìn)一步提取和處理特征信息，殘差塊通過卷積和激活函數(shù)層進(jìn)行變換，上采樣階段通過反卷積操作恢復(fù)特征圖的空間維度，每次反卷積時通過跳躍連接與下采樣階段相應(yīng)的特征圖拼接，通過一個卷積層輸出二維形變場，通過stn仿射變換用于對輸入圖像進(jìn)行空間變換和對齊，得到配準(zhǔn)后的去噪圖像。

11、進(jìn)一步的，將配對ct圖像訓(xùn)練樣本隨機(jī)劃分為訓(xùn)練集及測試集，構(gòu)造不同尺寸的動態(tài)訓(xùn)練集trainloader和原尺寸的靜態(tài)測試集testloader包括：

12、將配對ct圖像訓(xùn)練樣本讀取轉(zhuǎn)換為適用于python語言下的pydicom.dataset.filedataset對象，并將信息匿名化；

13、將pydicom.dataset.filedataset對象中的影像數(shù)據(jù)pixel_array成對轉(zhuǎn)換為適用于pytorch框架下的tensor數(shù)據(jù)類型，并將數(shù)據(jù)劃分為訓(xùn)練集與測試集；

14、將訓(xùn)練集數(shù)據(jù)轉(zhuǎn)換為torch.utils.data.dataset對象，利用torch.utils.data.dataloader構(gòu)造動態(tài)不同尺寸的訓(xùn)練集trainloader和原尺寸的測試集testloader；

15、trainloader動態(tài)訓(xùn)練集構(gòu)造，在每個迭代輪次中，從訓(xùn)練集隨機(jī)抽取圖像對，然后動態(tài)對隨機(jī)抽取的圖像進(jìn)行裁切，得到4個裁切圖，進(jìn)而每次訓(xùn)練集的輸入為對圖像；

16、testloader靜態(tài)測試集構(gòu)造，測試集不需要進(jìn)行裁切操作，直接按順序使用原始大小的圖像進(jìn)行驗(yàn)證。

17、進(jìn)一步的，配對ct圖像為：對采集的胸部低劑量ct圖像與正常劑量ct圖像進(jìn)行一一配對，且數(shù)量以及尺寸一致，前后采集間斷時長盡可能短，將最終圖像保存為統(tǒng)一的格式。

18、進(jìn)一步的，生成器與形變場網(wǎng)絡(luò)同時訓(xùn)練更新參數(shù)，并且與判別器非一致交替進(jìn)行訓(xùn)練包括以下步驟：

19、設(shè)置訓(xùn)練參數(shù)，每一輪訓(xùn)練迭代5次生成器和形變場網(wǎng)絡(luò)，迭代1次判別器；

20、判別器訓(xùn)練，在基于u-net判別器中，下采樣階段將輸入的圖像進(jìn)行全局壓縮，捕捉到全局的深層信息，輸出為；上采樣得到原圖尺寸像素級的局部判別信息，與patchgan類似，輸出為；使用hinge?loss作為損失函數(shù)，將真實(shí)圖像中的部分區(qū)域隨機(jī)裁剪出一個矩陣，并將所述矩陣對應(yīng)的區(qū)域替換為生成圖像中的對應(yīng)部分；同時矩陣對應(yīng)區(qū)域的標(biāo)簽根據(jù)遮擋區(qū)域的大小進(jìn)行比例混合，通過反向傳播梯度，更新迭代判別器的網(wǎng)絡(luò)參數(shù)；

21、生成器與形變場網(wǎng)絡(luò)訓(xùn)練，輸入的低劑量ct圖像，通過生成器得到去噪后的圖像，與正常劑量ct圖像輸入判別器，得到hinge?loss的對抗損失，將和輸入形變場網(wǎng)絡(luò)，得到二維的形變場，結(jié)合形變場通過stn的仿射變換，得到形變場配準(zhǔn)后的去噪圖像，計(jì)算配準(zhǔn)后的損失函數(shù)、平滑損失、邊緣損失以及身份損失；

22、構(gòu)造生成器損失為：

23、

24、其中，為配準(zhǔn)后的損失函數(shù)，為hinge?loss的對抗損失為平滑損失，為邊緣損失，為身份損失分別為各項(xiàng)損失的權(quán)重，設(shè)置不同的超參數(shù)，通過反向傳播梯度，更新迭代生成器和形變場網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

25、第二方面，本發(fā)明提供一種基于u-net?gan和形變場配準(zhǔn)的低劑量ct圖像去噪系統(tǒng)，包括數(shù)據(jù)獲取模塊和去噪模塊；

26、數(shù)據(jù)獲取模塊用于獲取原始低劑量ct圖像；

27、去噪模塊基于低劑量ct圖像生成器，通過下采樣階段、特征提取階段和上采樣階段，在下采樣階段，輸入圖像首先經(jīng)過邊緣填充和卷積操作，然后進(jìn)入多尺度卷積模塊，提取多尺度特征，多尺度特征通過歸一化和relu激活處理，經(jīng)過一個卷積層輸出圖像；在特征提取階段，基于殘差網(wǎng)絡(luò)，在每個殘差模塊進(jìn)行兩次邊緣填充和卷積操作，同時歸一化和激活函數(shù)層，再進(jìn)行殘差連接，將輸入與輸出相加；上采樣階段通過兩次反卷積恢復(fù)圖像尺寸，每次反卷積后附加歸一化和relu激活操作，通過卷積層輸出生成去噪的低劑量ct圖像；低劑量ct圖像去噪模型訓(xùn)練時，將低劑量ct圖像輸入生成器中進(jìn)行生成對抗訓(xùn)練，基于形變場網(wǎng)絡(luò)，使用stn仿射變換，引入配準(zhǔn)損失與平滑損失，將低劑量ct圖像與正常劑量ct圖像在幾何結(jié)構(gòu)上對齊。

28、第三方面，本發(fā)明還可以提供一種計(jì)算機(jī)設(shè)備，包括處理器以及存儲器。其中，存儲器用于存儲計(jì)算機(jī)可執(zhí)行程序，處理器從存儲器中讀取所述計(jì)算機(jī)可執(zhí)行程序并執(zhí)行，處理器執(zhí)行計(jì)算可執(zhí)行程序時，即能實(shí)現(xiàn)本發(fā)明所述的基于u-net?gan和形變場配準(zhǔn)的低劑量ct圖像去噪方法。

29、同時，本發(fā)明提供一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時，即可實(shí)現(xiàn)本發(fā)明所述的基于u-net?gan和形變場配準(zhǔn)的低劑量ct圖像去噪方法。

30、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果：本發(fā)明中使用多尺度特征提取和深層殘差網(wǎng)絡(luò)作為生成器，具有參數(shù)量少、提取特征層次多樣、端到端推理等優(yōu)勢，相較于其他方法，可以更好地應(yīng)對不同分辨率的低劑量ct圖像噪聲和結(jié)構(gòu)的理解；本發(fā)明中使用形變場網(wǎng)絡(luò)構(gòu)建二維形變場，并使用stn仿射變換進(jìn)行配準(zhǔn)，引入配準(zhǔn)損失與平滑損失，可以最大程度地減少未嚴(yán)格對齊造成的錯誤去噪，保持未對齊區(qū)域的組織結(jié)構(gòu)，同時進(jìn)行去噪。

31、進(jìn)一步的，本發(fā)明中使用基于u-net的encoder-decoder架構(gòu)的判別器，可以從全局（分布）和局部（紋理）上關(guān)注不同層次的信息，使得在一定程度上可以緩解未對齊的問題。

32、進(jìn)一步的，本發(fā)明構(gòu)建動態(tài)訓(xùn)練集trainloader中的動態(tài)隨機(jī)裁切，且來源于同一對圖的多次出現(xiàn)，可以增強(qiáng)數(shù)據(jù)的隨機(jī)性，有助于模型的泛化能力。