本發(fā)明涉及圖像特征匹配，具體涉及一種基于雙邊域運(yùn)動校正的異常匹配去除方法及系統(tǒng)。

背景技術(shù)：

1、圖像特征匹配旨在從同一場景的不同視角、不同傳感器以及不同拍攝條件下獲取的圖像中提取穩(wěn)定的特征點(diǎn)，并建立其間的點(diǎn)對對應(yīng)關(guān)系，這一過程不僅為相機(jī)姿態(tài)恢復(fù)、三維重建和同步定位與地圖構(gòu)建等上層任務(wù)提供了關(guān)鍵的幾何基礎(chǔ)，也為從低層視覺信息向高層語義理解的轉(zhuǎn)化搭建了重要橋梁；

2、在雙視圖匹配任務(wù)中，通常實(shí)現(xiàn)的流程包括：

3、1、特征點(diǎn)提?。豪胹ift、superpoint等算法從同一場景下的不同視角圖像中提取出具有尺度和旋轉(zhuǎn)不變性的局部特征點(diǎn)；

4、2、初始匹配構(gòu)建：現(xiàn)有的通過最近鄰算法等方法為特征點(diǎn)建立初始匹配對；然而，由于光照變化、視角偏差、圖像模糊、遮擋以及重復(fù)紋理等因素的影響，初始匹配結(jié)果中往往會引入大量錯誤匹配（即誤匹配），在極端情況下錯誤匹配的比例甚至可能超過90%；

5、3、誤匹配去除：現(xiàn)有的方法主要依靠基于重采樣的假設(shè)—驗(yàn)證策略（如隨機(jī)樣本一致性算法ransac及其變種）、基于非參數(shù)模型的運(yùn)動場建模（如vfc算法、sparsevfc算法）以及放寬全局約束的局部一致性方法（如code算法、lpm算法、gms算法）來剔除誤匹配；

6、雖然現(xiàn)有的方法在一定程度上利用了圖像幾何約束或局部統(tǒng)計特性，但在寬基線、大視角變化和圖像退化等復(fù)雜場景下，其魯棒性和準(zhǔn)確性依然不足，并且常常需要大量的參數(shù)調(diào)優(yōu)以適應(yīng)具體的應(yīng)用場景；

7、近年來，深度學(xué)習(xí)憑借其在特征表示和非線性建模方面的顯著優(yōu)勢，推動了基于學(xué)習(xí)的誤匹配去除方法的發(fā)展，早期工作（如lfgc算法）將誤匹配去除視為二分類任務(wù)，并采用多層感知機(jī)對無序匹配逐個處理，但往往難以充分提取局部上下文信息；后續(xù)研究如oanet、t-net、ncmnet和msgsa等算法，通過融合局部與全局、空間與通道的上下文信息，逐步改善了匹配對內(nèi)在一致性的檢測能力；同時，convmatch、pt-net以及dematch等算法采用卷積神經(jīng)網(wǎng)絡(luò)和transformer等結(jié)構(gòu)，在多尺度特征提取和長程依賴建模方面取得了明顯進(jìn)展；然而，這些基于學(xué)習(xí)的方法在處理復(fù)雜運(yùn)動模式、局部運(yùn)動不連續(xù)性以及長距離依賴問題時仍存在一定局限性，導(dǎo)致在極端復(fù)雜條件下的誤匹配去除效果不盡如人意。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)存在的缺陷與不足，本發(fā)明提供一種基于雙邊域運(yùn)動校正的異常匹配去除方法及系統(tǒng)，本發(fā)明充分整合了傳統(tǒng)幾何約束與深度網(wǎng)絡(luò)在雙域（空間和通道）上下文信息建模方面的優(yōu)勢，不僅從運(yùn)動一致性角度提出了一種全新的判別依據(jù)，而且通過跨域上下文信息的有效整合，顯著提升了匹配的精度和魯棒性。

2、為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明提供一種基于雙邊域運(yùn)動校正的異常匹配去除方法，包括下述步驟：

4、對不同視角圖像的匹配點(diǎn)對進(jìn)行坐標(biāo)歸一化，構(gòu)建無序運(yùn)動集合；

5、對無序運(yùn)動集合和歸一化坐標(biāo)進(jìn)行特征嵌入，構(gòu)建初始運(yùn)動特征；

6、對初始運(yùn)動特征進(jìn)行迭代優(yōu)化，得到校正后的多層運(yùn)動特征，具體包括：

7、將初始運(yùn)動特征轉(zhuǎn)換為歸一化圖像空間上的有序運(yùn)動場特征；

8、有序運(yùn)動場特征經(jīng)編碼器得到不同尺度上的編碼特征；

9、不同尺度上的編碼特征通過計算通道注意力得到模式對齊特征；

10、對模式對齊特征進(jìn)行強(qiáng)化，得到強(qiáng)化的模式對齊特征，與編碼特征殘差連接得到經(jīng)過運(yùn)動調(diào)制的編碼特征；

11、將編碼特征逐步上采樣至原始分辨率，解碼得到經(jīng)過調(diào)整的運(yùn)動場特征；

12、經(jīng)過調(diào)整的運(yùn)動場特征對第層的運(yùn)動特征進(jìn)行校正，得到校正后的多層運(yùn)動特征；

13、基于校正前后的運(yùn)動殘差信息計算各匹配點(diǎn)對的內(nèi)點(diǎn)概率，剔除內(nèi)點(diǎn)概率低于設(shè)定概率閾值的匹配點(diǎn)對。

14、作為優(yōu)選的技術(shù)方案，對不同視角圖像的匹配點(diǎn)對進(jìn)行坐標(biāo)歸一化，構(gòu)建無序運(yùn)動集合，具體包括：

15、獲取同一場景下不同視角的圖像與圖像，提取圖像中的特征點(diǎn)并建立初始匹配點(diǎn)對；

16、對圖像與圖像中的匹配點(diǎn)坐標(biāo)進(jìn)行歸一化，得到歸一化的匹配點(diǎn)對，表示為：

17、；

18、其中，、分別表示圖像和圖像中歸一化后的匹配像素坐標(biāo)，表示匹配點(diǎn)對的數(shù)量，表示二維實(shí)數(shù)空間；

19、計算運(yùn)動位移得到無序運(yùn)動集合，表示為：

20、；

21、對無序運(yùn)動集合和歸一化坐標(biāo)進(jìn)行特征嵌入，構(gòu)建初始運(yùn)動特征，表示為：

22、；

23、其中，和分別表示不同的多層感知機(jī)，表示無序運(yùn)動集合，表示歸一化坐標(biāo)。

24、作為優(yōu)選的技術(shù)方案，將初始運(yùn)動特征轉(zhuǎn)換為歸一化圖像空間上的有序運(yùn)動場特征，具體包括：

25、將歸一化的二維圖像空間劃分為多個局部區(qū)域，選取局部區(qū)域的中心位置，對中心位置坐標(biāo)進(jìn)行映射，生成局部嵌入向量集合，基于局部嵌入向量集合與運(yùn)動特征構(gòu)建圖，采用圖注意力網(wǎng)絡(luò)將無序運(yùn)動特征正則化為各局部區(qū)域的有序運(yùn)動特征，具體表示為：

26、；

27、；

28、其中，表示有序運(yùn)動特征，表示圖注意力網(wǎng)絡(luò)，表示局部嵌入向量集合，表示第層的運(yùn)動特征，表示局部運(yùn)動信息的聚合操作，表示融合操作；

29、局部運(yùn)動信息的聚合操作具體表示為：

30、；

31、；

32、；

33、；

34、；

35、其中，、分別表示由經(jīng)過兩個不同的線性變換得到的鍵矩陣和值矩陣，上標(biāo)表示對矩陣的轉(zhuǎn)置，表示查詢矩陣，表示帶泄漏的修正線性單元，和分別是可學(xué)習(xí)的縮放因子和偏置項(xiàng)，表示位置感知項(xiàng)，表示分類先驗(yàn)，表示激活函數(shù)，表示多層感知機(jī)，表示局部區(qū)域的中心位置，表示歸一化坐標(biāo)，表示對角化操作，表示sigmoid激活函數(shù)，表示由前一運(yùn)動校正單元計算得到的每個運(yùn)動樣本的邏輯值，表示對角化操作后的矩陣。

36、作為優(yōu)選的技術(shù)方案，有序運(yùn)動場特征經(jīng)編碼器得到不同尺度上的編碼特征，具體包括：

37、編碼器在不同尺度上提取關(guān)鍵信息，表示為：

38、；

39、；

40、；

41、其中，表示transformer計算，表示基于非重疊卷積的下采樣層，表示有序運(yùn)動特征，、、分別表示不同尺度上的編碼特征。

42、作為優(yōu)選的技術(shù)方案，不同尺度上的編碼特征通過計算通道注意力得到模式對齊特征，具體包括：

43、通道交叉注意力將各個尺度上的編碼特征通過分塊二維卷積轉(zhuǎn)換為相同序列長度的圖像塊特征，圖像塊特征沿著特征維度進(jìn)行拼接，并經(jīng)過層歸一化和線性變換生成查詢矩陣、鍵矩陣和值矩陣，通過深度卷積嵌入空間上下文信息；

44、通過計算通道注意力實(shí)現(xiàn)不同尺度的編碼特征之間的信息交互和運(yùn)動模式對齊，得到不同尺度上的模式對齊特征，表示為：

45、；

46、；

47、其中，、、分別表示嵌入空間上下文信息的查詢矩陣、鍵矩陣和值矩陣，表示實(shí)例歸一化操作，表示激活函數(shù)，表示線性變換計算，表示模式對齊特征，表示圖像塊特征。

48、作為優(yōu)選的技術(shù)方案，對模式對齊特征進(jìn)行強(qiáng)化，得到強(qiáng)化的模式對齊特征，與編碼特征殘差連接得到經(jīng)過運(yùn)動調(diào)制的編碼特征，具體包括：

49、多尺度空間嵌入前饋網(wǎng)絡(luò)基于線性變換對模式對齊特征進(jìn)行特征升維并沿著特征維度均勻劃分為兩個分支特征和；

50、將兩個強(qiáng)化分支特征進(jìn)行通道拼接并恢復(fù)至原來的維度大小，得到經(jīng)過強(qiáng)化的模式對齊特征：

51、；

52、其中，表示通道拼接操作，表示線性變換計算；

53、通過特征映射將強(qiáng)化的模式對齊特征恢復(fù)至原始編碼器處理的空間分辨率大小，與編碼特征殘差連接得到經(jīng)過運(yùn)動調(diào)制的編碼特征：

54、；

55、其中，表示批歸一化操作，表示1×1卷積，表示雙線性插值計算。

56、作為優(yōu)選的技術(shù)方案，解碼器將編碼特征逐步上采樣至原始分辨率，解碼得到經(jīng)過調(diào)整的運(yùn)動場特征，具體表示為：

57、；

58、；

59、；

60、；

61、；

62、；

63、其中，表示編碼器提取得到的深層編碼特征，表示上采樣操作，表示transformer計算，表示逐通道特征融合模塊，、表示上采樣特征，、表示融合特征，表示解碼特征，表示經(jīng)過運(yùn)動調(diào)制的編碼特征。

64、作為優(yōu)選的技術(shù)方案，在逐通道特征融合模塊中，將上采樣特征與編碼特征拼接形成融合輸出；

65、通過水平和垂直方向的全局平均池化分別提取出統(tǒng)計信息，經(jīng)過兩個共享非線性變換的多層感知機(jī)生成像素級的注意力圖，對上采樣特征和經(jīng)過運(yùn)動調(diào)制的編碼特征進(jìn)行加權(quán)融合，得到融合特征，具體表示為：

66、；

67、；

68、；

69、；

70、其中，表示sigmoid激活函數(shù)，表示哈達(dá)瑪積，、表示統(tǒng)計信息，表示像素級的注意力圖，表示融合特征。

71、作為優(yōu)選的技術(shù)方案，經(jīng)過調(diào)整的運(yùn)動場特征對第層的運(yùn)動特征進(jìn)行校正，具體表示為：

72、；

73、；

74、；

75、；

76、；

77、其中，表示校正后的運(yùn)動特征，表示圖注意力網(wǎng)絡(luò)，表示調(diào)整的運(yùn)動場特征，表示融合操作，表示聚合操作，表示位置感知項(xiàng)，表示帶泄漏的修正線性單元，和分別是可學(xué)習(xí)的權(quán)重和偏置，表示激活函數(shù)，和分別是可學(xué)習(xí)的縮放因子和偏置項(xiàng)，、分別表示鍵矩陣和值矩陣，表示查詢矩陣。

78、本發(fā)明還提供一種基于雙邊域運(yùn)動校正的異常匹配去除系統(tǒng)，用于上述基于雙邊域運(yùn)動校正的異常匹配去除方法，包括：無序運(yùn)動集合構(gòu)建模塊、初始運(yùn)動特征構(gòu)建模塊、運(yùn)動校正單元、內(nèi)點(diǎn)概率計算模塊、異常匹配去除模塊；

79、所述無序運(yùn)動集合構(gòu)建模塊用于對不同視角圖像的匹配點(diǎn)對進(jìn)行坐標(biāo)歸一化，構(gòu)建無序運(yùn)動集合；

80、所述初始運(yùn)動特征構(gòu)建模塊用于對無序運(yùn)動集合和歸一化坐標(biāo)進(jìn)行特征嵌入，構(gòu)建初始運(yùn)動特征；

81、所述運(yùn)動校正單元用于對初始運(yùn)動特征進(jìn)行迭代優(yōu)化，得到校正后的多層運(yùn)動特征，具體包括：

82、將初始運(yùn)動特征轉(zhuǎn)換為歸一化圖像空間上的有序運(yùn)動場特征；

83、有序運(yùn)動場特征經(jīng)編碼器得到不同尺度上的編碼特征；

84、不同尺度上的編碼特征通過計算通道注意力得到模式對齊特征；

85、對模式對齊特征進(jìn)行強(qiáng)化，得到強(qiáng)化的模式對齊特征，與編碼特征殘差連接得到經(jīng)過運(yùn)動調(diào)制的編碼特征；

86、將編碼特征逐步上采樣至原始分辨率，解碼得到經(jīng)過調(diào)整的運(yùn)動場特征；

87、經(jīng)過調(diào)整的運(yùn)動場特征對第層的運(yùn)動特征進(jìn)行校正，得到校正后的多層運(yùn)動特征；

88、所述內(nèi)點(diǎn)概率計算模塊用于基于校正前后的運(yùn)動殘差信息計算各匹配點(diǎn)對的內(nèi)點(diǎn)概率；

89、所述異常匹配去除模塊用于去除內(nèi)點(diǎn)概率低于設(shè)定概率閾值的匹配點(diǎn)對。

90、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：

91、（1）與其他直接學(xué)習(xí)匹配對內(nèi)外點(diǎn)特性的方法相比，本發(fā)明以運(yùn)動場理論為出發(fā)點(diǎn)，通過增強(qiáng)模型的空間感知能力和構(gòu)建雙邊域多尺度上下文建模機(jī)制，顯著提升了模型的泛化能力，尤其在處理訓(xùn)練中未見過的特征點(diǎn)檢測算法所提取的初始匹配對時，其效果更優(yōu)。

92、（2）本發(fā)明采用了基于級聯(lián)式運(yùn)動校正框架的技術(shù)方案，通過自適應(yīng)局部增強(qiáng)正則化、雙邊域運(yùn)動場調(diào)整和位置引導(dǎo)運(yùn)動校正三個子模塊的協(xié)同作用，有效解決了現(xiàn)有方法在寬基線、重復(fù)紋理及復(fù)雜運(yùn)動場景下誤匹配去除精度不足、魯棒性較差的問題，從而顯著提升了匹配精度和系統(tǒng)的抗干擾能力。