本技術(shù)涉及圖像特征提取領(lǐng)域,尤其涉及一種頻域自適應(yīng)的生物啟發(fā)式脈沖視覺特征提取方法與設(shè)備。
背景技術(shù):
1、隨著人工智能與計算機(jī)視覺技術(shù)的不斷發(fā)展,圖像特征提取作為支撐目標(biāo)識別、分類和檢索等任務(wù)的核心環(huán)節(jié),持續(xù)受到廣泛關(guān)注。為滿足多樣化應(yīng)用場景的需求,特征提取算法在計算效率與資源占用方面面臨更高要求,往往會在輕量化設(shè)計的同時,增加特征維度或提升特征提取數(shù)量來彌補(bǔ)特征表達(dá)能力的缺陷。
2、例如,專利申請公布號為cn119990198a的發(fā)明專利申請,公開了一種基于自適應(yīng)閾值整數(shù)激活神經(jīng)元的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法,具體包括以下步驟:輸入神經(jīng)形態(tài)數(shù)據(jù)流或者靜態(tài)圖像,經(jīng)過時間編碼生成脈沖序列,以此作為模型的輸入;在主干網(wǎng)絡(luò)中,使用基于自適應(yīng)閾值整值激活的lif神經(jīng)元的snn模塊進(jìn)行下采樣和提取多尺度特征;以及將視覺任務(wù)分為圖像識別,圖像檢測與圖像分割,分別接入不同的處理模塊進(jìn)行處理輸出。
3、又例如,專利申請公布號為cn112580737a的發(fā)明專利申請,一種基于多尺度特征融合的脈沖神經(jīng)網(wǎng)絡(luò)特征提取方法,其中,包括:對輸入的二進(jìn)制圖像用多尺度特征融合方法進(jìn)行預(yù)處理,隨后使用具有生物學(xué)依據(jù)的脈沖編碼方法-相位編碼將輸入圖像像素對應(yīng)地轉(zhuǎn)化為膜電位的震蕩余弦函數(shù),隨后通過脈沖發(fā)放時刻與相位之間滿足的關(guān)系求得當(dāng)前像素對應(yīng)脈沖發(fā)放時刻,最終將圖像像素信息編碼為時間維度上的時間信息輸入到脈沖神經(jīng)網(wǎng)絡(luò)中;其中對輸入的二進(jìn)制圖像用多尺度特征融合方法進(jìn)行預(yù)處理包括:對圖像進(jìn)行高斯濾波操作,將不同大小的高斯濾波器對圖像進(jìn)行滑動濾波時,當(dāng)經(jīng)過圖像中某一區(qū)域所得到的濾波結(jié)果越高,將不同大小濾波器得到的圖像特征進(jìn)行融合操作。
4、然而,目前的輕量化設(shè)計的特征提取準(zhǔn)確性與有效性不足,難以滿足復(fù)雜場景下的性能需求,限制了其廣泛推廣與應(yīng)用。
技術(shù)實現(xiàn)思路
1、本技術(shù)的主要目的在于提供一種頻域自適應(yīng)的生物啟發(fā)式脈沖視覺特征提取方法與設(shè)備。為了解決上述所提到的技術(shù)問題,本技術(shù)具體采用以下技術(shù)方案:
2、本技術(shù)的第一方面在于,提供一種頻域自適應(yīng)的生物啟發(fā)式脈沖視覺特征提取方法,所述方法包括:
3、s101,獲取待識別圖像;
4、s102,將所述待識別圖像輸入預(yù)設(shè)細(xì)胞通道進(jìn)行特征編碼,得到所述待識別圖像的全量脈沖序列,所述全量脈沖序列包括關(guān)聯(lián)有時間戳的若干個脈沖事件;
5、s103,根據(jù)所述全量脈沖序列中的脈沖事件,分別確定多個頻段通道的脈沖閾值;其中,不同的頻段通道所響應(yīng)的頻率范圍不同;
6、s104,將所述全量脈沖序列分別輸入多個所述頻段通道,基于每個所述頻段通道的脈沖閾值,對所述全量脈沖序列中對應(yīng)頻率范圍的脈沖事件進(jìn)行篩選,提取有效脈沖序列;
7、s105,拼接多個所述有效脈沖序列,得到所述待識別圖像的目標(biāo)脈沖序列。
8、在一些實施例中,所述預(yù)設(shè)細(xì)胞通道包括第一細(xì)胞通道、第二細(xì)胞通道,所述s102包括:基于所述第一細(xì)胞通道,提取所述待識別圖像中的顏色數(shù)據(jù);基于所述第二細(xì)胞通道,提取所述待識別圖像中的光強(qiáng)數(shù)據(jù);將所述顏色數(shù)據(jù)和所述光強(qiáng)數(shù)據(jù)合并,得到所述待識別圖像的中間視覺數(shù)據(jù)。
9、在一些實施例中,所述預(yù)設(shè)細(xì)胞通道包括第三細(xì)胞通道、第四細(xì)胞通道,所述s102包括:基于所述第三細(xì)胞通道,對亮度大于第一亮度閾值的中間視覺數(shù)據(jù)進(jìn)行特征編碼,得到一類脈沖序列;基于所述第四細(xì)胞通道,對亮度小于等于第二亮度閾值的中間視覺數(shù)據(jù)進(jìn)行編碼,得到二類脈沖序列;其中,所述第一亮度閾值大于等于所述第二亮度閾值;將所述一類脈沖序列和所述二類脈沖序列進(jìn)行拼接,得到所述全量脈沖序列。
10、在一些實施例中,所述方法還包括:根據(jù)不同的頻段通道所響應(yīng)的頻率范圍,確定所述頻段通道所使用的卷積核的尺寸;其中,所述頻率范圍的頻率取值越高,所述卷積核的尺寸越?。换谒鲱l段通道對應(yīng)的卷積核,對所述全量脈沖序列進(jìn)行特征提取。
11、在一些實施例中,所述s104還包括:基于所述頻段通道所響應(yīng)的頻率范圍,接收所述全量脈沖序列中的候選脈沖事件,其中,所述候選脈沖事件對應(yīng)的脈沖頻率處于所述頻段通道所響應(yīng)的頻率范圍;當(dāng)接收到的所述候選脈沖事件的頻率大于等于所述脈沖閾值時,發(fā)出脈沖信號;基于若干個所述脈沖信號,生成所述頻段通道的有效脈沖序列。
12、在一些實施例中,所述方法還包括:在每次發(fā)出脈沖信號之后,預(yù)設(shè)時長內(nèi)不再發(fā)送脈沖信號。
13、在一些實施例中,所述s103還包括:獲取預(yù)設(shè)處理時長或預(yù)設(shè)圖像區(qū)域內(nèi)的先驗脈沖序列,確定所述先驗脈沖序列中每個所述頻段通道的若干個先驗取值;根據(jù)若干個所述先驗取值計算所述頻段通道的特征頻率統(tǒng)計量;根據(jù)所述特征頻率統(tǒng)計量確定各個所述頻段通道的脈沖閾值,其中,所述脈沖閾值小于等于所述特征頻率統(tǒng)計量。
14、在一些實施例中,所述頻段通道包括第一通道、第二通道、第三通道,所述s104還包括:基于所述第一通道、所述第二通道、所述第三通道并行提取對應(yīng)的有效脈沖序列。
15、本技術(shù)的第二方面在于,提供一種計算機(jī)設(shè)備,所述設(shè)備包括:
16、存儲器,用于存儲計算機(jī)程序;
17、處理器,用于執(zhí)行所述計算機(jī)程序并在執(zhí)行所述計算機(jī)程序時實現(xiàn)如本技術(shù)任一實施例提供的頻域自適應(yīng)的生物啟發(fā)式脈沖視覺特征提取方法的步驟。
18、本技術(shù)的第三方面在于,還對應(yīng)地提供了一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時使所述處理器如本技術(shù)任一實施例提供的頻域自適應(yīng)的生物啟發(fā)式脈沖視覺特征提取方法的步驟。
19、有益效果:
20、本技術(shù)實施例提供一種頻域自適應(yīng)的生物啟發(fā)式脈沖視覺特征提取方法與設(shè)備,具體提供一種多頻段、精準(zhǔn)化的快速特征提取機(jī)制,多個頻段通道基于動態(tài)脈沖閾值獨(dú)立提取各頻段下的有效脈沖序列,有效脈沖序列中選擇性保留關(guān)鍵信息,實現(xiàn)冗余信息的充分過濾,進(jìn)而有效壓縮數(shù)據(jù)量,實現(xiàn)高性能與輕量化的平衡。同時,多通道間的有效脈沖序列協(xié)同互補(bǔ),增強(qiáng)整體信息的完整性與準(zhǔn)確性,避免單個通道可能因簡化而丟失關(guān)鍵信息,進(jìn)一步提升特征提取的魯棒性與可靠性。
21、具體地,劃分多頻段通道且每個頻段通道獨(dú)立設(shè)置脈沖閾值,脈沖閾值進(jìn)行自適應(yīng)調(diào)整,以提升各通道對有效脈沖事件的識別靈敏度,使各頻段通道能夠更加精準(zhǔn)、高效地響應(yīng)其對應(yīng)頻段內(nèi)的關(guān)鍵脈沖信息,具備全面提取對應(yīng)頻段內(nèi)有效脈沖事件的能力,避免單一或固化脈沖閾值提取導(dǎo)致的關(guān)鍵特征遺漏或冗余干擾。
22、并且,在提取過程中進(jìn)一步結(jié)合閾值觸發(fā)、強(qiáng)制休眠的脈沖機(jī)制,在保證有效脈沖事件準(zhǔn)確識別的同時,抑制部分重復(fù)性、冗余性的脈沖響應(yīng),從而實現(xiàn)對有效脈沖事件的選擇性過濾,進(jìn)一步壓縮輸出數(shù)據(jù)量,提升整體處理效率。而對于單個通道可能丟失部分細(xì)節(jié)信息,可以通過多通道之間的協(xié)同互補(bǔ)完善,提升特征提取的完整性和準(zhǔn)確性。
23、進(jìn)一步地,脈沖閾值基于先驗脈沖序列調(diào)整,能夠適應(yīng)不同的應(yīng)用場景,尤其是對于快速移動或瞬時出現(xiàn)的目標(biāo)(如飛行器),該類目標(biāo)僅存在“驚鴻一瞥”的極短曝光時間內(nèi),通過脈沖閾值的自適應(yīng)調(diào)整,能夠高效、精準(zhǔn)地捕捉并提取其核心視覺特征,提升了動態(tài)視覺信息的實時響應(yīng)與識別能力。
24、此外,多個頻段通道可并行運(yùn)行,充分利用硬件資源提高處理速度,縮短整體處理時間,再結(jié)合不同頻段通道的差異化卷積核尺寸,提高特征提取的精準(zhǔn)度。