本發(fā)明屬于圖像數(shù)據(jù)傳輸，具體涉及一種基于下游任務(wù)反饋的圖像數(shù)據(jù)傳輸編解碼方法、裝置及設(shè)備。

背景技術(shù)：

1、在當今工業(yè)互聯(lián)網(wǎng)快速發(fā)展的時代，圖像數(shù)據(jù)在工業(yè)生產(chǎn)、監(jiān)控、檢測等眾多領(lǐng)域發(fā)揮著至關(guān)重要的作用。例如，在工業(yè)生產(chǎn)線上，通過圖像數(shù)據(jù)可以實時監(jiān)測產(chǎn)品的質(zhì)量和生產(chǎn)流程；在安防監(jiān)控中，圖像數(shù)據(jù)能夠及時捕捉異常情況并進行預(yù)警。然而，隨著圖像數(shù)據(jù)量的不斷增長以及對數(shù)據(jù)傳輸實時性要求的提高，圖像數(shù)據(jù)傳輸面臨著諸多挑戰(zhàn)。

2、傳統(tǒng)的圖像數(shù)據(jù)編解碼方法主要關(guān)注圖像的像素級重建，以像素誤差作為損失函數(shù)進行優(yōu)化。這種方法雖然能夠在一定程度上保證解碼后圖像的視覺質(zhì)量，但卻忽略了圖像數(shù)據(jù)對于下游任務(wù)的實際價值。例如，在工業(yè)缺陷檢測任務(wù)中，即使解碼后的圖像在視覺上與原始圖像非常接近，但如果沒有準確恢復(fù)出與缺陷相關(guān)的關(guān)鍵特征，那么仍然無法準確檢測出缺陷，導(dǎo)致下游任務(wù)的準確率降低。此外，傳統(tǒng)編解碼方法通常缺乏對信道條件的自適應(yīng)能力，無法根據(jù)不同的信道狀況動態(tài)調(diào)整編碼策略，從而難以在傳輸壓縮效果和抗噪能力之間取得平衡。

技術(shù)實現(xiàn)思路

1、針對傳統(tǒng)的圖像數(shù)據(jù)編解碼方法主要關(guān)注圖像的像素級重建，以像素誤差作為損失函數(shù)進行優(yōu)化，忽略了圖像數(shù)據(jù)對于下游任務(wù)的實際價值的問題，本發(fā)明提供一種基于下游任務(wù)反饋的圖像數(shù)據(jù)傳輸編解碼方法、裝置及設(shè)備。

2、第一方面，本發(fā)明技術(shù)方案提供一種基于下游任務(wù)反饋的圖像數(shù)據(jù)傳輸編解碼方法，包括如下步驟：

3、s1：收集工業(yè)互聯(lián)網(wǎng)中的圖像數(shù)據(jù)整理為數(shù)據(jù)集，對數(shù)據(jù)集中的圖像進行預(yù)處理；

4、s2：基于預(yù)處理后的圖像對編碼器模型和解碼器模型進行訓(xùn)練得到訓(xùn)練編碼器模型和解碼器模型的參數(shù)；訓(xùn)練過程包括：將預(yù)處理后的圖像輸入編碼器模型得到編碼信息，并通過?snr?噪聲信道發(fā)送到解碼器進行解碼；將解碼后的圖像輸入到下游任務(wù)計算損失函數(shù)；將計算得到的損失函數(shù)反饋給編碼器模型和解碼器模型完成最小化損失函數(shù)的模型訓(xùn)練優(yōu)化，得到模型參數(shù)；

5、s3：圖像數(shù)據(jù)傳輸時，在編碼過程中，編碼器根據(jù)訓(xùn)練得到的參數(shù)，提取關(guān)鍵圖像特征進行編碼，在解碼過程中，解碼器依據(jù)訓(xùn)練后的參數(shù)和信道?snr?信息，優(yōu)先恢復(fù)關(guān)鍵圖像特征；所述關(guān)鍵圖像特征為相關(guān)性與1的絕對差值小于設(shè)定閾值的圖像特征，所述相關(guān)性是計算的圖像特征與下游任務(wù)標簽之間的相關(guān)性。

6、作為本發(fā)明技術(shù)方案的進一步限定，步驟s2中對編碼器模型和解碼器模型進行訓(xùn)練的具體步驟包括：

7、s21：將預(yù)處理后的圖像輸入編碼器模型得到編碼信息，并通過snr噪聲信道發(fā)送出去；

8、s22：解碼器模型接收經(jīng)過噪聲信道傳輸?shù)木幋a信息，根據(jù)snr調(diào)整接收到的編碼數(shù)據(jù)，利用與編碼器模型對稱的卷積置換網(wǎng)絡(luò)進行解碼，得到解碼后的圖像；

9、s23：將解碼后的圖像輸入到下游任務(wù)計算用于反饋的損失函數(shù)；

10、s24：將計算得到的損失函數(shù)反饋給編碼器模型和解碼器模型，采用反向傳播算法計算損失函數(shù)關(guān)于模型參數(shù)的梯度，利用梯度下降法根據(jù)計算得到的梯度更新編碼器和解碼器的參數(shù)；所述模型參數(shù)包括編碼器參數(shù)和解碼器參數(shù)；

11、s25：重復(fù)步驟s21-s24，在每次訓(xùn)練時，更新信道的snr值并反饋給編編碼器和解碼器中的snr處理層，直至損失函數(shù)收斂條件，得到訓(xùn)練后的編碼器模型和解碼器模型的參數(shù)。

12、作為本發(fā)明技術(shù)方案的進一步限定，編碼器模型的結(jié)構(gòu)包括卷積層、殘差模塊和snr處理層，步驟s21具體包括：

13、圖像從輸入層開始，依次經(jīng)過卷積層、殘差模塊和snr處理層對輸入圖像數(shù)據(jù)進行處理，得到編碼信息，在編碼過程中，通過卷積層的下采樣和特征提取，以及殘差模塊和snr處理層的優(yōu)化，將原始圖像數(shù)據(jù)壓縮為設(shè)定大小的編碼信息；

14、進行snr噪聲信道模擬對編碼信息進行處理；

15、將經(jīng)過snr噪聲信道處理后的編碼信息發(fā)送到解碼器模塊。

16、作為本發(fā)明技術(shù)方案的進一步限定，依次經(jīng)過卷積層、殘差模塊和snr處理層對輸入圖像數(shù)據(jù)進行處理的步驟包括：

17、在卷積層使用卷積核在圖像上滑動進行卷積操作，提取圖像的局部特征；殘差模塊將輸入的圖像特征直接傳遞到殘差模塊的輸出端，與經(jīng)過殘差模塊內(nèi)部卷積層處理后的特征進行相加操作；將當前信道的snr值作為額外的信息輸入到snr處理層，與卷積層和殘差模塊輸出的特征進行融合。

18、作為本發(fā)明技術(shù)方案的進一步限定，進行snr噪聲信道模擬對編碼信息進行處理的步驟包括：

19、根據(jù)給定的snr值和編碼信息的功率，計算噪聲功率；其中，snr值為信號功率與噪聲功率的比值；

20、根據(jù)計算的噪聲功率，生成符合高斯分布的隨機噪聲；其中，高斯分布中，噪聲的均值為0，根據(jù)噪聲功率計算標準差；

21、將生成的噪聲添加到編碼信息上，添加噪聲后的編碼信息即為經(jīng)過snr噪聲信道處理后的編碼信息。

22、作為本發(fā)明技術(shù)方案的進一步限定，將解碼后的圖像輸入到下游任務(wù)計算用于反饋的損失函數(shù)的步驟包括：

23、s231：將解碼后的圖像輸入到下游任務(wù)，計算解碼圖像與每個任務(wù)類別之間的匹配程度；

24、s232：基于匹配程度計算識別損失；同時計算原圖像與解碼后圖像的均方誤差作為像素損失；

25、s233：將識別損失和像素損失相加，得到用于反饋的損失函數(shù)。

26、作為本發(fā)明技術(shù)方案的進一步限定，該方法還包括：

27、計算損失函數(shù)時，若存在多個下游任務(wù)，根據(jù)預(yù)設(shè)的任務(wù)重要程度的權(quán)重對各個任務(wù)的損失進行加權(quán)組合，得到用于反饋的損失函數(shù)。

28、作為本發(fā)明技術(shù)方案的進一步限定，計算的圖像特征與下游任務(wù)標簽之間的相關(guān)性的步驟包括：

29、s31：明確下游任務(wù)，并收集對應(yīng)的標簽數(shù)據(jù)；

30、s32：從工業(yè)互聯(lián)網(wǎng)的圖像數(shù)據(jù)集中提取特定的圖像特征，確保圖像特征和對應(yīng)的標簽數(shù)據(jù)一一對應(yīng)；

31、s33：對提取的圖像特征和下游任務(wù)標簽進行標準化處理，生成標簽數(shù)據(jù)集和圖像特征集；

32、s34：計算圖像特征與標簽數(shù)據(jù)之間的皮爾遜相關(guān)系數(shù)r；

33、

34、式中，和分別是數(shù)據(jù)集和內(nèi)元素的均值。

35、第二方面，本發(fā)明技術(shù)方案還提供一種基于下游任務(wù)的圖像數(shù)據(jù)傳輸編解碼裝置，包括數(shù)據(jù)預(yù)處理模塊、模型參數(shù)訓(xùn)練模塊、傳輸處理模塊，所述傳輸處理模塊包括編碼器和解碼器；

36、數(shù)據(jù)預(yù)處理模塊，用于收集工業(yè)互聯(lián)網(wǎng)中的圖像數(shù)據(jù)整理為數(shù)據(jù)集，對數(shù)據(jù)集中的圖像進行預(yù)處理；

37、模型參數(shù)訓(xùn)練模塊，用于基于預(yù)處理后的圖像對編碼器模型和解碼器模型進行訓(xùn)練得到訓(xùn)練編碼器模型和解碼器模型的參數(shù)；訓(xùn)練過程包括：將預(yù)處理后的圖像輸入編碼器模型得到編碼信息，并通過?snr?噪聲信道發(fā)送到解碼器進行解碼；將解碼后的圖像輸入到下游任務(wù)計算損失函數(shù)；將計算得到的損失函數(shù)反饋給編碼器模型和解碼器模型完成最小化損失函數(shù)的模型訓(xùn)練優(yōu)化，得到模型參數(shù)；

38、圖像數(shù)據(jù)傳輸時，在編碼過程中，編碼器根據(jù)訓(xùn)練得到的參數(shù)，提取關(guān)鍵圖像特征進行編碼，在解碼過程中，解碼器依據(jù)訓(xùn)練后的參數(shù)和信道?snr?信息，優(yōu)先恢復(fù)關(guān)鍵圖像特征；所述關(guān)鍵圖像特征為相關(guān)性與1的絕對差值小于設(shè)定閾值的圖像特征，所述相關(guān)性是計算的圖像特征與下游任務(wù)標簽之間的相關(guān)性。

39、作為本發(fā)明技術(shù)方案的進一步限定，模型參數(shù)訓(xùn)練模塊對編碼器模型和解碼器模型進行訓(xùn)練的具體步驟包括：將預(yù)處理后的圖像輸入編碼器模型得到編碼信息，并通過snr噪聲信道發(fā)送出去；解碼器模型接收經(jīng)過噪聲信道傳輸?shù)木幋a信息，根據(jù)snr調(diào)整接收到的編碼數(shù)據(jù)，利用與編碼器模型對稱的卷積置換網(wǎng)絡(luò)進行解碼，得到解碼后的圖像；將解碼后的圖像輸入到下游任務(wù)計算用于反饋的損失函數(shù)；將計算得到的損失函數(shù)反饋給編碼器模型和解碼器模型，采用反向傳播算法計算損失函數(shù)關(guān)于模型參數(shù)的梯度，利用梯度下降法根據(jù)計算得到的梯度更新編碼器和解碼器的參數(shù)；所述模型參數(shù)包括編碼器參數(shù)和解碼器參數(shù)；在每次訓(xùn)練時，更新信道的snr值并反饋給編編碼器和解碼器中的snr處理層，直至損失函數(shù)收斂條件，得到訓(xùn)練后的編碼器模型和解碼器模型的參數(shù)。

40、作為本發(fā)明技術(shù)方案的進一步限定，編碼器的結(jié)構(gòu)包括卷積層、殘差模塊和snr處理層，圖像從輸入層開始，依次經(jīng)過卷積層、殘差模塊和snr處理層對輸入圖像數(shù)據(jù)進行處理，得到編碼信息，在編碼過程中，通過卷積層的下采樣和特征提取，以及殘差模塊和snr處理層的優(yōu)化，將原始圖像數(shù)據(jù)壓縮為設(shè)定大小的編碼信息；進行snr噪聲信道模擬對編碼信息進行處理；將經(jīng)過snr噪聲信道處理后的編碼信息發(fā)送到解碼器模塊。

41、在卷積層使用卷積核在圖像上滑動進行卷積操作，提取圖像的局部特征；殘差模塊將輸入的圖像特征直接傳遞到殘差模塊的輸出端，與經(jīng)過殘差模塊內(nèi)部卷積層處理后的特征進行相加操作；將當前信道的snr值作為額外的信息輸入到snr處理層，與卷積層和殘差模塊輸出的特征進行融合。

42、作為本發(fā)明技術(shù)方案的進一步限定，該裝置還包括模擬處理模塊，用于進行snr噪聲信道模擬對編碼信息進行處理；具體用于根據(jù)給定的snr值和編碼信息的功率，計算噪聲功率；其中，snr值為信號功率與噪聲功率的比值；根據(jù)計算的噪聲功率，生成符合高斯分布的隨機噪聲；其中，高斯分布中，噪聲的均值為0，根據(jù)噪聲功率計算標準差；將生成的噪聲添加到編碼信息上，添加噪聲后的編碼信息即為經(jīng)過snr噪聲信道處理后的編碼信息。

43、作為本發(fā)明技術(shù)方案的進一步限定，模型參數(shù)訓(xùn)練模塊，具體用于將解碼后的圖像輸入到下游任務(wù)，計算解碼圖像與每個任務(wù)類別之間的匹配程度；基于匹配程度計算識別損失；同時計算原圖像與解碼后圖像的均方誤差作為像素損失；將識別損失和像素損失相加，得到用于反饋的損失函數(shù)。計算損失函數(shù)時，若存在多個下游任務(wù)，根據(jù)預(yù)設(shè)的任務(wù)重要程度的權(quán)重對各個任務(wù)的損失進行加權(quán)組合，得到用于反饋的損失函數(shù)。

44、作為本發(fā)明技術(shù)方案的進一步限定，該裝置還包括相關(guān)性計算模塊，用于計算的圖像特征與下游任務(wù)標簽之間的相關(guān)性；具體用于明確下游任務(wù)，并收集對應(yīng)的標簽數(shù)據(jù)；從工業(yè)互聯(lián)網(wǎng)的圖像數(shù)據(jù)集中提取特定的圖像特征，確保圖像特征和對應(yīng)的標簽數(shù)據(jù)一一對應(yīng)；對提取的圖像特征和下游任務(wù)標簽進行標準化處理，生成標簽數(shù)據(jù)集和圖像特征集；計算圖像特征與標簽數(shù)據(jù)之間的皮爾遜相關(guān)系數(shù)r；

45、

46、式中，和分別是數(shù)據(jù)集和內(nèi)元素的均值。

47、第三方面，本發(fā)明技術(shù)方案還提供一種電子設(shè)備，所述電子設(shè)備包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；存儲器存儲有可被至少一個處理器執(zhí)行的計算機程序指令，所述計算機程序指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如第一方面所述的基于下游任務(wù)反饋的圖像數(shù)據(jù)傳輸編解碼方法。

48、本發(fā)明技術(shù)方案的有益效果是：通過將下游任務(wù)的損失函數(shù)反饋到編碼器和解碼器的訓(xùn)練過程中，使得編解碼過程能夠更加關(guān)注與下游任務(wù)相關(guān)的關(guān)鍵圖像特征。編碼器在訓(xùn)練后能夠根據(jù)下游任務(wù)的需求，準確地提取關(guān)鍵圖像特征進行編碼，舍棄那些對下游任務(wù)影響較小的冗余信息。這樣可以大大減少編碼后的數(shù)據(jù)量，提高傳輸壓縮比。在保證下游任務(wù)準確率的前提下，有效地節(jié)省了傳輸帶寬，降低了數(shù)據(jù)傳輸成本。

49、由于編碼后的數(shù)據(jù)量大幅減少，傳輸所需的時間也相應(yīng)縮短，從而加速了圖像數(shù)據(jù)的傳輸速度。在工業(yè)生產(chǎn)和監(jiān)控等對實時性要求較高的場景中，能夠及時獲取和處理圖像數(shù)據(jù)，提高生產(chǎn)效率和應(yīng)急響應(yīng)能力。本發(fā)明在訓(xùn)練過程中考慮了信道的?snr?信息，使得解碼器能夠根據(jù)不同的信道狀況，靈活地調(diào)整解碼策略，優(yōu)先恢復(fù)關(guān)鍵圖像特征。在噪聲干擾的信道環(huán)境下，能夠更好地抵抗噪聲的影響，保證解碼后圖像的質(zhì)量和下游任務(wù)的準確性。