本申請(qǐng)涉及數(shù)據(jù)處理，尤其涉及一種基于嵌入模型的數(shù)據(jù)處理方法、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。
背景技術(shù)：
1、隨著大語(yǔ)言模型（large?language?models?，llm）技術(shù)的快速發(fā)展，檢索增強(qiáng)生成（retrieval-augmented?generation，rag）系統(tǒng)已成為整合知識(shí)庫(kù)與大模型的主流架構(gòu)，廣泛應(yīng)用于智能問答、文檔分析等場(chǎng)景。
2、rag系統(tǒng)的數(shù)據(jù)準(zhǔn)備階段需要對(duì)文本數(shù)據(jù)進(jìn)行嵌入（embedding）模型處理以生成向量表示。相關(guān)技術(shù)中，embedding模型僅使用中央處理器資源對(duì)目標(biāo)任務(wù)進(jìn)行向量化處理，或者僅使用計(jì)算卡資源對(duì)目標(biāo)任務(wù)進(jìn)行向量化處理，存在資源利用率低的問題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┝艘环N基于嵌入模型的數(shù)據(jù)處理方法、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，以至少解決相關(guān)技術(shù)中任務(wù)資源利用率低的問題。
2、本申請(qǐng)?zhí)峁┝艘环N基于嵌入模型的數(shù)據(jù)處理方法，包括：
3、為至少兩個(gè)嵌入模型分配任務(wù)資源，任務(wù)資源包括內(nèi)存資源、中央處理器資源和計(jì)算卡資源中的至少一種；
4、獲取目標(biāo)任務(wù)，對(duì)目標(biāo)任務(wù)進(jìn)行分類，得到分類結(jié)果，目標(biāo)任務(wù)包括基于檢索增強(qiáng)生成系統(tǒng)的處理任務(wù)，分類結(jié)果表征目標(biāo)任務(wù)的任務(wù)類型；
5、根據(jù)分類結(jié)果，從至少兩個(gè)嵌入模型中確定目標(biāo)嵌入模型，并基于目標(biāo)嵌入模型對(duì)目標(biāo)任務(wù)的輸入數(shù)據(jù)進(jìn)行向量化處理，得到向量化數(shù)據(jù)，其中，目標(biāo)嵌入模型具有與分類結(jié)果匹配的目標(biāo)任務(wù)資源。
6、本申請(qǐng)還提供了一種基于嵌入模型的數(shù)據(jù)處理裝置，包括：
7、第一處理模塊，用于為至少兩個(gè)嵌入模型分配任務(wù)資源，任務(wù)資源包括內(nèi)存資源、中央處理器資源和計(jì)算卡資源中的至少一種；
8、獲取模塊，用于獲取目標(biāo)任務(wù)，對(duì)目標(biāo)任務(wù)進(jìn)行分類，得到分類結(jié)果，目標(biāo)任務(wù)包括基于檢索增強(qiáng)生成系統(tǒng)的處理任務(wù)，分類結(jié)果表征目標(biāo)任務(wù)的任務(wù)類型；
9、第二處理模塊，用于根據(jù)分類結(jié)果，從至少兩個(gè)嵌入模型中確定目標(biāo)嵌入模型，并基于目標(biāo)嵌入模型對(duì)目標(biāo)任務(wù)的輸入數(shù)據(jù)進(jìn)行向量化處理，得到向量化數(shù)據(jù)，其中，目標(biāo)嵌入模型具有與分類結(jié)果匹配的目標(biāo)任務(wù)資源。
10、本申請(qǐng)還提供了一種電子設(shè)備，包括：存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；處理器，用于執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一種基于嵌入模型的數(shù)據(jù)處理方法的步驟。
11、本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一種基于嵌入模型的數(shù)據(jù)處理方法的步驟。
12、本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一種基于嵌入模型的數(shù)據(jù)處理方法的步驟。
13、通過本申請(qǐng)，由于分別為至少兩個(gè)嵌入模型分配任務(wù)資源，并對(duì)目標(biāo)任務(wù)進(jìn)行分類得到分類結(jié)果，根據(jù)分類結(jié)果在至少兩個(gè)嵌入模型中確定目標(biāo)嵌入模型，通過將與分類結(jié)果匹配的嵌入模型確定為目標(biāo)嵌入模型，使用目標(biāo)模型對(duì)目標(biāo)任務(wù)的輸入數(shù)據(jù)進(jìn)行向量化處理，可以解決相關(guān)技術(shù)中因任務(wù)資源分配僵化導(dǎo)致的任務(wù)資源利用率低的問題，達(dá)到提高任務(wù)資源利用率的技術(shù)效果。
1.一種基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述為至少兩個(gè)嵌入模型分配任務(wù)資源，包括：
3.根據(jù)權(quán)利要求2所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述模型信息，為所述至少兩個(gè)嵌入模型分配任務(wù)資源，包括：
4.根據(jù)權(quán)利要求3所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，
5.根據(jù)權(quán)利要求1所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述獲取目標(biāo)任務(wù)，對(duì)所述目標(biāo)任務(wù)進(jìn)行分類，得到分類結(jié)果，包括：
6.根據(jù)權(quán)利要求1所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述分類結(jié)果，從所述至少兩個(gè)嵌入模型中確定目標(biāo)嵌入模型，包括：
7.根據(jù)權(quán)利要求1所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述基于所述目標(biāo)嵌入模型對(duì)所述目標(biāo)任務(wù)的輸入數(shù)據(jù)進(jìn)行向量化處理，包括：
8.根據(jù)權(quán)利要求7所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述為所述目標(biāo)嵌入模型動(dòng)態(tài)調(diào)度任務(wù)資源，包括：
9.根據(jù)權(quán)利要求8所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述待分配任務(wù)資源的工作狀態(tài)和所述分類結(jié)果，將所述工作狀態(tài)為空閑的待分配任務(wù)資源動(dòng)態(tài)調(diào)度至目標(biāo)嵌入模型，包括：
10.根據(jù)權(quán)利要求9所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述當(dāng)所述目標(biāo)任務(wù)為復(fù)雜任務(wù)時(shí)，為所述目標(biāo)任務(wù)分配所需的任務(wù)資源，包括：
11.根據(jù)權(quán)利要求10所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述分別為所述至少一個(gè)子任務(wù)分配對(duì)應(yīng)的任務(wù)資源，包括：
12.根據(jù)權(quán)利要求1所述的基于嵌入模型的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：當(dāng)任務(wù)資源對(duì)應(yīng)處理的目標(biāo)任務(wù)結(jié)束后，立即釋放所述任務(wù)資源，釋放的所述任務(wù)資源可以再次進(jìn)行動(dòng)態(tài)調(diào)度。
13.一種電子設(shè)備，其特征在于，包括：
14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至12任一項(xiàng)所述基于嵌入模型的數(shù)據(jù)處理方法的步驟。
15.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至12任一項(xiàng)所述基于嵌入模型的數(shù)據(jù)處理方法的步驟。